jvm內(nèi)存問題最佳實(shí)踐-wenkub

　

【正文】 吐量?jī)?yōu)先還是響應(yīng)時(shí)間優(yōu)先 – 僅適用 64位 JDK的算法 比如在 IBM AIX 64位 JDK環(huán)境下，當(dāng) heap區(qū)大于 16G后， subpool明顯性能提高 – 確定 GC算法之后，再逐步調(diào)整小參數(shù) Xmn(XX:NewSize XX:MaxNewSize) XX:SurvivorRatio XX:MaxTenuringThreshold ....... – 測(cè)試期間實(shí)時(shí)監(jiān)控 SUN、 HP、 JRockit都可以通過 jstat命令進(jìn)行實(shí)時(shí)監(jiān)控 避免使用 jmap histo，原因是可能會(huì)造成 Full GC 25 小節(jié)回顧 ? GC概念 ? 常見 GC算法 ? 選擇合適的 GC算法 在本小節(jié)中，我們講述了以下內(nèi)容： 26 MENU ? 選擇合適的 Java虛擬機(jī) ? Java內(nèi)存管理的基本概念 ? GC次數(shù)過多消耗時(shí)間過長(zhǎng)的原因和癥狀 ? 內(nèi)存不足和內(nèi)存泄漏錯(cuò)誤的原因和癥狀 ? 診斷、定位和解決內(nèi)存不足和內(nèi)存泄漏錯(cuò)誤 ? 使用分析工具解決內(nèi)存不足和內(nèi)存泄漏錯(cuò)誤 ? 預(yù)防內(nèi)存不足和內(nèi)存泄漏 ? OutOfMemory/Memory Leak錯(cuò)誤實(shí)例 27 Java內(nèi)存問題的主要發(fā)生在 ?操作系統(tǒng)本身 ?Java內(nèi)存區(qū)： – heap堆內(nèi)存 – permanent區(qū) ?本地內(nèi)存區(qū)： – JVM進(jìn)程內(nèi)存 – Java使用的第三方本地代碼 28 內(nèi)存不足和內(nèi)存泄漏錯(cuò)誤的典型原因（ 1） ? 物理內(nèi)存不足 – 物理內(nèi)存有限，例如只有 1G – 物理內(nèi)存很大，但是應(yīng)用很多，占用太多內(nèi)存 ? Swap區(qū)大小不夠 ? Weblogic Server壓力太大 – 并發(fā)用戶太多 – 大數(shù)據(jù)量分配應(yīng)用，例如統(tǒng)計(jì)報(bào)表 ? Permanent區(qū)太小 ? 用戶代碼內(nèi)存不釋放 – session放置了大量對(duì)象 – 在內(nèi)存分配大量數(shù)據(jù) – 用戶自己創(chuàng)建太多線程 – 調(diào)用 AWT等畫圖接口 ? 用戶代碼內(nèi)存泄漏問題 – jdbc連接沒有 close – 分配好的對(duì)象沒有 close和釋放 29 內(nèi)存不足和內(nèi)存泄漏錯(cuò)誤的典型原因（ 2） ? Weblogic Server配置不當(dāng) – 給 heap分配的內(nèi)存太多 – session timeout時(shí)間太長(zhǎng) – EJB pool和 Cache的太大 – JMS配置 ? Java內(nèi)存碎片 – 尤其在 IBM JDK上表現(xiàn)明顯 ? 第三方 Java應(yīng)用的內(nèi)存問題 – 第三方 Java應(yīng)用也存在內(nèi)存不足或者泄漏問題 ? 第三方本地代碼的內(nèi)存泄漏問題 – 第二類 JDBC驅(qū)動(dòng)的內(nèi)存泄漏，例如 Oracle Oci Driver – 其他第三方本地代碼的內(nèi)存泄漏 ? JVM本身的內(nèi)存問題 – JIT技術(shù)需要消耗更多的本地內(nèi)存 – JVM本身的 Bug，例如 GC的 Bug 30 在 Java 堆中發(fā)生的 OOM 的故障癥狀 ? 如果 Java 堆發(fā)生 OOM/ML： – Weblogic Server運(yùn)行緩慢，響應(yīng)速度很慢（ JVM在頻繁的做 GC，Java進(jìn)程占用比較多的 CPU ） – 從 console的內(nèi)存監(jiān)控曲線看，一直徘徊在頂部 – 最終 JVM拋出 異常， stdout 或 stderr 中將顯示這則消息 – 通過 thread dump可以看到大部分時(shí)間 ? 所有線程都在 wait，只有 GC線程在工作 ? 很多線程都在申請(qǐng)內(nèi)存 – 線程可能會(huì)異常退出（即在 Thread Dump 中看不到這個(gè)線程，線程丟失） – 持續(xù)的 Java 堆 OOM/ML錯(cuò)誤偶爾也會(huì)導(dǎo)致 JVM進(jìn)程退出服務(wù)，通常伴隨會(huì)產(chǎn)生一個(gè)文本 Core文件 31 在本地內(nèi)存中發(fā)生的 OOM 的故障癥狀 ? 如果本地內(nèi)存 OOM/ML： – Weblogic Server運(yùn)行緩慢，響應(yīng)速度很慢 – 通過操作系統(tǒng)觀察可以看到， Java進(jìn)程內(nèi)存很大，而且一直在增長(zhǎng) – 通過 console或者 GC log可以看到， heap內(nèi)存通常還有富余 – JVM 的通常做法是：處理 OOM 狀態(tài)，記錄消息，然后退出進(jìn)程。這種策略只能在 IBM pSeries174。 – Xgcpolicy:gencon 以不同方式處理短期存活的對(duì)象和長(zhǎng)期存活的對(duì)象。對(duì)于吞吐量比短暫的 GC 停頓更重要的應(yīng)用程序，通常使用這種策略。 Hp JDK） ? 本地內(nèi)存不足 – 物理內(nèi)存不夠，無法再得到內(nèi)存 – 第三方本地代碼有內(nèi)存泄漏的 Bug，例如 oracle oci driver本地代碼 – JVM的 JIT或者 JVM本身的 Bug 17 小節(jié)回顧 ? Java進(jìn)程的內(nèi)存分類 ? Java堆內(nèi)存 (Heap) ? Java Permanent區(qū) ? Java本地代碼 ? Java內(nèi)存問題的三個(gè)表現(xiàn)類型 ? Java內(nèi)存問題的兩個(gè)發(fā)生區(qū)段 在本小節(jié)中，我們講述了以下內(nèi)容： 18 MENU ? 選擇合適的 Java虛擬機(jī) ? Java內(nèi)存管理的基本概念 ? GC次數(shù)過多消耗時(shí)間過長(zhǎng)的原因和癥狀 ? 內(nèi)存不足和內(nèi)存泄漏錯(cuò)誤的原因和癥狀 ? 診斷、定位和解決內(nèi)存不足和內(nèi)存泄漏錯(cuò)誤 ? 使用分析工具解決內(nèi)存不足和內(nèi)存泄漏錯(cuò)誤 ? 預(yù)防內(nèi)存不足和內(nèi)存泄漏 ? OutOfMemory/Memory Leak錯(cuò)誤實(shí)例 19 常見 GC概念 ?調(diào)整 GC前提： – 程序是健康的 – Heap區(qū) (Xmx)夠大，日志中沒有 OutOfMemory異常 – 花在 GC上面的總時(shí)間占用太高，比如超過 5% ?常見 GC算法： – SUN、 HP的 GC算法 – JRockit的 GC算法 – IBM JDK的 GC算法 ?GC算法： – 選擇 GC算法的指導(dǎo)思想 20 常見 GC算法 SUN、 HP（ 1） ? 根據(jù)回收器，簡(jiǎn)單分為： – 串行 – XX:+UseSerialGC Out of Box算法，年輕代串行復(fù)制，年老代串行標(biāo)記整理，主要用于桌面應(yīng)用 – 并行 – XX:+UseParallelGC 年輕代暫停應(yīng)用程序，多個(gè)垃圾收集線程并行的復(fù)制收集，年老代暫停應(yīng)用程序，與串行收集器一樣，單垃圾收集線程標(biāo)記整理。 進(jìn)程 C 的 虛擬內(nèi)存 可執(zhí)行 文件 /庫 Java 堆 保留供 OS 使用 本地內(nèi)存 進(jìn)程 D 的 虛擬內(nèi)存 可執(zhí)行 文件 /庫 Java 堆 保留供 OS 使用 本地內(nèi)存 RAM 交換空間 JVM 啟動(dòng)時(shí)將保留堆 13 Java內(nèi)存管理的基本概念 ?垃圾回收 (Garbage Collection, GC)： – JVM自動(dòng)檢測(cè)和釋放不再使用的內(nèi)存。 JRockit相對(duì) Sun JDK，做了非常好的 JIT優(yōu)化，但是本地內(nèi)存要求更多的空間 – 通常 Java堆內(nèi)存大小推薦不大于 2G – 目前 Unix/Linux操作系統(tǒng)默認(rèn)已經(jīng)做了內(nèi)核調(diào)整 開啟了大內(nèi)存模式，可以上到 2G以上 ? Java堆內(nèi)存的大內(nèi)存模式： – AIX上 Java堆內(nèi)存有大內(nèi)存模式（ LAM），最大支持到 – Window上有連續(xù)地址空間限制，通常不大于 。JVM內(nèi)存問題最佳實(shí)踐 JVM Best Practice 曾凡光 2022年 03月 JVM內(nèi)存問題最佳實(shí)踐 本次技術(shù)交流，涵蓋范圍為： ?如何選擇合適的 Java虛擬機(jī) ?了解 Java基本內(nèi)存管理基本概念 ?了解發(fā)生內(nèi)存不足 /內(nèi)存泄漏錯(cuò)誤的原因和癥狀 ?了解如何診斷內(nèi)存不足 /內(nèi)存泄漏 錯(cuò)誤 ?了解如何解決 內(nèi)存不足 /內(nèi)存泄漏錯(cuò)誤 3 MENU ? 選擇合適的 Java虛擬機(jī) ? Java內(nèi)存管理的基本概念 ? GC次數(shù)過多消耗時(shí)間過長(zhǎng)的原因和癥狀 ? 內(nèi)存不足和內(nèi)存泄漏錯(cuò)誤的原因和癥狀 ? 診斷、定位和解決內(nèi)存不足和內(nèi)存泄漏錯(cuò)誤 ? 使用分析工具解決內(nèi)存不足和內(nèi)存泄漏錯(cuò)誤 ? 預(yù)防內(nèi)存不足和內(nèi)存泄漏 ? OutOfMemory錯(cuò)誤實(shí)例 4 Java虛擬機(jī)的種類 ? Oracle Java虛擬機(jī) – 原 Sun Java虛擬機(jī) – 原 BEA JRockit – 兩種 Java虛擬機(jī)，都運(yùn)行在 Windows、 Linux、 Solaris平臺(tái) ? HP Java虛擬機(jī) ： – 與 SUN JDK基本兼容，有自己獨(dú)特的啟動(dòng)參數(shù) – 運(yùn)行在 HP UNIX上 ? IBM Java虛擬機(jī)： – 與 Sun JDK基本兼容 – 啟動(dòng)參數(shù)的寫法風(fēng)格與 Sun JDK、 HP JDK非常不同 – 主要用于 WebSphere、跑在 AIX上的中間件服務(wù)器 ? 開源 Java虛擬機(jī) ： – 與 SUN JDK兼容 5 如何選擇合適的 Java虛擬機(jī) ?選擇穩(wěn)定的 JDK： – 剛剛 GA的版本不穩(wěn)定，比如 – 剛增加新特性的版本不穩(wěn)定，比如 – 安裝 JDK之前，先看廠商的 Release Notes ?根據(jù)平臺(tái)和應(yīng)用，選擇合適廠商的 JDK： – HPUX只能選擇 HP JDK， AIX只能選擇 IBM JDK – Windows、 Linux可以選擇 SUN JDK和 JRockit – Solaris平臺(tái)，最好使用 SUN JDK – 開源 JDK，目前生產(chǎn)環(huán)境中用的極少 6 Java虛擬機(jī) 32 VS 64 ? 盡量選擇使用 32位 JDK： – 32位 JDK在 TPS測(cè)試中，結(jié)果比 64位 JDK要好 。 Windows Advance Server最大支持 3G模式。 – Java 運(yùn)行時(shí) JVM會(huì)執(zhí)行 GC，這樣程序員不再需要顯式釋放對(duì)象。 JDK ，默認(rèn)啟用了 XX:+UseParallelOldGC，性能大為提高 – 并發(fā) (Concurrent Low Pause Collector) – XX:+UseConcMarkSweepGC 啟用該參數(shù)，默認(rèn)啟用了 XX:+UseParNewGC；簡(jiǎn)單的說，并發(fā)是指用戶線程與垃圾收集線程并發(fā)，程序在繼續(xù)運(yùn)行，而垃圾收集程序運(yùn)行于其他 CPU上。每當(dāng)進(jìn)行垃圾收集時(shí)，應(yīng)用程序都會(huì)停頓。采用這種策略時(shí)，具有許多短期存活對(duì)象的應(yīng)用程序會(huì)表現(xiàn)出更短的停頓時(shí)間，同時(shí)仍然產(chǎn)生很好的吞吐量。 和 zSeries174。 – 如果 JVM 或任何其它已加載的模塊（例如， libc 或第 三方模塊）不處理異常， OS 將通過 sigabort 強(qiáng)制 JVM 退出。如果 heap設(shè)置不大 1G左右，那么需要考慮本地內(nèi)存泄漏的可能 ?剩余可用內(nèi)存 – 結(jié)合物理總內(nèi)存， Java進(jìn)程內(nèi)存綜合考慮是否合理 ?Swap區(qū)大小 – Swap區(qū)通常建議是物理內(nèi)存的 2－ 3倍 39 查看現(xiàn)場(chǎng) /收集信息 (2) ? 查看 GC log 或 進(jìn) console查看內(nèi)存使用曲線 – 并發(fā)用戶數(shù)量 /主要業(yè)務(wù)類型分析 – 當(dāng)時(shí)并發(fā)用戶數(shù)量以及 session大小分析 – 主要業(yè)務(wù)類型分析，是否有大內(nèi)存占用的業(yè)務(wù)，例如統(tǒng)計(jì)報(bào)表等等 ? 立即做 thread dump幫助分析 – 每隔 30秒做一次，做 3次 – Unix/Linux : kill 3 pid – Windows : Ctrl+break ? 收集操作系統(tǒng) /JDK/WLS信息 – 操作系統(tǒng)版本信息 – JDK版本信息 – WebLogic Server版本信息 ? 是否使用了第三方本地代碼 40 查看現(xiàn)場(chǎng) /收集信息－－措施 ? 調(diào)整措施 – 增加物