← 返回

定位 Go 應用 CPU 最熱的程式碼路徑：Prometheus 高 CPU 例項分析（OpenResty XRay）

章亦春釋出於 Jan 16, 2024 更新於 Jan 16, 2024

預計閱讀 6 分鐘

閱讀次數

本文速覽：一個標準的 Prometheus 程序 CPU 佔用超過 160%。使用 OpenResty XRay 對其未經修改的 Go 程序做引導式分析後發現，Go 垃圾回收（GC）消耗了 99% 以上的 CPU 時間；而 GC 壓力的主要來源是 loadWAL 函式在從預寫日誌（WAL）載入資料時快速分配了大量 GC 物件——分配物件最多的這條程式碼路徑就佔了新分配物件總數的 19% 以上。下文演示完整的定位過程。

在這個教程中，我們會一步步地教您使用 OpenResty XRay 來識別普羅米修斯（Prometheus）應用中最耗 CPU 的 Go（golang）程式碼路徑。這些程式碼路徑消耗最多的 CPU 時間，嚴重影響普羅米修斯應用的效能。

問題：高 CPU 使用率

首先執行 top 命令檢查 CPU 使用情況。

可以看到，這個 Prometheus 程序消耗了超過 160% 的 CPU 核心資源。

再執行 ps 命令檢視完整命令列，可以確認這是一個 Linux 發行版自帶的標準 Prometheus 二進位制可執行檔案（/usr/bin/prometheus），並未做過任何修改。

使用 OpenResty XRay 的引導式分析功能定位 CPU 最熱的 Go 程式碼路徑

讓我們直接用 OpenResty XRay 對這個未經修改的程序做實時分析。在 Web 控制檯確認目標機器後，進入 “Guided Analysis”（引導式分析）頁面，從系統支援的問題型別中選擇 “High CPU usage”（高 CPU 使用率）。

接著選中我們之前在 top 中看到的那個 Go 程序——PID 50785，CPU 佔用 125%，可執行檔案為 /usr/bin/prometheus。語言級別選擇 “Go”，取樣時間保持預設的 300 秒，然後開始分析。

OpenResty XRay 會對目標程序持續執行多輪取樣。對這個例子來說，執行兩三輪後即可停止，系統會自動生成一份分析報告。

這是我們要分析的問題型別，“CPU”。

可以看到，Go 垃圾回收消耗了超過 99% 的 CPU 時間。

例如，這條在執行垃圾回收的 Go 程式碼路徑佔用了超過 21% 的 CPU 時間。

scanobject 是 Go 語言的一個執行時函式，它負責垃圾回收的工作。它會在堆記憶體中尋找 GC 物件，並把它們能夠訪問到的物件都標記出來。

gcDrain 函式的作用是把工作佇列中的 GC 物件都標記並清除掉。

快速分配眾多的 GC 物件會導致 GC 開銷很高。所以，報告給出了那些分配物件最多最快的 Go 程式碼路徑。

看一下這條 Go 程式碼路徑，它分配了最多的 GC 物件。

函式 loadWAL 是從 Prometheus 的預寫日誌中載入資料。

函式 Series 函式從緩衝區中解碼出時序資料，並將其新增到指定的切片中。

函式 slicebytetostring 將位元組切片轉換為字串。

點選 “More” 檢視更多細節。

這條程式碼路徑是從這個 Go GC 物件分配火焰圖中自動推匯出來的。

下面是對當前問題更詳細的解釋和建議。

它提到了函式 loadWAL.

這個函式從預寫日誌中載入資料。

它也提到了函式 Series，

和函式 slicebytetostring。

讓我們回到剛才的程式碼路徑上來。把滑鼠放在函式 loadWAL 的綠色框上。

可以看到這個函式的原始檔名。在提示框中還可以看到檔案的完整路徑。

原始碼行號是 141。

點選這個圖示，複製這個函式完整的 Go 原始檔路徑。

使用 vim 編輯器開啟原始檔，檢視這個檔案裡的 golang 程式碼。

正如 OpenResty XRay 建議的那樣跳轉到第 141 行。

函式 dec.Series 是從一個記錄中解碼一組時間序列。

在狀態列中可以看到這行程式碼也確實在 loadWAL 函式中，正如之前報告中提到的。

Prometheus 的 TSDB 建立記憶體序列用來管理最新的資料。這條程式碼路徑新分配的 GC 物件數目超過了新分配總數的 19%。

這裡可以看到，動態分配新 GC 物件的操作佔用了將近 11% 的 CPU 時間。這不僅增加了垃圾回收器的負擔，本身也消耗大量的 CPU 資源。

透過 OpenResty XRay 產品提升您應用的效能

全自動分析與報告

除了引導式分析，OpenResty XRay 還能自動監控線上程序並定期生成報告。進入 “Insights” 頁面，即可檢視以日和周為週期的分析報告——同樣能自動定位到 Go 垃圾回收及最熱的程式碼路徑，無需任何手動操作。

所以您不一定要手動使用 “Guided Analysis” 功能；當然，它在應用開發和問題演示時依然非常有用。

如果您喜歡這個教程，請訂閱這個部落格網站和我們的 YouTube 頻道或 B 站頻道。謝謝！

常見問題

為甚麼 Prometheus 程序的 CPU 佔用這麼高？

在本例中，一個標準的、未經修改的 Prometheus 二進位制程式（/usr/bin/prometheus）佔用了超過 160% 的 CPU。使用 OpenResty XRay 做引導式分析後發現，Go 垃圾回收消耗了超過 99% 的 CPU 時間；而 GC 壓力的來源是 loadWAL 函式在從預寫日誌（WAL）載入資料時快速分配了大量 GC 物件——僅這一條程式碼路徑新分配的 GC 物件就超過了新分配總數的 19%。

為甚麼 Go 垃圾回收會消耗這麼多 CPU？

快速分配眾多的 GC 物件會導致 GC 開銷很高。垃圾回收器需要花費 CPU 時間去掃描和標記這些物件——分析報告中突出顯示了 scanobject（在堆記憶體中尋找 GC 物件並標記可達物件）和 gcDrain（處理待標記 GC 物件的工作佇列）這樣的執行時函式。而且分配操作本身也不便宜：在本例中，動態分配新 GC 物件就佔用了將近 11% 的 CPU 時間，這還不算垃圾回收本身的開銷。

如何找到導致 Prometheus 高 CPU 的 Go 程式碼路徑？

對正在執行的程序使用 OpenResty XRay 的引導式分析即可，無需修改程式、無需插樁。報告會列出分配物件最多最快的 Go 程式碼路徑，這些路徑是從 Go GC 物件分配火焰圖中自動推匯出來的。把滑鼠懸停在函式框（比如 loadWAL）上，就能看到原始檔路徑和行號（本例中是第 141 行），然後用任意編輯器開啟該檔案檢查具體程式碼。Insights 頁面的日報和週報也能自動得出同樣的結論。

關於 OpenResty XRay

OpenResty XRay 是一個動態追蹤產品，它可以自動分析執行中的應用，以解決效能問題、行為問題和安全漏洞，並提供可行的建議。在底層實現上，OpenResty XRay 由我們的 Y 語言驅動，可以在不同環境下支援多種不同的執行時，如 Stap+、eBPF+、GDB 和 ODB。

立即申請 OpenResty XRay 試用

關於作者

章亦春是開源 OpenResty^® 專案創始人兼 OpenResty Inc. 公司 CEO 和創始人。

章亦春（Github ID: agentzh），生於中國江蘇，現定居美國灣區。他是中國早期開源技術和文化的倡導者和領軍人物，曾供職於多家國際知名的高科技企業，如 Cloudflare、雅虎、阿里巴巴, 是 “邊緣計算“、”動態追蹤 “和 “機器程式設計 “的先驅，擁有超過 22 年的程式設計及 16 年的開源經驗。作為擁有超過 4000 萬全球域名使用者的開源專案的領導者。他基於其 OpenResty^® 開源專案打造的高科技企業 OpenResty Inc. 位於美國矽谷中心。其主打的兩個產品 OpenResty XRay（利用動態追蹤技術的非侵入式的故障剖析和排除工具）和 OpenResty Edge（最適合微服務和分散式流量的全能型閘道器軟體），廣受全球眾多上市及大型企業青睞。在 OpenResty 以外，章亦春為多個開源專案貢獻了累計超過百萬行程式碼，其中包括，Linux 核心、Nginx、LuaJIT、GDB、SystemTap、LLVM、Perl 等，並編寫過 60 多個開源軟體庫。