← 返回

Go 服務 CPU 使用率異常低：對執行中程序做 off-CPU 分析定位阻塞根因

章亦春釋出於 Sep 6, 2023 更新於 Aug 13, 2026

預計閱讀 5 分鐘

閱讀次數

請求源源不斷地進來，CPU 使用率卻始終上不去——問題往往不是程式碼算得慢，而是程式碼在阻塞等待。off-CPU 分析找的就是這些"在等而不在跑"的程式碼路徑。本文分析一個線上 Go 服務：高負載下 CPU 卡在 2%，我們不改一行程式碼、不重新發版，用 OpenResty XRay 直接對執行中的程序做 off-CPU 分析，最終定位到一行阻塞的 shell 命令呼叫。

症狀：請求湧入，Go 服務 CPU 使用率卻上不去

首先執行 top 命令檢查 CPU 的使用情況。

可以看到這個名為 chat-service 的程序。我們已經事先知道這個程序是用 Go 語言實現的。它的 CPU 使用率非常低，只有 2%。即使有很多請求進來，它也不會上升。（如果您遇到的是相反的症狀——CPU 使用率過高——請看定位最耗 CPU 的 Go 程式碼路徑。）

讓我們看一下這個 golang 應用程式的訪問日誌。

可以看到，有許多客戶端請求正在湧入，可是 CPU 使用率仍然很低。這意味著有一些東西阻塞了 golang 程式碼高效執行。我們怎麼才能找到原因呢？

用 OpenResty XRay 對執行中的 Go 程序做 off-CPU 分析

讓我們把 OpenResty XRay 對準這個未經修改的程序，實時分析——不用埋點，也不用重啟。開啟 OpenResty XRay 的 Web 控制檯，進入 Guided Analysis（引導式分析）頁面，選擇問題型別 “Low CPU usage and cannot go up”（CPU 使用率低且上不去）。

按嚮導選中目標 Go 程序（也就是我們在 top 裡看到的那個 2% CPU 的程序），語言級別保持預設的 “Go”、分析時長保持預設的 300 秒，然後開始分析。跑完一輪取樣即可停止——對這個例子來說已經夠了。OpenResty XRay 會自動生成報告，識別出的問題型別正是 off-CPU：這個 Go 服務的時間都花在了阻塞等待上，而不是在執行。

報告的阻塞路徑要自底向上看。最底下的 Go 函式是 Syscall6，一個帶 6 個引數的系統呼叫——單看這一幀還判斷不出是哪個系統呼叫，需要順著相鄰的幀找上下文。

相鄰的 Process.wait 幀表明底層系統呼叫是 waitpid。再往上，標準庫的 exec.Cmd.Run 說明程式正在執行一條系統 shell 命令並等待它完成。順著這條路往上走，根因落到了我們自己的業務程式碼：chat.RateLimit 函式。

這個最顯著的阻塞程式碼路徑，是從下面這張 Go 級別的 off-CPU 火焰圖中自動推匯出來的。同樣的 off-CPU 分析方法也適用於 Perl 和 Python 程序。

報告還給出了文字解釋和建議：Syscall6 發起一個帶 6 個引數的系統呼叫，這條路徑自下而上經過 exec.Cmd.Run 到達 chat.RateLimit，而這個業務函式正在執行一條系統命令並等待它。

要直接跳到出問題的原始碼，把滑鼠懸停在 chat.RateLimit 幀上。提示框裡會給出確切的原始檔和行號——chat/processor.go 第 46 行。

開啟這個檔案跳到第 46 行，瓶頸就在眼前：RateLimit 裡呼叫了 exec.Command("/usr/bin/sleep", "0.01")，再執行 cmd.Run()——起一條 shell 命令並阻塞等待。現在最佳化掉它就很容易了。

透過 OpenResty XRay 產品提升您應用的效能

全自動分析與日報、週報

您不一定要手動跑引導式分析。OpenResty XRay 也能自動監控您的線上程序，並在 Insights 頁面生成日報和週報——同樣的 off-CPU 程式碼路徑和 CPU 使用率概覽，自動為您產出。這樣一來，引導式分析主要用於開發和演示場景。

常見問題

如何對 Go 程式做 off-CPU 分析？

直接對執行中的未修改程序做分析即可。在 OpenResty XRay 的引導式分析（Guided Analysis）裡選擇 “Low CPU usage and cannot go up”，選中目標 Go 程序，執行一輪取樣。系統會自動生成分析報告，畫出 Go 層面的 off-CPU 火焰圖，並自動推匯出最顯著的阻塞程式碼路徑——無需埋點、無需改程式碼、無需重新發版。

為甚麼 Go 服務在高負載下 CPU 使用率仍然很低？

因為作業系統執行緒阻塞在等待上，而不是在執行 Go 程式碼。本文案例中，業務函式 chat.RateLimit 透過 exec.Cmd.Run 執行 shell 命令並等待其完成（底層是 waitpid 系統呼叫），導致無論多少請求進來，CPU 使用率都停在 2%。

off-CPU 火焰圖裡的 Syscall6 是甚麼？

Syscall6 是 Go 執行時中發起帶 6 個引數系統呼叫的函式。單看這一幀無法確定具體是哪個系統呼叫，需要結合相鄰的幀來判斷。在本文的火焰圖中，相鄰的 Process.wait 幀表明底層的系統呼叫是 waitpid。

關於 OpenResty XRay

OpenResty XRay 是一個動態追蹤產品，它可以自動分析執行中的應用程式，以解決效能問題、行為問題和安全漏洞，並提供可行的建議。在底層實現上，OpenResty XRay 由我們的 Y 語言驅動，可以在不同環境下支援多種不同的執行時，如 Stap+、eBPF+、GDB 和 ODB。

立即申請 OpenResty XRay 試用

關於作者

章亦春是開源 OpenResty^® 專案創始人兼 OpenResty Inc. 公司 CEO 和創始人。

章亦春（Github ID: agentzh），生於中國江蘇，現定居美國灣區。他是中國早期開源技術和文化的倡導者和領軍人物，曾供職於多家國際知名的高科技企業，如 Cloudflare、雅虎、阿里巴巴, 是 “邊緣計算“、”動態追蹤 “和 “機器程式設計 “的先驅，擁有超過 22 年的程式設計及 16 年的開源經驗。作為擁有超過 4000 萬全球域名使用者的開源專案的領導者。他基於其 OpenResty^® 開源專案打造的高科技企業 OpenResty Inc. 位於美國矽谷中心。其主打的兩個產品 OpenResty XRay（利用動態追蹤技術的非侵入式的故障剖析和排除工具）和 OpenResty Edge（最適合微服務和分散式流量的全能型閘道器軟體），廣受全球眾多上市及大型企業青睞。在 OpenResty 以外，章亦春為多個開源專案貢獻了累計超過百萬行程式碼，其中包括，Linux 核心、Nginx、LuaJIT、GDB、SystemTap、LLVM、Perl 等，並編寫過 60 多個開源軟體庫。