想知道執行中的 Perl 程序把記憶體花在哪,用 OpenResty XRay 剖析它即可:它掛載到未經修改的程序上,按佔用記憶體對活著的 Perl 物件和值排序,並透過資料引用路徑把最大的那個追溯回確切的變數與原始碼行——無需改程式碼、無需重啟。

本教程用 OpenResty XRay 的引導式分析和我們自研的 Perl 物件記憶體分佈火焰圖完整走一遍:在一個真實案例裡,一個 180MB 的 Perl 程序,其記憶體最終被定位到一個名為 order_name_cache 的雜湊表上。

症狀:top 裡某個 Perl 程序記憶體佔用過高

先執行 top 命令檢視各程序的記憶體使用情況。可以看到,有一個 Perl 程序消耗了最多的記憶體,超過了 180MB。

top 輸出顯示該 Perl 程序佔用記憶體最多,超過 180MB

再執行 ps 命令檢視這個程序的更多細節。可以看到這個程序使用的 Perl 二進位制可執行檔案,是 Linux 發行版自帶的。

ps 輸出顯示該程序是系統自帶的 perl 二進位制

下面我們用 OpenResty XRay 來檢查這個未經修改的程序,對它進行實時分析,找出記憶體究竟花在了哪裡。

用 OpenResty XRay 引導式分析定位最大的 Perl 物件

在瀏覽器中開啟 OpenResty XRay 的 Web 控制檯,確認當前分析的機器是正確的(不對可以在列表裡重新選擇)。進入 “Guided Analysis” 頁面,這裡可以看到系統能診斷的各類問題。

OpenResty XRay 引導式分析可診斷的問題型別,包含 High memory usage

選擇 “High memory usage”,選中之前的 Perl 應用和 top 裡標出的那個程序(消耗超過 180MB 的那個),保持 Perl 和 C/C++ 兩個語言級別都選中,最長分析時間保留預設的 300 秒。開始分析,跑一到兩輪後,OpenResty XRay 會自動生成一份記憶體分析報告。可以看到大部分記憶體是由 Libc 分配器分配的,這裡超過了 160MB。

OpenResty XRay 報告顯示大部分記憶體由 libc 分配器分配,超過 160MB

這是佔用最多記憶體的 Perl 記憶體物件引用路徑。顯然,這個 Perl 虛擬機器使用了絕大多數由 Libc 分配的記憶體。

報告中佔用記憶體最多的 Perl 記憶體物件引用路徑

最大的佔用位於 Services::Preprocessor 模組裡。

引用路徑指向 Services::Preprocessor Perl 模組

在模組的符號表中,有一個名為 order_name_cache 的變數。

Services::Preprocessor 模組符號表中的 order_name_cache 變數

這個變數是一個 Perl 雜湊表。

order_name_cache 變數是一個 Perl 雜湊表

點選檢視更多細節。

引用路徑中 order_name_cache 雜湊表的詳細檢視

這個物件引用路徑,是從 Perl 語言級別 GC 物件記憶體分佈火焰圖,自動推匯出來的。

推匯出該引用路徑的 Perl 語言級 GC 物件記憶體分佈火焰圖

下面是對問題更詳細的解釋和建議。它對資料引用路徑中的物件,逐個進行了解釋。

OpenResty XRay 對資料引用路徑中各物件的解釋與建議

把最大的物件追溯回原始碼檔案

模組名 Services::PreProcessor 與 Perl 原始檔路徑相對應。因此,我們可以透過它找到原始檔。

模組名 Services::Preprocessor 對映到 Perl 原始檔路徑

在終端上,切換當前工作目錄到 Perl 應用的原始碼樹。

終端切換到 Perl 應用的原始碼樹

find 命令查詢原始檔。

用 find 命令定位 Services/Preprocessor Perl 原始檔

複製完整的檔案路徑,使用 vim 編輯器開啟原始檔。您可以使用任何您喜歡的編輯器。

複製完整檔案路徑並用 vim 開啟原始檔

回到資料引用路徑,單擊圖示以複製這個 Perl 雜湊表的變數名。

從資料引用路徑複製 order_name_cache 雜湊表變數名

貼上。我們可以看到雜湊表是在這裡定義的,

Perl 原始檔中 order_name_cache 雜湊表的定義處

以及這個雜湊表變數是如何使用的。

Perl 原始碼中 order_name_cache 雜湊表的使用處

用 Insights 報告自動監控 Perl 程序記憶體

OpenResty XRay 也可以自動監控線上程序,並顯示分析報告。在 “Insights” 頁面中可以找到以日和周為週期的報告,所以您不是非得手動執行 “Guided Analysis” 功能——當然,“Guided Analysis” 對於應用的開發和演示仍然很有用。

OpenResty XRay Insights 頁面的 Perl 應用日報與週報

本文針對的是記憶體佔用大但基本穩定的情況。如果一個 Perl 程序的記憶體是隨時間持續增長,請參見我們的案例文章排查 Perl 記憶體洩漏。若是 CPU 側的問題,請參見排查 Perl 程序 CPU 佔用過高

常見問題(FAQ)

如何找出是哪個 Perl 程序佔用記憶體最多?

執行 top 命令——佔用記憶體最多的就是那個 Perl 程序,本例中超過 180MB。再執行 ps 檢視更多細節,這裡它是 Linux 發行版自帶的標準 Perl 二進位制。然後用 OpenResty XRay 分析這個具體程序,找出記憶體花在了哪裡。

能不能在不改程式碼、不重啟的情況下剖析 Perl 記憶體佔用?

可以。OpenResty XRay 實時分析未經修改的執行中 Perl 程序——本例即為發行版自帶的標準 Perl 二進位制。因為它就地分析程序本身,你無需修改或重啟應用就能看到記憶體去了哪裡。

甚麼是 Perl 記憶體物件引用路徑?

它是指向佔用最多記憶體那個物件的引用路徑——這裡是 Services::Preprocessor 模組裡的 order_name_cache 雜湊表。OpenResty XRay 會從 Perl 語言級別的 GC 物件記憶體分佈火焰圖中自動推匯出這條路徑。

如何把一個大的 Perl 物件追溯回原始碼?

模組名與 Perl 原始檔路徑相對應,據此即可定位原始檔。從引用路徑中複製變數名——這裡是 order_name_cache——用 find 定位檔案並開啟,就能看到該雜湊表在哪裡定義、在哪裡使用。

關於 OpenResty XRay

OpenResty XRay 是一個動態追蹤產品,它可以自動分析執行中的應用,以解決效能問題、行為問題和安全漏洞,並提供可行的建議。在底層實現上,OpenResty XRay 由我們的 Y 語言驅動,可以在不同環境下支援多種不同的執行時,如 Stap+、eBPF+、GDB 和 ODB。

關於作者

章亦春是開源 OpenResty® 專案創始人兼 OpenResty Inc. 公司 CEO 和創始人。

章亦春(Github ID: agentzh),生於中國江蘇,現定居美國灣區。他是中國早期開源技術和文化的倡導者和領軍人物,曾供職於多家國際知名的高科技企業,如 Cloudflare、雅虎、阿里巴巴, 是 “邊緣計算“、”動態追蹤 “和 “機器程式設計 “的先驅,擁有超過 22 年的程式設計及 16 年的開源經驗。作為擁有超過 4000 萬全球域名使用者的開源專案的領導者。他基於其 OpenResty® 開源專案打造的高科技企業 OpenResty Inc. 位於美國矽谷中心。其主打的兩個產品 OpenResty XRay(利用動態追蹤技術的非侵入式的故障剖析和排除工具)和 OpenResty Edge(最適合微服務和分散式流量的全能型閘道器軟體),廣受全球眾多上市及大型企業青睞。在 OpenResty 以外,章亦春為多個開源專案貢獻了累計超過百萬行程式碼,其中包括,Linux 核心、Nginx、LuaJITGDBSystemTapLLVM、Perl 等,並編寫過 60 多個開源軟體庫。

關注我們

如果您喜歡本文,歡迎關注我們 OpenResty Inc. 公司的部落格網站 。也歡迎掃碼關注我們的微信公眾號:

我們的微信公眾號

翻譯

我們提供了英文版 原文和中譯版(本文)。我們也歡迎讀者提供其他語言的翻譯版本,只要是全文翻譯不帶省略,我們都將會考慮採用,非常感謝!