要在不改動一行程式碼的情況下剖析 Python 記憶體佔用,只需把 OpenResty XRay 掛到執行中的程序上。它自研的 Python GC 物件記憶體分佈火焰圖能精確指出到底是哪些物件、模組和字典佔用了最多記憶體,並給出通向每一個的完整資料引用路徑。

下面我們在一個未經修改的 gunicorn 程序上實時演示這套分析——無需 @profile 裝飾器,也無需重啟——再展示能持續自動暴露記憶體大戶的報告。Python 程式碼中的記憶體洩漏和大記憶體佔用,從此不再是謎!

找出哪個 Python 程序最佔記憶體

執行 top 命令檢查記憶體使用情況。可以看到,名為 gunicorn 的 Python 程序佔用記憶體最多——RSS 超過 600MB。

top 輸出顯示 gunicorn Python 程序佔用最多記憶體,RSS 超過 600MB

執行 ps 檢視更多細節。這裡它使用的是 Linux 發行版自帶的標準 Python 3 二進位制(/usr/bin/python3),執行著一個 order_service 的 gunicorn WSGI 應用。

ps 輸出顯示 gunicorn 程序執行的是標準的 /usr/bin/python3 二進位制

用引導式分析剖析 Python 記憶體:定位最大的物件及其所屬模組

OpenResty XRay 實時檢查這個未經修改的程序。開啟 Web 控制檯,確認正在觀察的機器無誤,進入 Guided Analysis(引導式分析)頁面,這裡可以選擇 OpenResty XRay 能診斷的各類問題。

OpenResty XRay 引導式分析的問題型別,包含 High memory usage

選擇 High memory usage,選中 Python 應用以及 top 標記出的那個 gunicorn 程序(佔用近 600MB 的那個),保持 PythonC/C++ 兩個語言級別都選中,然後開始。經過一兩輪分析後,OpenResty XRay 會自動生成一份報告。

這是現在我們要分析的問題型別,記憶體。

OpenResty XRay 報告中當前分析的問題型別:記憶體(High memory usage)

我們可以看到大部分記憶體是由 Libc 分配器分配的,這裡超過了 580 MB。

報告顯示大部分記憶體由 libc 分配器分配,超過 580MB

這是佔用記憶體最多的 Python GC 物件的引用路徑。很明顯,這個 Python 虛擬機器使用了 Libc 分配器來請求記憶體。

OpenResty XRay 報告:佔記憶體最多的 #1 Python GC 物件引用路徑,570MB 字典由 prev_processor 模組的 order_name_cache 持有

這個 Python 字典用於儲存所有已載入的 Python 模組。

Python 直譯器儲存所有已載入模組的字典

這是一個名為 order_service.service.order.prev_processor 的 Python 模組。

引用路徑中的 Python 模組 order_service.service.order.prev_processor

在這個模組中,有一個名為 order_name_cache 的欄位。

prev_processor 模組中名為 order_name_cache 的欄位

這個欄位的值是一個 Python 字典。

order_name_cache 欄位的值是一個 Python 字典

點選檢視更多細節。

點選展開 order_name_cache 字典的更多細節

這個資料引用路徑,是從這個 Python GC 物件記憶體分佈火焰圖中自動推匯出來的。

Python GC 物件記憶體分佈火焰圖,高亮通向 order_name_cache 的最熱呼叫棧

下面是對問題更詳細的解釋和建議。它提到了我們之前看到的 prev_processor 模組。

OpenResty XRay 報告解讀:逐層拆解通向 order_name_cache 字典的 Python 引用路徑

它也提到了 order_name_cache 字典。

回到資料引用路徑。點選這個圖示,來複制這個模組名稱。

在資料引用路徑上點選圖示複製模組名稱

在終端上,使用 find 命令來查詢 Python 原始檔。

在終端使用 find 命令查詢 Python 原始檔

貼上我們剛剛複製的模組名稱。這裡,我們借用模組名稱中的點,作為 grep 命令的萬用字元。

貼上模組名稱,借用其中的點作為 grep 萬用字元

複製完整的檔案路徑。使用 vim 編輯器開啟這個原始檔。您可以使用任何您喜歡的編輯器。

複製完整檔案路徑並用 vim 開啟原始檔

我們可以找到之前報告裡提到的 order_name_cache 變數。

在原始檔中找到報告提到的 order_name_cache 變數

我們也可以檢查這個變數是如何使用的,以確定是否存在記憶體洩漏問題。

prev_processor.py 原始碼:order_name_cache 是模組級字典,handle() 對每個訂單寫入且從不清理

order_name_cache 是一個模組級字典,handle() 每處理一個訂單就往裡寫入一條新條目,而沒有任何地方會移除條目。正是這種無上限的增長,讓程序佔用了數百 MB 記憶體——一個經典的 Python 記憶體洩漏,現在你可以直接在源頭修復它。

用定時報告自動監控 Python 記憶體佔用

OpenResty XRay 也可以自動監控線上程序並展示分析報告。在 Insights 頁面,你可以找到以日和周為週期的報告——同樣的記憶體引用路徑會自動浮現——所以你不必每次都手動執行引導式分析,儘管引導式分析對於應用開發和演示仍然很有用。

OpenResty XRay Insights 日報自動呈現佔記憶體最多的 Python 引用路徑

本文針對的是記憶體佔用大但基本穩定的情況。如果 Python 程序的記憶體是隨時間持續增長,那更可能是洩漏——請參見我們的方法論指南:如何區分記憶體洩漏與記憶體佔用高

常見問題

如何找出哪個 Python 程序最佔記憶體?

執行 top 按常駐記憶體排序程序,再執行 ps 確認具體的二進位制和應用。在本教程中,執行 order_service WSGI 應用的 gunicorn 工作程序的 RSS 超過 600 MB——使其成為深入剖析的明確目標。

不加 @profile 裝飾器、不重啟程序,能剖析 Python 記憶體嗎?

可以。OpenResty XRay 實時掛到已經執行的、未經修改的 Python 程序上。無需插入 @profile 裝飾器,也無需重啟——分析直接在原樣執行的程序上進行。

甚麼是 Python GC 物件記憶體分佈火焰圖?

這是 OpenResty 自研的一種火焰圖,按每個被垃圾回收管理的 Python 物件佔用多少記憶體以及沿著哪條資料引用路徑來進行對映。OpenResty XRay 從活程序自動生成該火焰圖,並把每個物件回溯到模組層級——例如,從頂層的 .modules 字典一路到 prev_processor.order_name_cache

如何找出 Python 記憶體中最大的物件?

在 OpenResty XRay 中啟動引導式分析,選擇 High memory usage。生成的報告按大小排列 GC 物件引用路徑。在本例中,最熱的路徑指向了 order_service.service.order.prev_processor 模組中的一個 dict——order_name_cache——佔用約 570 MB,因為 handle() 每處理一個訂單就寫入一條新條目,而從未清理。

GC 物件火焰圖能揭示哪些記憶體問題?

火焰圖展示通向每個物件的完整資料引用路徑,因此大記憶體佔用和洩漏都能暴露出來。在本教程中,引用路徑揭示了 order_name_cache 是一個模組級字典,handle() 持續向其寫入卻從不淘汰條目——一個經典的無上限增長記憶體洩漏。由於 OpenResty XRay 將記憶體歸因到特定模組中的特定欄位,你可以直接開啟原始檔檢視該變數的使用方式。

關於 OpenResty XRay

OpenResty XRay 是一個動態追蹤產品,它可以自動分析執行中的應用,以解決效能問題、行為問題和安全漏洞,並提供可行的建議。在底層實現上,OpenResty XRay 由我們的 Y 語言驅動,可以在不同環境下支援多種不同的執行時,如 Stap+、eBPF+、GDB 和 ODB。

關於作者

章亦春是開源 OpenResty® 專案創始人兼 OpenResty Inc. 公司 CEO 和創始人。

章亦春(Github ID: agentzh),生於中國江蘇,現定居美國灣區。他是中國早期開源技術和文化的倡導者和領軍人物,曾供職於多家國際知名的高科技企業,如 Cloudflare、雅虎、阿里巴巴, 是 “邊緣計算“、”動態追蹤 “和 “機器程式設計 “的先驅,擁有超過 22 年的程式設計及 16 年的開源經驗。作為擁有超過 4000 萬全球域名使用者的開源專案的領導者。他基於其 OpenResty® 開源專案打造的高科技企業 OpenResty Inc. 位於美國矽谷中心。其主打的兩個產品 OpenResty XRay(利用動態追蹤技術的非侵入式的故障剖析和排除工具)和 OpenResty Edge(最適合微服務和分散式流量的全能型閘道器軟體),廣受全球眾多上市及大型企業青睞。在 OpenResty 以外,章亦春為多個開源專案貢獻了累計超過百萬行程式碼,其中包括,Linux 核心、Nginx、LuaJITGDBSystemTapLLVM、Perl 等,並編寫過 60 多個開源軟體庫。

關注我們

如果您喜歡本文,歡迎關注我們 OpenResty Inc. 公司的部落格網站 。也歡迎掃碼關注我們的微信公眾號:

我們的微信公眾號

翻譯

我們提供了英文版原文和中譯版(本文)。我們也歡迎讀者提供其他語言的翻譯版本,只要是全文翻譯不帶省略,我們都將會考慮採用,非常感謝!