這篇文章將向您分享我們的一個 OpenResty XRay 的客戶使用我們的工具識別和修復了他們 Kong API 閘道器 CPU 瓶頸的成功案例。Kong 是基於我們開源 OpenResty 軟體開發的一個強大而靈活的 API 閘道器。然而,有時擴充套件 Kong 功能的自定義外掛可能會引入效能問題或者難以發現和除錯的 bug。這就是為甚麼我們的客戶決定使用 OpenResty XRay,這是一個非侵入式的高效工具,可以監控和分析包括 Kong 在內的所有 OpenResty 應用程式的效能。

問題:Kong 伺服器中的高 CPU 使用率

我們的客戶注意到他們的 Kong 伺服器消耗的 CPU 資源比預期的多,即使進入的 API 流量不是很高。他們懷疑在他們的自定義外掛中可能存在一些低效之處或者錯誤,但不知道從哪裡開始查詢。他們需要一個工具,可以幫助他們找出 CPU 瓶頸的根本原因,並就如何解決這一問題提供可行性建議。

分析和報告

客戶在他們的 Kong 伺服器上安裝了 OpenResty XRay,並將其配置為定期或當 CPU 使用率激增時自動對線上的 Kong 程序進行取樣。OpenResty XRay 還會每小時自動更新當天的分析報告,這樣我們的客戶和我們的團隊就可以看到最新的效能資料。

我們在報告中首先注意到的是 CPU 部分的以下熱程式碼路徑:

<a href="https://openresty.com.cn/cn/xray/">OpenResty XRay</a> 報告中的 CPU 部分

該程式碼路徑顯示,string.lower 標準函式丟擲了 Lua 異常,該函式將輸入字串的所有字元轉換為小寫。異常在大多數程式語言及其實現中都是昂貴的操作,因為它們通常需要進行 stack unwinding 和錯誤處理。我們想知道這些異常是怎麼發生的以及它們來自哪裡。

將滑鼠懸停在程式碼路徑中的 Lua 或 C 函式上,我們可以看到 Lua 的源位置,包括檔名和行號。

Lua 程式碼路徑中的 Lua 源位置

報告還向我們展示了 CPU 火焰圖,並用紅色高亮了這個熱程式碼路徑:

為了確認我們的發現,我們還檢視了同一份報告中的“錯誤與異常”部分,其中顯示了以下錯誤資訊:

<a href="https://openresty.com.cn/cn/xray/">OpenResty XRay</a> 報告中的錯誤部分

錯誤資訊顯示"bad argument #1 to 'lower' (string expected, got nil)",這意味著 Lua 程式碼向lower函式傳遞了nil值,而該函式期望得到的是一個字串引數。透過檢視其父函式幀[builtin#string.lower],我們知道這是 Lua 內建函式string.lower。從報告中,我們還了解到這個異常是從原始檔.../kong/plugins/auth/handler.lua的第 35 行丟擲的。

有趣的是,這個 Lua 異常實際上是被 pcall 捕獲的,pcall 是一個在保護模式下呼叫另一個函式的 Lua 函式,這意味著它可以在不中斷整個 Lua 處理程式的情況下捕獲任何錯誤。這就是為甚麼在 Kong 的錯誤日誌檔案中沒有發現任何有用的資訊。

在這一點上,我們已經有足夠的資訊來得出結論,客戶自己的authKong 外掛中存在一個 bug,它誤用了標準的 Lua API 函式string.lower。修復方法也很簡單:只需避免向.../kong/plugins/auth/handler.lua 中第 35 行的 string.lower 傳遞 nil 值即可。

結果:提高了效能,降低了 CPU 使用率

在對其自定義 auth 外掛進行修復後,客戶發現其 Kong 伺服器的效能得到了顯著提升。

從圖中我們可以看到,在相同的 API 流量下,CPU 的平均使用率從 80% 下降到了 50%。CPU 資源的消耗降低了 37.5%!我們的客戶對這一結果非常滿意,並對我們的幫助表示感謝。

結論

這篇文章展示了 OpenResty XRay 如何幫助我們的客戶找到並修復了他們自定義的 Kong 外掛中意外的 Lua 異常所導致的 CPU 瓶頸問題。透過使用 OpenResty XRay,他們能夠快速識別熱程式碼路徑和異常的源位置,以及錯誤資訊和堆疊跟蹤。也能夠看到應用修復後的效能改進。

OpenResty XRay 是一個動態追蹤產品,它可以自動分析正在執行中的應用程式,以排除效能問題、行為問題和安全漏洞,並提供可行的建議。在底層實現上,OpenResty XRay 由我們的 Y 語言驅動,可以在不同環境下支援多種不同的執行時,如 Stap+, eBPF+, GDB 和 ODB。

關於作者

章亦春是開源 OpenResty® 專案創始人兼 OpenResty Inc. 公司 CEO 和創始人。

章亦春(Github ID: agentzh),生於中國江蘇,現定居美國灣區。他是中國早期開源技術和文化的倡導者和領軍人物,曾供職於多家國際知名的高科技企業,如 Cloudflare、雅虎、阿里巴巴, 是 “邊緣計算“、”動態追蹤 “和 “機器程式設計 “的先驅,擁有超過 22 年的程式設計及 16 年的開源經驗。作為擁有超過 4000 萬全球域名使用者的開源專案的領導者。他基於其 OpenResty® 開源專案打造的高科技企業 OpenResty Inc. 位於美國矽谷中心。其主打的兩個產品 OpenResty XRay(利用動態追蹤技術的非侵入式的故障剖析和排除工具)和 OpenResty Edge(最適合微服務和分散式流量的全能型閘道器軟體),廣受全球眾多上市及大型企業青睞。在 OpenResty 以外,章亦春為多個開源專案貢獻了累計超過百萬行程式碼,其中包括,Linux 核心、Nginx、LuaJITGDBSystemTapLLVM、Perl 等,並編寫過 60 多個開源軟體庫。

關注我們

如果您喜歡本文,歡迎關注我們 OpenResty Inc. 公司的部落格網站 。也歡迎掃碼關注我們的微信公眾號:

我們的微信公眾號

翻譯

我們提供了英文版原文和中譯版(本文)。我們也歡迎讀者提供其他語言的翻譯版本,只要是全文翻譯不帶省略,我們都將會考慮採用,非常感謝!