我们将一家金融科技客户 500,000 QPS OpenResty 网关的周期性延迟尖刺，追溯到三个根因：一个字符串处理函数在特定输入下退化为回溯匹配、单次执行耗时高达 244.64 毫秒；log 阶段因一个每次请求都被重新编译的正则表达式而占用 26.5% 的 CPU 时间；以及基础镜像遗漏 --with-pcre-jit 编译参数，导致 PCRE JIT 未启用。三项修复后，300 毫秒的尖刺彻底消除，集群 CPU 使用率下降约 30%。

该网关是核心跨境支付清算系统的入口，每天承载数百亿次调用。客户监控面板上一切正常——P50 延迟稳定在 10 毫秒以内——但这些尖刺已超出关键交易路径的严格 SLA 阈值，潜藏着网关侧交易超时的风险。下面完整复盘 OpenResty XRay 如何在不修改任何代码的前提下逐一定位这些根因。

立即申请 OpenResty XRay 试用

被健康平均值掩盖的延迟尖刺与 CPU 浪费

为客户进行的一次例行性能健康检查中，我们利用 OpenResty XRay 对其生产环境进行了非侵入式的深度扫描。尽管客户现有的监控仪表盘显示系统整体运行平稳，但 OpenResty XRay 的分析很快揭示了两个潜藏在漂亮平均值之下的严重性能风险：

  • 平均值掩盖下的隐患： 我们发现，在绝大多数请求都正常响应时，仍然有极少数请求（即最慢的那 1%）会出现短暂却高达 300 毫秒以上的严重延迟。这些信号在客户现有的海量监控数据中很容易被当作统计噪音而忽略，但 OpenResty XRay 却能精准捕捉并分析其最长耗时，将其标记为高风险事件。（同样的症状也可能来自完全不同的根因——参见我们如何在一个 D 语言服务中定位保守式 GC 导致的 P99 延迟。）
  • 持续高企的 CPU 黑洞： 监控显示，网关集群的 CPU 利用率，尤其是在 log 阶段，一直居高不下。为了保证峰值时段的稳定性，客户团队不得不采用超额配置的策略，这直接转化为了高昂的基础设施成本。

这是都曾面临的经典难题：大概知道问题出在哪里，大概率是 Lua 代码层，但你不知道具体是哪一行、哪个函数、以及在何种条件下触发。

无需改代码、无需重启：OpenResty 延迟问题排查

很显然，挑战已不再是收集更多的监控数据，而是如何从海量数据中获得可执行的洞察。为了走出“观察-猜测-验证”的低效循环，我们需要一个能够安全地在生产环境进行深度勘察的工具。这正是 OpenResty XRay 发挥核心价值的地方，其非侵入式的动态追踪能力是关键——无需修改任何代码，无需重启任何服务，这对于金融核心系统是不可逾越的红线。

我们在客户一个高负载的生产 Pod 上启动了 OpenResty XRay 的自动分析。几分钟后，第一批深度分析报告生成，谜题的答案开始浮现。

根因一：模式匹配回溯，单次执行耗时 244 毫秒

在对客户的高性能网关集群进行深度分析时，我们首先着手解决的是一个棘手的延迟毛刺问题。

  • 数据指引： 通过对生产环境的瞬时采样分析，我们将高延迟现象与一个特定的字符串处理函数关联起来。数据显示，在处理某些特定模式的输入时，该函数的单次执行耗时可达 244.64 毫秒，这足以解释观察到的延迟毛刺。
  • 证据： 进一步分析表明，该函数所依赖的底层引擎在设计上未对 JIT（即时编译）进行优化。当遇到某些边界情况的输入时，其模式匹配算法会退化为一种低效的回溯模式，导致执行时间出现指数级增长。

基于此发现，我们建议将热点路径中的该函数替换为框架内一个更现代、且为高并发场景设计的 JIT 友好型替代方案。实施后，系统的延迟毛刺现象得到有效解决，服务可用性指标恢复稳定。

根因二：log 阶段 CPU 高企——正则表达式每次请求都被重新编译

在解决了延迟问题后，我们注意到系统的整体 CPU 使用率仍然高于预期基线，这表明存在进一步的优化空间。

  • XRay 证据： On-CPU 火焰图提供了一个清晰的方向，一个通常被认为是低开销的日志记录（log）阶段，意外地占用了 26.5% 的 CPU 时间，成为一个不成比例的 CPU 消耗点。
  • 归因分析： 对该函数栈的下钻分析揭示了问题的核心：在日志处理逻辑中，一个用于格式化和脱敏的正则表达式，在每次请求处理时都被重新编译。这种在循环中执行的昂贵编译操作，是导致 CPU 开销过高的直接原因。

我们建议在相关的正则表达式调用中启用“编译缓存”选项，确保其“一次编译，多次运行”。这一调整大幅降低了客户日志模块的 CPU 占用，将这部分计算资源释放出来，从而提升了服务器处理核心业务逻辑的容量。

根因三：PCRE JIT 未启用——缺失的编译参数

前两项优化解决了应用层面的具体问题，但 OpenResty XRay 的“Lua-Land”报告揭示了一个更深层次、更系统性的问题。

  • 系统性发现： 分析报告显示，即使在应用了缓存优化之后，系统核心的 PCRE（Perl Compatible Regular Expressions）引擎的 JIT 加速功能，在整个生产环境中也并未被激活。
  • 根源追溯： 这个问题并非源于代码逻辑，而是来自更上游的构建环节。我们确认，客户用于部署的基础容器镜像，在编译其核心应用网关时，遗漏了启用 PCRE JIT 支持的关键编译参数（--with-pcre-jit）。
  • 战略性修正： 这意味着整个集群从未利用到这一重要的性能增强特性。我们向客户团队提出了修正其CI/CD流程、重构基础镜像的建议。此举从根本上激活了平台的一项核心性能特性，彻底释放 OpenResty 的潜力。系统性地提升了所有相关服务的性能基线，展现了我们贯穿应用代码、运行时环境到基础设施构建全链路的分析能力。

优化结果：延迟毛刺消除，CPU 使用率下降 30%

基于 OpenResty XRay 的洞察，客户团队实施了一系列优化。效果是立竿见影且可量化的：

  1. 延迟毛刺彻底消除： 优化后，延迟曲线变得平滑如镜，从超过 300 毫秒降至稳定水平。
  2. CPU 成本节约 30%： 修复了正则缓存问题并全局启用 JIT 后，网关集群的整体 CPU 利用率下降了约 30%，节约大量云基础设施成本。
  3. MTTR（平均解决时间）大幅缩短： 性能问题的诊断时间从过去“几周的猜测和会议”，缩短到了“几分钟的精确定位”。

在 CI/CD 中提前拦截性能退化

修复这两处性能瓶颈的直接价值是显而易见的。但更深层的洞察在于，它再次印证了一个工程哲学：在高并发、低延迟的 OpenResty 环境中，性能问题往往隐藏在构建系统、运行时配置和底层细节的魔鬼之中。

当问题根源超越应用代码逻辑时，传统的观测手段将面临效率瓶颈。缺乏动态、非侵入式的底层追踪能力，即使是经验最丰富的工程师，在面对这些隐蔽的性能回归时，定位成本也会显著提高。

基于这次经历，客户工程团队正审慎地规划下一阶段的工程体系优化。他们计划将 OpenResty XRay 的持续性能分析能力前置，集成到 CI/CD 流程的基准测试环节。在任何可能导致性能退化的代码或配置被合并到主干之前，就能通过自动化的基准测试报告，可靠地捕获环境、配置或编译引起的性能异常。这一举措标志着一种从“被动响应”到“主动防御”的思维转变。

希望这次对 OpenResty 环境中两个典型性能盲区的深度剖析，能够为同样奋战在一线、致力于提升系统稳定性和效率的你，提供一个可借鉴的视角和思路。

常见问题

平均延迟正常，为什么 OpenResty 还会出现延迟尖刺？

因为平均值掩盖了长尾。在这个网关中，P50 延迟稳定在 10 毫秒以内，但极少数请求的延迟飙升超过 300 毫秒：一个字符串处理函数在特定模式的输入下退化为低效的回溯匹配，单次执行耗时高达 244.64 毫秒。这类罕见事件在常规监控面板中被当作统计噪音忽略，而 OpenResty XRay 能精准捕捉其最长耗时并标记为高风险。

OpenResty 的 log 阶段为什么会占用这么多 CPU？

log 阶段通常开销很低，但在这个网关中却消耗了 26.5% 的 CPU 时间。On-CPU 火焰图将这部分损耗定位到日志处理逻辑中一个用于格式化和脱敏的正则表达式——它在每次请求处理时都被重新编译。为相关正则调用启用“编译缓存”选项、做到“一次编译，多次运行”后，日志模块的 CPU 占用大幅下降。

立即申请 OpenResty XRay 试用

关于 OpenResty XRay

OpenResty XRay 是一个动态追踪产品，它可以自动分析运行中的应用，以解决性能问题、行为问题和安全漏洞，并提供可行的建议。在底层实现上，OpenResty XRay 由我们的 Y 语言驱动，可以在不同环境下支持多种不同的运行时，如 Stap+、eBPF+、GDB 和 ODB。

立即申请 OpenResty XRay 试用

关于作者

章亦春是开源 OpenResty® 项目创始人兼 OpenResty Inc. 公司 CEO 和创始人。

章亦春（Github ID: agentzh），生于中国江苏，现定居美国湾区。他是中国早期开源技术和文化的倡导者和领军人物，曾供职于多家国际知名的高科技企业，如 Cloudflare、雅虎、阿里巴巴，是 “边缘计算 “、” 动态追踪 “和 “机器编程 “的先驱，拥有超过 22 年的编程及 16 年的开源经验。作为拥有超过 4000 万全球域名用户的开源项目的领导者。他基于其 OpenResty® 开源项目打造的高科技企业 OpenResty Inc. 位于美国硅谷中心。其主打的两个产品 OpenResty XRay（利用 动态追踪 技术的非侵入式的故障剖析和排除工具）和 OpenResty Edge（最适合微服务和分布式流量的全能型网关软件），广受全球众多上市及大型企业青睐。在 OpenResty 以外，章亦春为多个开源项目贡献了累计超过百万行代码，其中包括，Linux 内核、Nginx、LuaJIT、GDB、SystemTap、LLVM、Perl 等，并编写过 60 多个开源软件库。

关注我们

如果您喜欢本文，欢迎关注我们 OpenResty Inc. 公司的 博客网站 。也欢迎扫码关注我们的微信公众号：

我们的微信公众号

翻译

我们提供了 英文版 原文和中译版（本文）。我们也欢迎读者提供其他语言的翻译版本，只要是全文翻译不带省略，我们都将会考虑采用，非常感谢！