AI 智能体能否构建真正的 Stripe 集成?我们建立了一套基准测试来一探究竟

Carol Liang API 标准
Kevin Ho API 标准
Blog > Can AI agents build real Stripe integrations? > Image 1

最先进的大型语言模型 (LLM) 如今已能解决大多数有明确范围的编程问题,从函数实现到文件级重构。但编码能力与完全自主管理软件工程项目的能力之间仍存在着尚未量化的差距。 

现实世界的软件工程是一项长期活动,需要规划、持续的状态管理及从故障中恢复。即使是像 Stripe 这样注重易用性的 API,端到端交付集成也涉及大量跨域“粘合”工作,包括处理新 API、测试前端以及数据库迁移。 

我们想要回答这样一个问题:智能体能否自主构建完整的 Stripe 集成?对于在 Stripe 上运行的企业而言,一个基本正确的集成也是失败的;支付需要 100% 的准确性。因此,关键不仅在于智能体生成代码的能力,更在于它能否像人类工程师一样,以严谨的态度对代码进行验证、测试和确认。为了评估这一点,我们需要回答以下几个相关问题: 

  1. 模型对 Stripe API 的理解程度如何?
  2. 智能体能否为 Stripe 集成的后端和前端组件编写出正确的代码?
  3. 最后,它们能否完成端到端的粘合工作——更新软件包、管理数据库状态以及验证集成在浏览器中是否真正有效?

为此,我们构建了一套环境和评估挑战,真实还原了构建全栈 Stripe 集成的过程,要求模型处理完整的代码库、编写脚本、操作浏览器、搜索文档等。最终成果就是 Stripe 集成基准测试,这是首批在拟真生产环境中针对 API 进行的智能体开发基准测试之一。我们的研究揭示了这些模型的优势与短板,以及为什么衡量现实世界中的执行力远比看起来要困难,尤其是在任务定义模糊且成功依赖于端到端验证时。

我们如何构建 Stripe 集成基准测试

我们与一支由产品工程师和技术支持工程师组成的团队,共同头脑风暴了一系列能够代表 Stripe 客户可能面临的现实集成挑战的用例,例如迁移 Stripe Checkout 流程,或使用我们的 Stripe Billing API 对其业务模式进行建模。随后,我们开发了 11 个多样化的环境,其中包含智能体需要完成的 Stripe 集成任务。每项评估均遵循以下结构:

  • 环境:一个完整的编码环境,包含代码、数据库和脚本,代表 Stripe 集成项目的典型起始代码库。该环境还包含测试 Stripe API 密钥,智能体可用于测试和挑战提交验证。
  • 评分器:用于对提交结果进行评分的自动化评估组件。在大多数挑战中,评分器被实现为确定性测试,通过 API 调用或自动化 UI 测试(或两者结合)来运行最终软件。一些评分器还会通过检查创建的 Stripe API 对象来验证运行结果。例如,在一个全栈挑战中,智能体可能在 UI 中完成支付,然后通过检测 Stripe 中对应的成功测试模式 Checkout Session API 对象来验证是否成功。
  • 智能体运行框架:供 LLM 执行工具和操作的运行环境。为了让所有模型使用一致的运行框架,我们在所有评估运行中采用了基于 goose 的运行框架,并为模型提供了一个模型上下文协议 (MCP) 服务器,使其能够访问终端、浏览器以及 Stripe 专用的搜索工具。
Blog > Can AI agents build real Stripe integrations? > Image 2

评估示意图及智能体执行记录的代表性片段

开发这些稳健的挑战所需的工程量,不亚于构建真实的软件。这些环境必须具备真实场景的复杂度(包含多个文件、脚本和数据库),同时还要足够结构化,以支持清晰、无歧义、可重现的自动化评分。我们的集成挑战主要涵盖以下三个类别:

  1. 仅后端任务:任务专注于服务器端 Stripe 集成任务,如完成数据迁移、处理 Stripe API 版本变更以及更新后端 API。
  2. 全栈任务:涉及同时包含服务器端组件和客户端集成的 Stripe 集成任务。最终提交需要通过浏览器完成。
  3. 练习题集:针对 Stripe 功能集特定部分(即我们的“练习场”)设计的模拟练习,例如 Checkout 或订阅。此类任务旨在通过涵盖这些产品的更高级配置,例如为 Checkout 自定义运费费率或更改订阅的免费试用行为,来考察智能体对特定领域的理解深度。

主要发现

在开发此基准测试时,我们有意偏向高难度,设计了数量较少但挑战性更高的任务,目标是让模型难以应对。基于 2025 年中期对最先进模型的初步评估,我们原本预计它们在纯后端任务上表现尚可,但在处理全栈集成的复杂工作时会举步维艰。 

然而,结果出乎意料:模型不仅能自如操作 UI、调试实时问题,甚至能处理文档中未详细记载的行为。我们发现,Claude Opus 4.5 在全栈 API 集成任务方面尤为熟练(4 项任务平均得分 92%),而 OpenAI 的 GPT-5.2 则在“练习题集”方面表现突出(2 项任务平均得分 73%)。所有参与基准测试的模型都能长时间保持高效工作,表现最佳的运行记录平均包含了 63 轮交互。

Blog > Can AI agents build real Stripe integrations? > Image 3
Blog > Can AI agents build real Stripe integrations? > Image 4
Blog > Can AI agents build real Stripe integrations? > Image 5

特别有趣的是,这些模型的表现竟超出了我们的预期。从我们测试的智能体中,我们清楚地看到了它们在全栈工程方面表现出的熟练度。在“将 Card Element 迁移至 Checkout Session”的任务中,智能体首先将一个基于旧版 Card Element UI 的集成升级到了 Checkout。

Blog > Can AI agents build real Stripe integrations? > Image 6

随后,它们被要求在浏览器中完成一笔测试购买,以自行验证所做的更改。尽管我们并未指定支付方式,但在一次运行中,智能体成功使用了 Stripe 开发的数字钱包 Link,端到端地完成了整个结账流程。

Blog > Can AI agents build real Stripe integrations? > Image 7

智能体表现中另一个出人意料的亮点是 Checkout 练习任务。在这项评估中,我们要求智能体对 20 个预置 Checkout UI 背后的 API 调用进行逆向工程。要得到正确答案,智能体需要完成几个步骤。首先,它们需要浏览 Checkout Session 的网页,以查看选择了哪些产品以及对应的数量。然后,为了获取需要作为参数传入的产品 ID,它们需要在 Products API 中存储的产品目录里进行检索。接下来,智能体需要辨别该会话中使用的所有自定义配置,包括运费金额、自定义字段以及是否启用了税费代收。最后,它们需要将每个产品和功能转换为我们 Checkout Session API 各项配置中对应的正确参数。

Blog > Can AI agents build real Stripe integrations? > Image 8

一个 Checkout 练习任务的示例。成功的解决方案不仅需要正确配置 Checkout Session,还需要识别出正确的 Products API 对象并将其作为参数传入。

在我们的评估中,智能体能够顺利完成这项任务,正确提供了超过 80% 的参数。在一个更为复杂的 Checkout UI 中,除了完成上述所有步骤之外,表现最佳的智能体还能够对更高级的配置进行二次验证。在该 UI 中,我们设置了一个包含不同颜色选项的自定义下拉菜单,因此仅查看 UI 是不够的。智能体意识到了这一点,通过点击 Checkout UI 找到额外的下拉选项,并将这些选项添加为参数补充了进去。

模型仍然难以应对的地方

Blog > Can AI agents build real Stripe integrations? > Image 9

我们注意到的一种失败模式是智能体无法合理地处理模糊情境。例如,在我们的 SDK 升级任务中,我们构建了几个基础的服务器端 API,并要求智能体在不改变核心行为的前提下,完成一次包含破坏性版本变更的 Stripe SDK 升级。在验证更改时,部分智能体会传入不存在的 Stripe 数据,观察到 400 错误后便认为任务已完成:“很好,端点运行正常——它为无效的客户 ID 返回了正确的 Stripe 错误。让我来测试 /subscription-metrics 端点……”而在更成功的运行中,智能体会编写脚本来生成测试数据,并使用这些数据对最终提交的结果进行更有效的测试。

此外,虽然基准测试结果表明智能体有能力高效利用浏览器,但我们确实观察到它们偶尔会在使用浏览器的过程中陷入卡顿或误解浏览器的输出内容,从而无法完成任务。

例如,在升级到 Checkout 的任务中,智能体需要在其升级后的 Web 应用中进行页面导航,成功完成新的结账流程,并提交 Checkout Session ID 作为任务完成的凭证。当智能体尝试填写结账信息(地址、卡信息等)时,它发起了一次包含多个操作的工具调用,结果意外地选中高亮了 Checkout UI 的 HTML 框架。这导致表单失去了焦点,因此后续向 Checkout UI 输入字段写入数据的尝试均告失败。尽管只需刷新页面或点击框架外部即可修复此问题,但智能体判断自己无法从这一情况中恢复,于是结束了任务,最终未能通过测试。

展望未来:基准测试的价值

对于 Stripe 客户而言,集成必须 100% 完整且精准地满足其业务需求。我们如何帮助智能体达到这一标准?当发生失败时(例如在操作基于浏览器的集成时),我们如何让智能体及时纠偏? 

这正是基准测试的意义所在。通过将可重放的环境与定义明确的任务相结合,我们创建了一个实验测试平台,用于对各种改进方案(无论是新的提示词、技能、浏览器工具还是其他干预措施)进行原型验证,并衡量这些方案能否切实提升任务表现。随着时间的推移,这种迭代循环使我们能够构建出显著改善模型与 Stripe 集成方式的工具。 

在项目推进过程中,我们亲眼见证了这一迭代循环的实际运作。早期的评估运行揭示了模型实际上是如何查询 Stripe 文档和 MCP 工具的,并暴露了若干文档缺陷(现已修复)。 

我们公开分享这些基准测试,旨在帮助更广泛的软件社区推动智能体工具的发展。初始基准测试集已在我们的 AI 工具包中提供,我们计划随着时间的推移不断扩展,以覆盖更多的 Stripe 集成场景,并持续追踪模型能力的演进。我们欢迎各方反馈、合作以及对未来基准测试的建议。

感谢 Anthropic 在智能体评估方面的合作,并感谢 Vercel 提供的开源项目为我们的两项评估提供支持。

喜欢这篇文章?加入我们的团队。

Stripe 为互联网打造金融工具和经济基础设施。

有任何反馈或疑问?

我们很乐意听取您的意见。