GitHub重构Git存储架构应对AI代理流量激增

GitHub重构Git存储架构,新方案有望将写入速率提升35倍。受AI代理驱动,其月事件处理量两年内翻倍至4733亿次,旧架构因多副本复制限制性能,现改用对象存储实现读写分离以应对激增流量。

GitHub 重构 Git 存储架构以应对 AI 代理流量激增

为应对人工智能代理带来的前所未有的负载需求,GitHub 正在从头重建其 Git 存储架构。内部早期测试数据显示,新架构有望将写入速率提升 35 倍。此次重构的核心策略包括将读写操作分离、卸载维护任务,以及利用对象存储服务管理数据冗余。

新架构有望将写入速率提升35倍

随着 GitHub 客户将编码重心转向 AI 代理,平台流量出现显著增长。统计显示,在 2025 年 9 月至 2026 年 8 月期间,GitHub 的月度事件处理量从 2182 亿次翻倍至 4733 亿次。仅在 2026 年 9 月,提交(Commit)数量达到 738 亿次,较 2025 年同期增加了 5 倍。这种剧烈的流量变化给现有系统带来了巨大压力。根据 GitHub 可用性报告,仅 4 月份就发生了 10 起导致性能下降的事件,5 月份又记录了 9 起类似事件。

面对企业级代码库中大型工程团队运行繁忙 CI 管道与不断增长的代理机队并发读写的需求,GitHub 决定实施在线非破坏性迁移。目前,负责该项目的塞伦萨(Serenza)尚未公布具体的迁移时间表。

旧架构采用三相提交协议,在多个本地磁盘上存储完整的回收副本。虽然这保证了可靠性,但每个推送操作都受限于最慢的复制节点,从而限制了写入速度。新架构改为只向 Azure Blob Storage 写入一次提交数据。Azure Blob Storage 作为对象存储服务,自动处理复制和冗余,消除了传统方案中的瓶颈。

此外,新设计通过轻量级计算层将读取请求分流至独立通道,读写之间仅在参考分支指针上进行协调。压缩和垃圾收集等维护任务也从服务路径移至后台进程,进一步降低了系统滞后。

业界其他玩家也在重新思考 Git 时代的存储方案。前 GitHub 首席执行官 Thomas Dohmke 推出了名为 Entire 的 Git 托管服务,通过将代理流量卸载到镜像仓库,使核心 GitHub 仓库专注于核心开发流量。SpaceX 子公司 Cursor 同样改进了存储层以提升支持代理服务的性能。标记器工程师也放弃了 Spokes 的三相提交机制,转而使用写前日志(WAL)将推送上传到对象存储,将所有更改记录为不可变对象,并将至少一个副本缓存到高速固态磁盘上。

评论 0

0/500

评论需审核后展示,请文明发言

💬
还没有评论,来说两句

相关阅读