【翻译】我们应该对自己开发的软件抱有更大的雄心

게시일: 2026-11-19 23:00 13212자 67 min read 转载并翻译 转载自其他作者,并翻译为中文

이 게시물은 아직 한국어 번역이 없으므로 원문으로 표시돼요
AI编程能力的提升正在改变软件开发的成本结构,使许多过去不值得做、甚至不可行的项目变得现实。但项目规模和实现能力的增长,也对测试、验证、性能评估与软件工程判断提出了更高要求。模型能够实现的东西越来越多,但人类与模型能够可靠验证的东西,并没有以同样的速度增长。

本文转载自danluu’s blog的“We should be more ambitious with the software we build”一文,并对原文进行了翻译。

译者:GPT-6-Sol

我们应该对自己开发的软件抱有更大的雄心

从今年年初开始,Michael Malis(pgrust 项目的开发者)就一直向我展示他做的一些有趣的东西,并且反复说:

我们应该对自己开发的软件抱有更大的雄心。¹

可以理解,很多人对 pgrust 这样的项目持怀疑态度,因为现在有太多质量低劣的 AI 生成项目了。如果我不认识 Malis,也没有深入了解过这个项目,我大概也会直接认定 pgrust 是另一个靠氛围编程(vibe coding)胡乱拼凑出来、永远不可能真正成功的项目。

但我足够了解 Malis,因此即使不深入调查,我也愿意相信他的工作。而如果你稍微研究一下,就会发现,他对 pgrust 的测试相当全面,甚至在测试过程中发现了 PostgreSQL 本身的一些真实 Bug。

例如:

  • 一个可能导致合法 SP-GiST 操作失败的数值计算 Bug。
  • 一个可能导致 JSONPath 返回错误结果的格式缓存 Bug。
  • 一个可能导致后续操作失败的 pgcrypto Bug。
  • 字典加载器中的多个内存安全问题。²
  • 一个货币数值溢出 Bug。

当然,这并不意味着 pgrust 没有 Bug。³ 但至少说明,这个项目正在进行大量扎实的测试工作。即使 pgrust 最终没有成功,仅仅是尝试开发它,就已经为 PostgreSQL 带来了持久的改进。

实际上,pgrust 最主要的卖点是性能,而真正有趣的工作也正在这方面展开。如果 pgrust 最终失败,它所展示的一些优化技术仍然有可能被 PostgreSQL、ClickHouse 等项目吸收。不过,相比直接向 PostgreSQL 提交 Bug 报告并推动修复,这种收益显然没有那么直接。

话虽如此,我完全理解为什么每次在新闻聚合网站上看到有人讨论 pgrust,大多数人都会把它当成又一个 AI 生成的垃圾项目。毕竟,这类重写项目几乎全是垃圾。

如果我不认识 Malis,我也会作出同样的判断,因为谁有时间逐个调查这些项目呢?

而正因为我认识 Malis,我反而没有专门研究过 pgrust,只是选择相信他。(上面提到的那些发现,其实是我为了在本文中使用 pgrust 作为例子,特意去核实项目情况时才了解到的。)

作为一名软件使用者,无论你看向哪里,都能看到运行缓慢的软件,而它们的开发者却拿着某些粗制滥造的基准测试结果,宣称自己的软件速度飞快。比如,昨天我就看到了好几个这样的例子。当然,不能正常工作的低质量软件也比以往任何时候都更加常见。

但是,作为一名软件开发者,其他项目几乎全是 AI 生成的垃圾,其实与你无关。别人把成堆的垃圾包装成黄金,也不妨碍你开发出真正优秀的东西。

你完全可以开发 pgrust 这样的项目,或者其他过去因为规模太大而几乎不可能实现的项目。只要认真进行测试和性能评估,你就有可能把它们做到质量足够可靠、能够实际使用的程度。

如果换作我来表述,我可能会说:

我们可以对自己开发的软件抱有更大的雄心。

而不是:

我们应该对自己开发的软件抱有更大的雄心。

不过,Malis 说这些话时只是在和我随意聊天。如果他真的写成文章,也许会采用和我一样的表达。因此,不必过度解读这里的“应该”和“可以”之间的区别。

真正让我感兴趣的是:AI 能力的发展,已经让我们能够完成比过去多得多的事情。

举个例子。

当我听说 OpenAI 准备将 Cerebras 用于其最先进的模型,而不再仅仅用于 5.3-Codex-Spark 这种速度很快、但质量相对较低的模型时,我开始思考一个问题:

如果我使用的最先进模型速度提高了 10~100 倍,那么,我的计算机时间会花在哪里?

我发现,一些原本就偶尔会成为瓶颈的环节,在模型加速之后只会变得更加严重:

  • Ripgrep
  • Rust 编译
  • 系统调用和文件系统开销

如果目标只是开发一个“对我自己来说能用就行”(works for me)的项目,那么这些问题都有很大的改进空间。

我目前没有多少空闲时间,但即使如此,我仍然做了以下几件事。

首先,我开发了一个正则表达式引擎。通过针对特定工作负载进行调整,我可以让它在任何我关心的具体使用场景下,比其他通用正则表达式库更快。

接着,我开发了一个 ripgrep 的分支版本。它使用上述正则表达式引擎中的原生代码编译器,因此在我的 Codex ripgrep 工作负载上运行得更快。

当然,使用文本索引才是更好的解决方案。但我之前已经研究过文本索引,这次只是一个“做着玩”的项目,并没有刻意追求最优方案。

我还开发了一个 Rust 解释器,用来加速自己项目的构建。

它对冷构建(cold build)的改善非常明显,对热构建(warm build)也有一定帮助。其性能提升受到一个限制:我希望避免维护 Rust 编译器前端的独立分支。

至于系统调用和文件系统开销,仅仅把开发环境从 macOS 切换到 Linux,就已经带来了很大的改善。

当然,这方面还有大量优化空间,尤其是在 Agent 频繁执行大量小规模文件操作时。

我经常看到自己的计算机因为等待文件系统操作而停滞。这是因为操作系统标准的文件系统接口在设计时,并没有充分考虑现代存储设备的性能特点。

对于现代磁盘来说,我们其实没有理由继续使用传统的 *nix 文件系统 API。

过去,如果有人提议开发一套使用直接 I/O、而不是普通文件系统操作的开发工具链,或者干脆编写一个自定义操作系统,甚至实现某种通过模拟系统调用来绕过传统接口的奇怪中间层,大家一定会觉得这简直荒唐。

但现在,这些事情完全可以实现。

对于像我这样几乎不懂正则表达式、字符串匹配算法、编译器和解释器的人来说,过去要把上述一系列项目做到“自己能用”的程度,可能需要一年甚至更长时间。

而现在,我个人实际投入的时间只有几个小时。

当然,如果要把这些东西提升到“有用的产品或开源项目”的质量标准,还需要投入大量额外工作。⁰

但即便如此,整个开发过程的加速程度依然令人惊叹。

我对 Malis 那句“我们应该对自己开发的软件抱有更大的雄心”的理解是:

很多人甚至没有意识到,那些现在已经变得非常容易的事情,其实是可以去做的。

连续几个星期,每当我登录 Twitter,都能看到有人抱怨 Rust 编译速度太慢,限制了开发效率。

(我认为,当时这些抱怨其实并不完全成立。那时 5.6 Sol 和 6 Astra 还没有部署到 Cerebras 上。如果实际测量一下时间都花在了哪里,会发现 Rust 编译在当时并没有构成特别严重的瓶颈。)

没错,Rust 编译确实很慢。

但你完全可以自己写一个 Rust 解释器,也可以直接想办法加速编译。

如今,我每天都能看到人们抱怨各种类似的问题,而其中很多问题已经可以在不投入太多时间和精力的情况下得到解决。

在我看来,这些问题之所以仍然存在,是因为人们在潜意识中仍然沿用着 Agent 出现之前的软件开发成本模型。

十年前,如果一个人因为现有编译器太慢,就决定自己实现一个新编译器,那么他大概和那些想做独立游戏,却先着手开发全新 3D 游戏引擎的人属于同一类人。

换句话说,就是那种永远做不出成品的人。

我认识的大多数高产程序员,至今仍然本能地排斥这种做法。

然而,现在自己实现这些东西已经变成了一件合理的事情。⁴

此前我还提到过另一个项目:一个玩《Azul》(花砖物语)的 AI,它在相同时间限制下的表现已经超过人类。

当时我使用的是 GPT-5.1 和 GPT-5.2。

我对 AI 几乎一无所知,但只花了大约 5 小时的个人时间,就做出了一个超越人类水平的 AI。

又投入了大约 20 小时之后,我做出了当时看起来最强的 Azul AI。

它对战人类玩家的实力,甚至超过了那个曾被人用来在 Board Game Arena 上作弊的 AI。

最近,Gabriel Cangussu 开发了另一个 AI,能够轻松击败我的版本。

据我所知,他投入的时间比我少得多。

和他交流之后,我发现其中一个关键区别是:Fable 5.1 和 Opus 5.5 对棋盘游戏 AI 的理解已经好得多。

当我使用 GPT-5.1 和 GPT-5.2 时,它们提出的建议几乎全是错的。我不得不进行大量人工引导,才能让它们的方案稍微合理一些。

如果我让 GPT 阅读某个代码库或论文,并实现论文中的相关技术,它通常会失败。

如果我自己先阅读论文,然后明确告诉它应该使用哪项技术,它会声称已经实现了那项技术,但实际写出来的东西往往只是表面上看起来相似,根本没有真正实现论文中的方法。

我需要不断指出问题、要求修正,最终才能让它实现正确的算法。

当模型距离正确完成任务还有这么大差距时,如果你对相关领域没有基础知识,那么验证模型究竟有没有做对就会非常耗时。

因为你必须先学习足够多的相关知识,才能判断它实现的东西是否符合它声称的目标。

做完那个项目后,我曾告诉朋友们,我认为模型不可能长期停留在当时的水平。

我觉得,模型迟早应该能够直接阅读论文,并正确实现其中的技术。

而且,它们理应也能自主找到值得参考的代码库和论文,并从中借鉴实现方法。

根据我最近试用 Fable 5 的经验,以及 Cangussu 使用 Fable 5.1 和 Opus 5.5 的经验,这似乎已经实现了。

对于像我这样不懂棋盘游戏 AI 的人来说,这能够节省大量时间。

(虽然我现在多少学到了一些相关知识,但仍然远远不如真正的 AI 研究人员。)⁵

当然,你可以针对某个具体领域,比如棋盘游戏 AI,说:

“那又怎么样?棋盘游戏 AI 根本不重要。”

但我发现,这种能力提升已经出现在许多不同的领域中。

例如,我曾用 GPT-5.6 Sol 在 medium 和 xhigh 两种推理配置下实现 zstd,并借此做过一个关于验证和测试技术的小型评估。

我还没有时间把结果整理成文章。

不过,在发布之前那篇文章时,我又使用 GPT-6 Astra 重新运行了这些评估。

结果,6 Astra 的表现好到了让我不得不重新寻找测试任务的程度,因为模型的能力已经进步得太多了。

对于 zstd,无论采用什么测试条件,6 Astra 都有超过 99% 的概率通过所有已注册的测试。

即使采用那些会显著降低表现的条件,例如测试驱动开发(TDD),也是如此。

顺便说一句,它完成任务的成本还更低,实现 zstd 大约只需要 1 美元。

因此,我最终改用了 IMAP 的 RFC 规范,以及 Pandoc 作为测试任务。

前者是 5.6 Sol 无法有效完成的任务;后者则是一个相当庞大的项目,因为它需要能够读取和写入大量不同的文件格式。⁶

顺便说一下,我经常听到有人在使用新模型后感叹:

“现在什么都能直接跑通了!”

“软件开发已经被彻底解决了!”

但我自己的体验完全不是这样。

确实,新模型能够一次性完成的任务越来越多,很多东西基本上可以直接正常运行。

但这只意味着,我会转而去做更有雄心的项目,而模型在这些项目上依然会遇到困难。⁷

我的生产力提高了,工作速度也变快了。

然而,就我实际在做的事情而言,模型越强,我反而离‘一切都能直接跑通’的状态越远。

原因在于,模型能够实现的东西,与模型能够在缺乏大量人工指导的情况下有效验证的东西之间,差距正在不断扩大。⁸

上面这一大段冗长、又不够优雅的论述,其实只是想表达同一句话:

我们应该对自己开发的软件抱有更大的雄心。

感谢 Laurence Tratt、Yossi Kreinin、Alex Kolovsky、Max Hawkins、David Turner 和 Michael Malis 为本文提供评论、修正意见和讨论。

我在最近几篇文章中都附上了类似的说明,这篇文章也一样。

为了提高文章产出速度,我正在尝试用半小时写完一篇文章,并且尽量不进行太多修改。

这显然意味着,我的文章会缺乏一些本应提供的论据支持。

如果按照我平时的写作风格,我会对本文提到的所有项目进行全面的基准测试。

但这一次,我只是做了一些能够满足自己好奇心的快速比较,然后就在没有严格基准测试的情况下写下了这些内容。

实际上,本文中大概还有二三十件我想做、但尚未完成的事情。

我甚至还没有专门写过文章介绍那个 Rust 解释器。

如果是在五年前,我拼凑出了一个 Rust 解释器,能够让冷编译速度提高 50 倍、热构建或缓存构建速度提高 2 倍,而且如果允许修改 Rust 编译器本身,性能还能进一步提升,那么这绝对是一个非常有趣、值得专门写文章介绍的成果。

但现在,即使我已经采用这种几乎不修改、写完就发布的方式,它仍然不值得我专门写一篇文章。

因为如今完成那些在不久之前还被认为非常有趣的事情,实在太容易了。

附录一:我们应该对自己开发的软件抱有更小的雄心

以下是 Yossi Kreinin 的一段评论,经本人许可引用:

如果你发表这篇文章,我就会写一篇回应,解释为什么对大多数人来说,他们应该在使用 AI 开发软件时降低自己的雄心,否则他们会遭遇彻底的失败。

我认为,很多问题其实并不适合采用“Agent 循环”(agentic loops)的方式解决,因为它们没有明确的成功或失败判定标准。

即使确实有这样的标准,大多数人仍然难以理解和分析一个巨大的黑箱系统。他们可以给这个黑箱施加约束,却无法真正理解其内部结构。(我自己也属于这类人。)

我觉得这有点像微服务。

有些人确实需要微服务,而且非常擅长使用它;但对大多数人来说,他们其实没那么需要微服务,也根本无法把它用好。

当然,我多少有些羡慕那些既应该、也确实能够对自己开发的软件抱有如此巨大雄心的人。

我并不是说你完全不应该提高自己的雄心。但我认为,对大多数人来说,适度控制这种雄心,是应对当前局面的重要组成部分。

顺便说一下,对于“软件没有理由运行缓慢”这种说法,我也有类似的想法。

在很多情况下,如果你使用 AI 加速某个执行流程,最终可能只会引入一大堆混乱的代码。

这些代码针对你测试过的特定场景过度拟合,既无法在性能上很好地推广到其他同样重要的使用场景,也无法在未来进行修改时保持可维护性。

如果你清楚自己在做什么,理解系统应该如何拆分为不同组件,知道什么时候值得集中资源优化某个部分,或者优化多个组件之间的协同工作方式,也知道应该如何正确进行基准测试,那么一切都会很好。

但如果你遇到一个经理,他觉得软件根本没有理由运行缓慢,于是要求所有人使用 AI,随机挑选软件中的某些部分进行性能优化……

那还是赶紧躲远点吧。

我的看法是,总体而言,这里的情况有点类似于我此前讨论过的另一个问题:为什么我不喜欢人们宣称 AI 能够将生产力提高 100 倍或 1000 倍。

有些事情的确可以获得极其巨大的加速,轻轻松松就能超过 100 万倍。

但还有一些事情,目前完全无法通过 AI 加速。

如果你只是用 AI 来完成那些五年前你本来就会做的事情,那么根据阿姆达尔定律(Amdahl’s law),整体加速效果其实相当有限。

但一般来说,你可以自行选择要加速哪些事情。

如果你在寻找真正值得投入时间的事情,那么这往往意味着去做那些过去成本过高、根本不值得尝试的事情。

另外,我认为,即使是大多数人觉得无法验证的问题,实际上也经常可以建立某种具备自我检查能力的系统。

我之前关于《Guards of Atlantis 2》实现过程的讨论,就是一个例子。

这款游戏其实非常不适合作为 AI 项目,因为它的官方规则由大量含糊不清、相互矛盾的英文描述组成。

这可能是我见过的人类玩家最容易玩错规则的游戏。

游戏规则混乱到什么程度呢?

设计者自己都经常改变对规则含义的理解,却又始终坚持认为规则写得完全清楚,玩家只要照着规则文字阅读,就能够正确进行游戏。

如果你采用一种天真的方式,直接尝试根据规则文本生成一套可运行的规则,那么 AI 并不能真正帮助你解决问题。

当然,一旦你已经有了清晰的规范,AI 就能够加速实现过程。

但在这个项目中,我建立了一套相当粗糙的机制,用来检查各种互相矛盾的规则解释之间的一致性。

借助这套机制,我得到了一个相当接近正确结果的规则集合。

其准确程度,大致相当于另一个人投入远远更多的人工精力、采用不那么系统化的方法所得到的结果。

这已经足够让我把自己的结果与其他人的实现进行比较,并最终获得一套能够正常运行的规则。

当然,与更加依赖人工的方法相比,这套方案消耗了多得多的 Token。

但代价“只不过”是使用 GPT-5.1 和 GPT-5.2 的 OpenAI 每月 200 美元订阅服务一两个月。

相比之下,如果让我自己坐下来编写一份清晰的游戏规范,也就是一份真正自洽且正确的规则文档,那么所需要付出的时间成本反而更高。

我觉得,很多问题都属于这一类。

即使无法做到完全自动验证,仍然可以建立某种至少具备部分自我检查能力的系统,让人类只需要投入少量时间。

这也让我联想到软件测试领域的情况。

在编程 Agent 出现之前,我就发现模糊测试(fuzzing)和基于属性的测试(property-based testing)非常有效。

对于大多数领域,总有人告诉我,这类测试方法因为某些原因不适用。

但当我真的在那些被认为不适合的领域尝试这些技术时,我发现它们其实完全能够发挥作用。

应用这些方法确实需要付出额外努力。

但它们仍然是可行的,而且据我所知,相比编写传统单元测试,它们往往更加高效、更加有效。

Yossi 评论的核心观点之一是:大多数人实际上并没有在做这些验证工作。

考虑到我现在遇到的 Bug 比过去多得多,很难说 Yossi 是错的。

举个例子,上次我打开某家大型 AI 实验室的网页版聊天界面时,仅仅一分钟之内,就遇到了十几个 Bug。

但即便如此,我仍然坚持最初的观点:

仅仅因为其他人在大量生产勉强能够运行的垃圾软件,并不意味着你也必须这样做。

附录二:几个“随意举出”的例子

在正文中,我举出的个人项目主要是一些开发工具。

如果放在过去,我根本不会考虑自己开发这些工具。

但类似的例子还有很多,因为现在开发一款只给自己使用、达到“自己能用就行”质量标准的工具,已经变得非常容易。

当然,我也承认,有时候人们会把事情做得过于复杂,最后反而得不偿失。

例如,Steve Yegge 曾大量撰文介绍 Gas Town,以及它如何提高生产力。

但当他后来开始开发下一代 Agent 框架时,却提到自己从来没有成功使用 Gas Town 开发出除 Gas Town 本身以外的东西。

而这里还有一个人正在体验他用下一代框架制作的游戏。

(评论者提到的 10 亿美元,是因为 Yegge 曾表示,他的游戏有望成为第一家由单人运营的十亿美元公司。)

再比如,Ralph Loops 曾经流行过一段时间。

但当我实际进行比较时,发现它们似乎还不如我当时采用的朴素做法:

使用普通的、能够保留上下文的循环,并在适当的时候清理上下文,而不是像某些 Ralph Loop 实现那样,在每个单轮任务结束时这个完全任意的时间点,默认清空上下文。

因此,我一直尽量把精力放在那些效果比较直接的事情上。

除了显而易见的原因,还有一个重要因素:

随着模型和 Agent 运行框架(harness)的能力迅速变化,究竟值得开发什么样的工具,也在快速改变。

因此,投入大量时间开发某个特定工具,通常并不划算。

因为这个工具即使在当前已经做到最好,也很可能在三个月后变得不再理想,甚至彻底过时。

对于我的许多个人工具,我本来就假设,AI 实验室迟早会在很短时间内让它们失去价值。

举个有点可笑的例子。

从 GPT-5.6 Sol 发布之后,我一直使用一个小工具:当它发现 Codex 存在内存泄漏时,就自动重启 Codex。

我想,OpenAI 迟早会修复这个问题,到时候这个工具就毫无价值了。

另一个稍微没那么可笑的例子,就是之前让 Agent 开发的 Rust 解释器。

由于 Token 预算有限,很多高性能解释器本来应该具备的优化都没有实现。

例如,为了便于跟进 Rust 官方编译器的更新,我没有让解释器修改真正的 Rust 编译器前端。

如果直接修改 Rust 前端,性能会好得多。

但我的 Token 预算不足以维护一个与上游兼容的 Rust 编译器分支。

对于 OpenAI 来说,这应该不是什么问题。

OpenAI 已经承诺投入超过 100 亿美元,以获取 Cerebras 的使用权,同时阻止 Anthropic 获得这种使用权。

有趣的是,在很多编程任务上,即使你真的使用了 OpenAI 最先进的模型,和 Anthropic 的模型进行比较,实际速度提升仍然没有那么大。

原因就在于,大量时间被花在了 Rust 编译等环节上。

既然 OpenAI 愿意为此承诺投入超过 100 亿美元,那么可以合理推测,他们最终也会更有效地加速这些相关工具。

而且,他们能够做到的优化程度,可能远远超过任何 AI 实验室之外的个人开发者。

因此,我觉得没有太大必要在这些问题上投入过多精力。

当然,这个判断也可能存在例外。

例如,如果预计短期内非编程任务将成为 OpenAI 收入的绝对主要来源,那么上述推论可能并不成立。

不过,即使如此,考虑到 OpenAI 自己为 Token 支付的成本与我支付的成本之间的差异,我仍然认为,他们有理由去加速其中的许多环节。

毕竟,连我这个实验室之外的人都能实现这些优化。

也许存在另一种解释:

如果你掌握 OpenAI 的实际使用数据,可能会发现还有太多更加重要的性能瓶颈,以至于这些优化根本不值得优先处理。

但我仍然认为,从长期来看,他们迟早会有理由去做这些事情。

哪怕这些问题根本排不进 Cerebras 加速编程 Agent 的前 100 个性能瓶颈。

还有一类项目,你可能不会把它们称为“雄心勃勃”,但它们同样能够说明现在究竟有哪些事情变得可行了。

那就是我自己制作的一些游戏。

过去,我曾经构思过很多想玩的游戏。

但我不认为这些游戏能给广大玩家带来足够的乐趣,因此也不值得面向真正的市场去开发。

不过,我自己确实很想玩。

例如,自从 20 世纪 90 年代读过 David Gerrold 的《Star Wolf》系列小说之后,我就一直想玩一款能够实现书中所描述的战斗方式的游戏。

那种战斗有点类似于潜艇战。

至少在偏向真实模拟的战争游戏中,这是一种极其小众的类型。

因为几乎所有人都觉得海战很无聊,而潜艇战又是海战游戏中尤其无聊的一个子类型。

所以,把这种游戏作为商业项目,显然不太合理。

但现在开发游戏已经非常容易了。

于是,我直接让一个 Agent 实现了它,只为了让我自己能够玩上一两个小时。

如果需要我自己投入 10~20 个小时开发一款游戏,然后只玩一两个小时,我绝对不会这么做。

但如果只需要花 5 分钟,我就愿意。

我之前也提到过,自己实现过一些采用《Scout》《Guards of Atlantis 2》等桌游规则的游戏。

过去,我不可能为了偶尔无法与朋友在线下聚会时能一起玩游戏,就专门花时间手工实现这些游戏。

但现在,我很乐意让 LLM 把它们快速做出来。

当然,对于希望开发面向更广泛受众的游戏的人来说,编程 Agent 正在推动一场游戏开发的复兴。

如今涌现了大量有趣而富有创意的游戏,这实在令人惊叹。

因为开发者是否掌握编程技能,以及是否有足够的时间运用这些技能,已经不再是制作游戏的主要瓶颈。

数据分析也是另一个生产力提升倍数可能极其巨大的领域。

我现在可以做许多过去根本不会尝试的事情。

正如我在最近几篇文章中反复提到的,我手头的项目实在太多了。

即使我已经尝试以非常快的速度写作,每篇文章只用半个小时,也根本来不及把它们全部整理成文章。

当我和其他人聊起他们自己制作的一次性工具时,也听到了很多有趣的故事。

例如,大约一两个月前,Peter Geoghegan 提到过这样一件事:

我让 Fable 为 Neovim 实现了一个自定义 Lua 函数,可以按照我非常具体的个人偏好格式化代码。

这既是一个我不想自己维护的东西,本身也是一种典型的“鲁布·戈德堡机器”(Rube Goldberg machine,指为了实现简单目标而设计得异常复杂的装置)。

理论上,我可以通过修改 clang-format,以更加规范、系统化的方式达到相同的效果。

但我的要求实在太具体了,我觉得这种方法永远无法让我完全满意。

我们使用一个叫 pgindent 的工具,它是我们从 bsd_indent 派生出来的一个分支。

你可以用 clang-format 近似实现同样的格式规则,但这样仍然不够。

如果我提交的代码没有严格按照 pgindent 的要求进行格式化和缩进,CI 就会失败,而且我还必须尽快修复。

我实在不想遇到这种事情……

从实际角度来看,如果想得到像 clang-format 一样流畅的代码格式化体验,同时避免因为缩进不正确而收到烦人的提醒邮件,就需要构建一套结构非常混乱的解决方案。

(我也不想花时间开发一套更加规范的方案,不过这是另一个问题。)

这个函数让我可以直接在 Neovim 中轻松格式化某段代码,使用体验类似于 clang-format 的 LSP 集成。

当然,我承认自己在这件事上有些过分挑剔。

但我发现,LLM 让我能够对开发工具提出如此精细的要求。

这个函数会执行多轮格式化。

首先使用 clang-format/clangd 完成初步格式化,然后再单独使用 pgindent 执行一轮格式化。

我必须同时使用这两者,因为 clang-format 能够正确处理某些 pgindent 处理不好的情况。

但这种方案比较脆弱,因为我只想格式化通过块可视模式选定的行范围。

我不希望 clang-format 修改那些并非由我的补丁引入的代码。

这与 pgindent 的设计存在冲突,因为 pgindent 只能对整个 C 文件进行格式化。

要确定应该把临时完整文件缓冲区中的哪一部分复制回我正在编辑的缓冲区,并不是一件简单的事情。

我最初选定的行范围,并不能直接对应到受影响的 C 语言抽象语法树(AST)节点。

因此,这个函数使用 tree-sitter,智能地确定临时格式化后的 C 代码中,究竟应该将哪一部分复制回原缓冲区。

如果我的选区跨越了同一个代码块,处理规则还需要具备恰到好处的模糊匹配能力。

这里面存在大量边界情况。

另一个复杂因素是,pgindent 依赖一个通过 objdump 生成的 typedef 文件来识别类型。

如果缺少这个文件,代码格式化的结果就会显得很奇怪。

因此,格式化函数会通过 clangd,动态生成当前文件所需的额外 typedef 信息。

这样一来,我就不必担心 typedef 文件已经过期。

(我可能在几秒钟之前刚刚创建了一个新的结构体。我可不想每次运行格式化工具时,都对整个 PostgreSQL 二进制文件执行一次 objdump,那样会造成严重的延迟。)

目前看来,这个函数运行得非常完美,延迟也完全可以接受。

不过,我其实只模模糊糊地理解它的工作原理。

我甚至根本不会 Lua。

即使未来我们对 bsd_indent 的分支继续进行修改,导致代码格式化方式发生一些变化,这个函数大概也仍然能够正常工作。毕竟,这类修改偶尔就会发生。

我对所谓的“SaaS 末日”(saaspocalypse)持怀疑态度。

但我确实认为,LLM 正在编写大量有用的软件,而这些软件如果采用其他开发方式,其成本将高得不可思议,完全不划算。

有一小类很有意思的软件,相对于它们创造的价值,人工维护这些软件会繁琐到几乎不可接受的程度。

写作本文期间,我又和 Malis 聊了一次,发现他最近还在做各种各样有趣的事情。

这些事情已经多到足以单独写成另一篇文章。

其中一个有趣的例子是:

上次我和他讨论 pgrust 的形式化验证时,他提到正在使用 Kani 验证代码的某些部分。

但现在,他已经转而使用 Lean,去验证那些复杂到 Kani 难以处理的内容。

这又是一个值得单独写文章讨论的话题。

不过,我很好奇,为什么在 LLM 驱动的证明任务中,人们似乎普遍选择了 Lean,而不是 ACL2 之类的其他工具?

如果有人更新之前那份定理证明器对比研究,Lean 的表现会是什么样?

或者,如果有人开展一项类似于编程语言评估的定理证明器评估,结果又会如何?

当然,你还可以从 AI 实验室内部找到大量类似的案例。

例如,Anthropic 的一个中等规模团队,在五个月内开发了一套内部 GitHub 替代系统,以及其他一些开发工具。

他们的描述是:

一个由七人组成的团队,在五个月内开发了 Scion 和 Antique(我们的代码审查工具,光这个工具就足够再写一整篇博客),另外还开发了大约六套相关系统,并在五个月内完成了向这些系统的全面迁移。

我认为这些例子很有意思,也预示着软件行业在不太遥远的未来可能会走向何方。

但问题在于,如果你拥有无限的 Token 预算,并且依赖其他同样使用无限 Token 预算构建的基础设施和工具,那么你能够实现什么,并不能很好地说明一个没有无限资金支持的普通人在今天究竟能做些什么。

相比之下,pgrust 这样的项目,以及我认识的人在业余时间开发的项目,更能代表今天普通开发者实际能够达到的水平。

而且,我在本文提到的这些业余项目,可能只占我所知道的全部项目的 1% 左右。

类似的例子实在太多了。

比如,David Turner 为播客开发了一个广告跳过工具,虽然只是“自己能用”的质量标准,却比他能够找到的任何现成工具都更好。

还有 Dennis Snell 提到的一些业余项目,等等。

原文脚注

¹ 关于“雄心”的定义

在这篇文章中,我使用“雄心”(ambitious)一词的方式,在我看来是自洽的,但也有人可能认为,我赋予了它过多含义。

我用它来泛指:做比过去能够做到的更多的事情。

有人可能会认为,开发一个过去规模大到不切实际的项目,与开发一个过去技术上能够实现、却因为不值得投入时间而无人开发的高度专用工具,是两种截然不同的事情。

虽然它们确实有很大区别,但我认为,它们实际上都源于同一种变化:开发软件变得容易得多。

因此,即使这个定义可能有些宽泛,我仍然觉得这样使用“雄心”一词是合理的。

² 关于字典加载器的内存安全问题

Alex Kolovsky 指出,这些问题并不被认为是 Bug。

我能够理解从安全角度提出的这种观点,而且我对 PostgreSQL 的了解还不够深入,无法对这个具体问题作出判断。

但至少对于我参与过的项目,我一直倾向于消除类似的问题。

因为如果你努力让代码摆脱所有这类问题,就会更容易发现真正的 Bug。

³ 为什么我信任 Malis

我信任 Malis 的一个原因是,与典型的创业公司创始人相比,他对自己提出的主张谨慎得多。

例如,当我加入 pgrust 的 Discord 服务器,想了解大家正在讨论什么时,我看到 Malis 在一个月前(2026 年 9 月 17 日)回复过一个问题。

在 Agent 编程飞速发展的时代,一个月已经像是过去了很久。

当时有人问,pgrust 是否已经能够作为生产环境数据库使用。

Malis 回答:

我目前不建议你将它作为主要的生产数据库。

我们现在正在为一家公司部署生产环境,但这家公司对生产数据库发生故障的容忍程度,比大多数公司都高。

等到他们开始实际运行 pgrust 之后,我们就能获得可靠的实证数据,判断它到底有多稳定。

Malis 看起来并不是那种会在产品明显远未准备好的情况下,却宣称它已经达到生产环境要求的人。

许多知名项目都曾做过这种事。

而事实证明,他并没有这样做。

我在正式发表本文的一周前,就已经写好了初稿,只是一直没有时间发布。

在此期间,又发生了 pgrust 的 ClickHouse 基准测试争议。

我调查了一下,发现那些指责项目恶意作弊的说法似乎并不属实。

至于另一项指控——过早把 pgrust 的预览版本提交到基准测试中——Malis 自己也承认了这一点。

我确实觉得,这类争议可能会成为一个项目永远无法摆脱的负面印象。

无论事情的真相究竟如何,几年之后仍然会有人反复提起。

现在关于这场争议的讨论,就已经体现出了这种现象。

正如我们此前研究 Ed Zitron 的预测准确率,以及 Kurzweil 等未来主义预测者时发现的那样,几乎没有人真正调查事情后来究竟怎样发展。

人们会无限期地重复那些仅仅基于直觉和印象、实际上并不正确的说法。

我想,我很难在这里完整展示为什么自己信任 Malis 的全部证据。

严格来说,我当然可以做到,但那很容易变成一篇超过两万字的文章。

不过,如果你比较一下 Malis 讨论 pgrust 的方式,以及典型数据库创业公司创始人营销新数据库的方式,就会发现两者之间存在非常显著的区别。

当然,也存在 MongoDB 这样的极端案例。

尽管 Kyle Kingsbury 反复证明,用户关于数据损坏的报告确有其事,MongoDB 仍然在多年间持续质疑这些正确性问题。

再举一个更加典型的例子。

我的一个朋友曾经是某家数据库初创公司的早期员工。

公司网站上宣称,其数据库能够达到一个极其庞大的每秒查询次数(QPS)。

但在实际测试之后,我的朋友发现,这个数字与真实表现之间相差了好几个数量级。

于是,他建议修改网站上的宣传。

创始人却不同意,因为他认为公司未来终究会达到这个性能水平,所以现在这样宣传仍然算是真的。

经过多年的性能改进之后,公司最终把宣传数字降低了一个数量级。

即使如此,他们仍然只能在一种刻意设计、极不现实的工作负载下达到这个数字。

遗憾的是,对于那些以性能作为核心卖点的公司来说,这种事情其实相当常见。

与之形成鲜明对比的是,我在 pgrust Discord 中看到 Malis 讨论性能时,他最近的一条消息是:

目前,帮助我们最好的方式是寻找 0.4-beta 中的 Bug 和性能问题。

新的查询引擎在某些工作负载下非常快,但在其他工作负载下会出现性能退化,而且还不支持某些比较复杂的查询。

我们正在努力找出所有速度比 PostgreSQL 慢、或者执行时会报错的情况。

由于查询语句的可能组合实在太多,这并不是一项容易的工作。

我们希望在 0.4-beta 正式公开发布之前修复这些问题。

就我目前能想到的例子而言,执行时间原本非常短的查询出现了明显的性能退化。

这是因为,我们主要针对大规模、类似 OLAP 的工作负载优化了新的查询引擎。

我正在开展优化工作,以修复这些速度特别慢的查询。

我不认为存在什么根本性的原因,会使新的查询引擎在处理快速查询时,必然比旧引擎更慢。

尽管 Malis 在启动 pgrust 项目之前,曾是一家成功初创公司的创始人和高管,但他似乎从未形成许多创业者身上常见的那种思维方式:他们仿佛可以说任何话,并且能够相信自己说出的任何话。

你可能会觉得,这个标准实在太低了。

我同意。

但我仍然觉得,这样的人其实很少见。

这也是为什么我在没有深入调查的情况下,就愿意相信他关于 pgrust 的说法。

而当我真正调查之后,也发现他的主张似乎得到了现实的支持。

⁴ 关于我们对 AI 能力的认知滞后

Thomas Ptacek 曾经从另一个角度描述这个问题:

过去一年,科技行业仿佛经历了一百年的变化。

我们的行业正在经历一种自个人计算机诞生以来前所未有的动荡。

AI 遇到的每一个能力极限,似乎都会在一个月内被突破。

今天我们使用前沿模型完成的所有事情,几年之后都可能瞬间完成,而且完全免费。

考虑到最近变化的速度,我觉得大多数人,甚至大多数程序员,都还没有充分意识到现在究竟能够做到什么,这是可以理解的。

说到非程序员的反应,有一件事让我觉得很有意思。

此前我曾评估 Ed Zitron 的预测准确率。

令我惊讶的是,有那么多人反对这篇文章,理由竟然是他们认为 AI 的能力在过去两年中根本没有提高。

对于我接触的大多数人来说,“AI 从 2024 年 2 月到 2026 年 9 月之间没有进步”这种说法简直不可思议。

即使把编程视为一个特殊领域,只考虑其他能力,这种说法仍然令人费解。

但确实有很多人,可能只是看过 Google 搜索结果顶部的 AI 摘要,或者使用过微软办公软件中集成的 Copilot,因此没有意识到 AI 的能力已经取得了多大的进步。

似乎无论在哪个层面,都存在这样一种信息差。

在 AI 实验室之外,真正了解如今高效使用模型的人究竟能做些什么的人,仍然少得可怜。

⁵ 关于 AI 在在线桌游中的作弊问题

我此前关于在线游戏作弊现象增加的判断,已经成为现实。

重新阅读自己当时写下的评论后,我发现,我并没有明确写出“作弊行为大幅增加似乎不可避免”这句话。

不过,把当时的几段论述联系起来,确实可以推导出这个意思。

而且,我也曾在一些 Discord 服务器等公开场合明确表达过这一预测。

我并不持续关注在线游戏领域。

但据我所知,在上一赛季的《Azul》排行榜中,前十名有三个位置被作弊者占据,包括第一名。

《Azul》是 BGA(Board Game Arena)上最受欢迎的游戏,而 BGA 则是现代桌游领域最大的在线游戏平台。

正如我之前在其他地方指出的,BGA 似乎几乎无法在任何层面制定合理的政策。

例如:

  • Elo 排名算法的具体机制。
  • 游戏赛季的组织方式。
  • 防止玩家串通的政策。
  • 防止作弊的政策。

这些设计甚至比你能够想象的最简单、最直接的方案还要糟糕。

因此,正如预期的那样,他们也没有制定合理的反作弊政策。

如今,最受欢迎游戏的排行榜前列已经被作弊者占据。

可以预料,这种现象还会蔓延到其他游戏。

在 AI 可能造成的各种危害中,这算是相对轻微的一种。

它恰好也是我上周看到的十几个例子之一,体现了人们正在对自己开发的软件抱有更大的雄心。

我在这里提到它,一半是因为这个现象很容易量化,另一半是因为我此前就预测过它会发生,因此觉得有必要回头看看实际情况。

人们对软件开发抱有更大的雄心,也会带来一个副作用:

作弊者、诈骗者等群体的能力也在提高。

不过,积极的一面是:

大约六个月前,我曾在一个桌游 Discord 服务器中发表过这样的观点:

对于大多数游戏来说,与其在 Board Game Arena 上玩,不如直接使用氛围编程开发一个应用。

因为后者的性能可能更好,Bug 更少,而且能够实现更加合理的回合计时规则等功能。

当然,《Guards of Atlantis 2》这样的游戏可能是例外,因为它的规则写得实在太差了,AI 很难正确理解。

当时,我已经在使用自己通过氛围编程开发的应用,和朋友一起玩桌游。

(这在法律上是允许的,因为游戏规则和玩法机制本身不受版权保护。)

但当我提出上述观点时,人们都觉得我疯了。

而从那时起,我已经看到许多人开始自行开发应用,让自己能够玩到比公开可用版本更好的桌游实现。

我认为,自己实现过的每一款桌游应用,质量其实都相当差。

但在编程 Agent 出现之前,大多数在线桌游应用的质量甚至比它们还差。

如果把这个观点推广到编程领域,就会发现:

要取代过去由人类编写的旧代码,质量门槛其实并没有那么高,因为大量旧代码本身就糟糕透顶。

我甚至怀疑,玩家通过这些新的氛围编程应用玩桌游,实际上可能更有利于桌游设计者。

因为玩这些游戏的人越多,实体桌游的销量也可能越高。

不过,我认为,无论是否有利于桌游设计者,人们最终都会这么做,因为很多游戏现有的在线版本实在太差了。

例如,在 BGA 上,如果两个玩家恰好同时点击,系统就会报错。

对于一个在线游戏平台来说,这简直荒唐。

但 BGA 最终还是赢得了市场,因为它比其他替代方案好得多。

而且,它也比大多数桌游的独立在线实现更好。

例如,你可以看看《Brass: Birmingham》在线版的评价,那款游戏甚至无法正常运行。

⁶ 关于 Pandoc 的格式支持

Pandoc 支持大量输入和输出格式。

原文列出的输入格式包括:

html、docx、xlsx、pptx、csv、markdown、gfm、commonmark、rtf、epub、odt、tsv、latex、ipynb、mediawiki、rst、asciidoc、bibtex、org、typst、jira、docbook、opml、textile、json、xml、native 等。

输出格式还包括:

pdf、plain、revealjs、beamer、slidy、s5、dzslides、slideous、texinfo、context、tei、ansi 等。

其中,native 指 Pandoc 抽象语法树(AST)的序列化表示。

译注:原文列出的是输入和输出格式的完整清单,这里保留主要格式名称并合并展示,省略部分变体。

⁷ 关于公开基准测试的局限性

顺便说一下,这也意味着,对于许多实际使用场景而言,公开的模型评估并没有太大意义。

因为我和其他经常使用模型的程序员关心的,通常是:

模型在仍然需要人类指导的任务上表现如何?

而不是:

模型在那些对它来说已经非常简单的任务上表现如何?

⁸ 关于编程技能在 AI 时代的价值

这里的讨论并不是对未来作出预测。

也许在不久的将来,我掌握的几乎所有软件开发技能,甚至全部技能,都会变得无关紧要。

但我们现在还没有走到那一步。

至少在目前,编程技能似乎比以往任何时候都更具杠杆效应。

当下有一件相当有趣的事情:

那些掌握了模型正在逐渐取代的技能的人,似乎反而比那些没有这些技能、却试图使用模型完成相同任务的人有效率得多。

我很喜欢 Max Bittker 对此的表述:

模型非常擅长制造以假乱真的仿制品。

而随着模型不断进步,要区分这些仿制品与真正的成果,所需要的专业水平也在不断提高。

집필 转载并翻译

불러오는 중...