Variant：为什么更好的AI需要Crypto

本文要点

• 目前，基础AI开发由少数科技公司主导，处于封闭和反竞争的状态。
• 开源软件开发是另一种选择，但基础AI无法作为传统的开源软件项目（例如 Linux）进行开发，因为它存在“资源问题”，开源贡献者还被要求捐献超出个人能力范围的计算和数据成本。
• 加密通过所有权激励资源提供者为基础开源 AI 项目做出贡献，从而解决资源问题。
• 开源AI与加密相结合，可以支持更大的模型并推动更多创新，从而带来更好的AI。

引言

皮尤研究中心2024 年的一项民意调查显示，64% 的美国人认为社交媒体对美国产生了负面而非正面的影响，78% 的人表示社交媒体公司在当今政治中拥有过大的权力和影响力，83% 的人表示这些平台很可能或很有可能故意审查他们不同意的政治观点。对社交媒体平台的厌恶是少数几个能团结美国人的问题之一。

回顾过去 20 年社交媒体实验的进展，我们似乎不可避免地会落得如此境地。你们都知道这个故事。少数几家大型科技公司最初吸引了人们的注意，最重要的是，他们获得了用户数据。虽然最初人们希望这些数据能够公开，但这些公司在利用这些数据建立牢不可破的网络效应后，很快就改变了方向，关闭了访问权限。这基本上导致了目前的状况，不到十家大型科技社交媒体公司在寡头垄断下像小封建领地一样存在，没有动力去改变，因为现状利润极高。它是封闭的，反竞争的。

看看AI实验目前的进展，我感觉自己就像在重复看同一部电影，但这一次涉及的更多。少数几家大型科技公司已经积累了 GPU 和数据来构建基础AI模型，并封锁了对这些模型的访问。对于新进入者（没有筹集数十亿美元）来说，已经不可能构建出竞争版本，因为进入门槛太高了——仅预训练一个基础模型的计算资本支出就高达数十亿美元，而从上一次技术繁荣中获益的社交媒体公司正在利用他们对专有用户数据的控制来构建竞争对手无法做到的模型。我们正全力以赴地在AI领域重现我们在社交媒体上所做的事情：封闭和反竞争。如果我们继续沿着这条封闭AI的道路前进，少数科技公司将对信息和机会的访问拥有不受限制的控制。

开源AI与“资源问题”

如果我们不想要一个封闭的AI世界，我们的替代方案是什么？答案显而易见，那就是将基础模型构建为开源软件项目。我们有无数开源项目的例子，它们构建了我们每天依赖的基础软件。如果 Linux 表明像操作系统这样基本的东西也可以开源构建，那么 LLM 又有什么不同呢？

不幸的是，基础AI模型存在一些限制，使它们不同于传统软件，这严重阻碍了它们作为传统开源软件项目的可行性。具体来说，基础AI模型本身就需要超出任何个人能力的计算和数据资源。结果是，与依赖人们捐献时间的传统开源软件项目（这已经是一个具有挑战性的问题）不同，开源AI还需要人们以计算和数据的形式捐献资源。这就是开源AI的“资源问题” 。

为了更好地理解资源问题，让我们来看看 Meta 的 LLaMa 模型。Meta 与其竞争对手（OpenAI、Google 等）的不同之处在于，它不会将模型隐藏在付费 API 后面，而是公开提供 LLaMa 的权重供任何人免费使用（有一些限制）。这些权重代表了模型从 Meta 的训练过程中学到的东西，是运行模型所必需的。有了权重，任何人都可以对模型进行微调，或者将模型的输出用作新模型的输入。

虽然 Meta 公布了 LLaMa 的权重值得称赞，但它并不是一个真正的开源软件项目。Meta 在私下使用自己的计算、数据和决策来训练模型，并单方面决定何时向全世界开放该模型。Meta 不邀请独立研究人员 / 开发人员参与社区，因为单个社区成员无法负担训练或重新训练模型所需的计算或数据资源——数以万计的高内存 GPU、容纳它们的数据中心、大量冷却基础设施，以及数万亿的训练数据代币。正如斯坦福大学 2024 年AI指数报告所述，“培训费用的不断上涨实际上已经将大学（传统上是AI研究中心）排除在开发自己的前沿基础模型之外。”为了了解成本，Sam Altman 提到 GPT-4 的培训成本为 1 亿美元，而且可能还不包括资本支出；Meta的资本支出同比增长 21 亿美元（2024 年第二季度 vs. 2023 年第二季度），主要来自对与训练 AI 模型相关的服务器、数据中心和网络基础设施的投资。因此，虽然 LLaMa 的社区贡献者可能具有在基本模型架构上做出贡献和迭代的技术能力，但他们仍然缺乏这样做的手段。

总而言之，与传统的开源软件项目不同，开源软件项目仅要求贡献者贡献时间，而开源 AI 项目的贡献者则被要求以计算和数据的形式贡献时间和大量成本。依靠善意和志愿服务来激励足够多的各方提供这些资源是不现实的。他们需要进一步的激励。176B 参数开源 LLM BLOOM的成功可能是善意和志愿服务对开发开源 AI 的优点的最佳反例，它涉及来自 70 多个国家和 250 多个机构的 1000 名志愿研究人员。虽然这无疑是一项令人印象深刻的成就（我完全支持），但协调一次训练运行花了一年时间，并从法国研究机构获得了 300 万欧元的资助（而且这笔费用不包括用于训练模型的超级计算机的资本支出，其中一个法国机构已经可以使用它）。协调和依靠新拨款来迭代 BLOOM 的过程过于繁琐和官僚主义，无法与大型科技实验室的步伐相媲美。虽然 BLOOM 发布已有两年多时间，但我不知道这个集体是否制作了任何后续模型。

为了使开源AI成为可能，我们需要激励资源提供者贡献他们的计算和数据，而无需开源贡献者承担费用。

为什么Crypto可以解决开源AI的资源问题

Crypto 的突破在于利用所有权使资源成本较高的开源软件项目成为可能。Crypto 通过激励具有网络潜在上升空间的投机资源提供者，而不是要求开源贡献者预先支付成本来提供这些资源，从而解决了开源 AI 固有的资源问题。

要证明这一点，只需看看最初的加密项目比特币。比特币是一个开源软件项目；运行它的代码是完全开放的，从项目开始的那一天起就一直如此。但代码本身并不是秘密武器；下载并运行比特币节点软件来创建仅存在于本地计算机上的区块链并没有多大用处。只有当计算挖掘区块的数量足够超过任何单个贡献者的计算能力时，该软件才有用。只有这样，软件的增值才能实现：维护一个无人控制的账本。与基金会开源 AI 一样，比特币也代表了一个开源软件项目，它需要超出任何单个贡献者能力的资源。他们可能出于不同的原因需要这种计算——比特币是为了使网络防篡改，而基金会 AI 是为了迭代模型——但更广泛的一点是，它们都需要超出任何单个贡献者需求的资源才能作为可行的开源软件项目发挥作用。

比特币，或者说任何加密网络，用来激励参与者为开源软件项目提供资源的魔术技巧是以代币形式提供网络所有权。正如 Jesse早在 2020 年为 Variant 撰写的创始论文中所写的那样，所有权激励资源提供者为项目贡献资源，以换取网络的潜在上行空间。这类似于如何利用汗水股权来启动一家刚刚起步的公司——通过主要通过对企业的所有权来支付早期员工（例如创始人）的工资，初创公司可以通过获得原本无法负担的劳动力来克服启动问题。加密将汗水股权的概念扩展到资源提供者，而不仅仅是那些奉献时间的人。因此，Variant 专注于投资利用所有权建立网络效应的项目，例如 Uniswap、Morpho 和 World。

如果我们想让开源 AI 成为可能，那么通过crypto实现所有权就是解决其面临的资源问题的办法。研究人员可以自由地将他们的模型设计想法贡献给开源项目，因为实现他们的想法所需的资源将由计算和数据提供商提供，以换取他们对项目的所有权，而不是要求这些研究人员支付高昂的前期成本。所有权在开源 AI 中可以采取多种不同的形式，但我最兴奋的是模型本身的所有权，就像Pluralis提出的方法一样。

Pluralis 将这种方法称为协议模型，其中计算提供商可以贡献计算资源来训练特定的开源模型，并获得该模型未来推理收入的所有权。由于所有权属于特定模型，并且所有权的价值基于推理收入，因此计算提供商有动力选择最佳模型，而不是欺骗训练（因为提供无用的训练会降低未来推理收入的预期价值）。那么问题就变成了：如果需要将权重发送给计算提供商进行训练，如何在 Pluralis 上强制执行所有权？答案是模型并行性用于在工作者之间分配模型分片，从而允许利用神经网络的一个关键属性：可以为训练更大的模型做出贡献，同时只能看到总权重的一小部分，从而确保完整的权重集仍然不可提取。而且由于在 Pluralis 上训练了许多不同的模型，训练者将拥有许多不同的权重集，这使得重新创建模型变得极其困难。这是协议模型的核心概念：它们是可训练的，可以使用，但无法从协议中提取（不使用比从头训练模型所需的更多的计算能力）。这解决了开源AI批评者经常提出的一个担忧，即封闭的AI竞争对手将占用开放项目的劳动成果。

为什么Crypto+开源=更好的AI

我在这篇文章的开头描述了大科技公司控制的问题，以从规范的角度说明为什么封闭式AI是坏的。但在一个我们的在线体验带有宿命论色彩的世界里，我担心这对大多数读者来说可能毫无意义。所以最后我想给出两个理由，即由加密支持的开源AI实际上将带来更好的人工智能。

首先，Crypto和开源 AI 的结合将使我们能够达到下一层基础模型，因为它将比封闭式 AI 协调更多的资源。我们目前的研究表明，以计算和数据形式存在的更多资源意味着更好的模型，这就是基础模型通常会变得越来越大的原因。比特币向我们展示了开源软件加上加密在计算能力方面所释放的东西。它是世界上最大、最强大的计算网络，比大型科技公司的云大几个数量级。加密将孤立的竞争变成了合作竞争。资源提供者被激励贡献他们的资源来解决集体问题，而不是囤积他们的资源来单独（和冗余地）解决该问题。使用加密的开源 AI 将能够利用世界集体计算和数据来构建远远超出封闭式 AI 可能的模型大小。像Hyperbolic这样的公司已经展示了利用集体计算资源的力量，任何人都可以以更低的价格在他们的开放市场上出租 GPU。

其次，将Crypto和开源 AI 结合起来将推动更多创新。这是因为，如果我们能够克服资源问题，我们就可以回归机器学习研究的高度迭代和创新的开源性质。在最近推出基础 LLM 之前，机器学习研究人员几十年来一直公开发布他们的模型和复制模型的蓝图。这些模型通常使用更有限的开放数据集，并且具有可管理的计算要求，这意味着任何人都可以对它们进行迭代。正是通过这种迭代，我们在序列建模方面取得了进展，例如 RNN、LSTM 和注意力机制，这使得当前基础 LLM 所依赖的“Transformer”模型架构成为可能。但随着 GPT-3 的推出（它逆转了 GPT-2 开源的趋势）和 ChatGPT 的巨大成功，这一切都发生了变化。这是因为 OpenAI 证明，如果你在海量模型上投入足够的计算和数据，你就可以构建似乎能理解人类语言的 LLM。这造成了资源问题，导致学术界无法负担高昂的价格，并导致大型科技公司实验室基本停止公开发布其模型架构以保持竞争优势。目前主要依赖个别实验室的状态将限制我们突破最先进技术界限的能力。通过加密技术实现的开源 AI 将意味着研究人员将再次能够在尖端模型上继续这一迭代过程，以发现“下一个transformer”。