一文读懂a16z领投4300万美元的AGI算力市场协议Gensyn

金色财经閱讀 18369 2023-6-12 14:26

2023年6月12日，基于区块链的AGI算力市场协议Gensyn宣布完成4300万美元A轮融资，a16z 领投，Eden Block、CoinFund、Galaxy、Protocol Labs等参投。

Gensyn是个什么项目？为何能拿到顶级VC巨额投资？金色财经带你一文读懂。

a16z：为何领投Gensyn 4300万美元A轮融资

a16z发文解释了为何领投Gensyn 4300万美元A轮融资。a16z表示，人工智能最近的进步令人难以置信，并且有拯救世界的力量（参阅金色财经此前报道“a16z创始人万字长文：为什么AI会拯救世界”）。但是构建 AI 系统需要部署更大的计算能力来训练和推理当今最大、最强大的模型。这意味着大型科技公司在从人工智能中获取价值的竞争中比初创公司更具优势，这要归功于对计算能力的特权访问和大型数据中心的规模经济。为了在公平的竞争环境中竞争，初创公司需要能够负担得起地使用自己的大规模计算能力。

区块链作为一种新型计算机，其独特之处在于，开发人员可以编写代码，对代码在未来的行为方式做出坚定的承诺。区块链的这种无需许可的组件可以为算力的买卖双方创建一个市场——或任何其他类型的数字资源如数据或算法——在全球范围内无需中间商进行交易。

Gensyn，是一个基于区块链的AGI算力市场协议，将开发人员（任何能够训练机器学习模型的人）与解题者（Solver，任何想用自己机器训练机器学习模型的人）联系起来。通过利用世界各地闲置的、具有机器学习能力的长尾计算设备例如小型数据中心、个人游戏电脑、M1 和 M2 Mac甚至是智能手机，Gensyn 可以将可用计算能力提高 10-100 倍用于机器学习。

AGI（通用人工智能）面临的问题：高度中心化

经过近半年的发展，市场普遍承认AGI是未来。但是AGI行业目前看起来高度垄断，国家之间是中美的贸易和人才战，公司之间是大型科技公司（微软、Google、Meta）的游戏。因为AGI 的三个关键资源（计算能力、知识和数据）目前高度中心化。

计算能力：越来越大和复杂的模型需要使用高算力的处理器训练。国家之间：中美之间的芯片战，美国一直在积极阻止中国获取高算力芯片。公司之间：产能不足，英伟达最新AI芯片全部被某些大客户购买，其他公司根本无法买到。在技术栈上：一些公司甚至创建了自己的深度学习专用硬件，例如谷歌的TPU 集群。这些在深度学习方面的性能优于标准GPU，并且不出售，仅供出租。

知识：许多公开的突破都源于研究人员开发的新的大模型架构，但在底层知识产权和人才方面存在着一场战斗。比如，美国吸引了超过50%的中国AI人才，而利用这些人才开发大模型的大公司正越来越多地降低这项技术的可及性；OpenAI的GPT-3.5或者4名义上可以公开使用，但它位于API后面，只有Microsoft可以访问其源代码。

数据：AGI深度学习模型需要大量数据——包括标记的和未标记的——并且通常随着数据量的增加而改进。GPT-3 接受了 3000 亿个单词的训练。标记数据尤为重要，训练AGI需要的数据集集中在一些大公司手中。比如一个冷知识：每次你解决reCaptcha访问网站时，你都在标记训练数据以改进谷歌地图。

去中心化AGI计算存在的困难

去中心化计算可以创造一个更便宜、更自由的基础来研究和开发人工智能。但去中心化AGI存在着工作验证难题，如何知道第三方已完成你请求的计算？

工作验证难题有两个因素：状态依赖，高计算费用。

状态依赖：神经网络中的每一层都连接到它之前的层中的所有节点。这意味着它需要前一层的状态。更糟的是，每一层的所有权重都由前一个时间步决定。因此，如果你想验证是否有人训练了一个模型——比如，通过在网络中选择一个随机点并查看你是否得到相同的状态——你需要一直训练模型直到那个点，这计算量非常大。

高计算费用： 2020 年 GPT-3 单次训练的成本约为 1200 万美元，比2019 年 GPT-2 训练的估计值约 43,000 美元高出 270 倍以上。一般来说，最好的神经网络的模型复杂度（大小）目前每三个月翻一番。如果神经网络更便宜，和/或如果训练代表更少的模型开发过程，那么可能来自状态依赖的验证开销是可以接受的。

如果想降低深度学习训练的价格并去中心化控制权，需要一个系统来不信任地管理状态相关的验证，同时在开销和奖励那些贡献计算的人方面也很便宜。

Gensyn如何去中心化AGI计算

Gensyn协议将世界上所有的计算联合到一个全球机器学习超级集群中，任何人都可以随时使用。它通过结合两件事来实现以超大规模和低成本无需信任地训练神经网络：

1、创新的验证系统

有效解决任意规模神经网络训练中状态依赖问题的验证系统。该系统将模型训练检查点与终止于链上的概率检查相结合。它以无需信任的方式完成所有这些工作，并且开销与模型大小成线性比例（保持验证成本不变）。

根据Gensyn Litepaper，Gensyn主要通过三个概念解决验证问题：概率proof-of-learning（使用基于梯度的优化过程中的元数据来构建所执行工作的证书并通过某些阶段的复制来快速验证）、基于图的精确定位协议（使用多粒度、基于图的精确定位协议和交叉评估器一致执行，以允许验证工作重新运行并比较一致性，并最终由链本身确认）、Truebit 式激励游戏（使用 staking 和 slashing 来构建一个激励游戏，确保每个财务理性的参与者诚实行事并执行他们的预期任务）

该系统主要由四个主要参与者：提交者、解题者、验证者和吹哨者。提交者：系统最终用户，提供将要计算的任务并为完成的工作单元付费；解题者：系统主要工作部分，执行模型训练并生成证明以供验证者检查；验证者：将非确定性训练过程链接到确定性线性计算、复制解题者证明的一部分并将距离与预期阈值进行比较；吹哨者：最后一道防线，检查验证者的工作并挑战以期获得累积奖金。