GPT-3来了，加密货币需要害怕吗？

过去几年来，OpenAI 新推出的文本生成器模型 GPT-3 在加密货币社区引起了热议。一些人表达了对 GPT-3 的好奇心，另一些人却有些极端，声称加密货币社区应该对此感到恐惧。

如此热烈的反响难免会让人觉得有些奇怪，因为 GPT 模型已经不新鲜了。过去一年来，机器学习社区都在积极讨论这一话题。首个 GPT 模型的研究发表于 2018 年 6 月。之后，2019 年 2 月，GPT-2 模型发布，最后就是 3 个月前的 GPT-3 模型。

我认为 GPT-3 本身在加密货币生态系统中的影响并不大。但是，GPT-3 模型背后的技术代表了过去几年来深度学习的巨大进步，因此可能与加密货币分析密切相关。在本文中，我将深入剖析 GPT-3 背后的一些概念，并分析 GPT-3 对加密货币行业的影响。

什么是 GPT-3？

GPT-3 是一个庞大的自然语言理解（NLU）模型，使用多达 1750 亿个参数来处理多项语言任务。因此，GPT-3 成了全球最大的 NLU 模型，超过了微软的 Turing-NLG 模型及其前身 GPT-2 模型。

GPT-3 模型能够执行多项语言任务，例如，机器翻译、回答问题、语言分析以及文本生成。GPT-3 生成的伪造文本甚至能够以假乱真，引起了新闻媒体的注意。

这与加密货币有什么关系？想象一下，如果有人能定期生成虚假的新闻稿来影响小币种的价格，听起来是不是很可怕？！但是这并不是 GPT-3 最主要的功能。

GPT-3 是一种基于语言的模型，因此在文本数据集合的基础上运行。从加密货币市场的角度来看，这种功能虽然很酷，但是肯定没那么有趣。我们真正应该关注的是 GPT3 背后的技术。

GPT-3 背后的秘密

GPT-3 是在深度学习架构 Transformer 的基础上开发的。Transformer 的概念最初在 Google Brain 团队成员于 2017 年发表的《你需要的只有注意力机制》（Attention is all you need）论文中提到。

Transformer 架构的主要创新之处是“注意力机制”概念。注意力机制通常用来解决 Seq2Seq 问题。所谓的 Seq2Seq 问题，指的就是将一个序列（单词、字母、数字）处理后，输出另一个序列的问题。这类问题常见于文本生成、机器翻译和回答问题等语言智能场景。

每当你看见一个 Seq2Seq 场景，你都应该将它与编码器-解码器架构联系起来。编码器会捕获输入序列的语境，并将它传递给解码器，由解码器生成输出序列。通过识别输入中应该“注意”的关键部分，注意力机制解决了传统神经网络架构的局限性问题。

想象一下从西班牙语到英语的机器翻译场景。通常来说，解码器会将西班牙语文本输入到一个名为“虚构语言”的中间表示内，然后利用这个中间表示将其翻译成英语。传统的深度学习架构需要编码器和解码器之间持续进行反馈，导致效率极其低下。

从概念上来说，注意力机制会观察输入序列，并在每个步骤中决定输入序列中比较重要的部分。例如，在机器翻译场景中，注意力机制会聚焦于那些编码器“应该注意的”单词，以便执行翻译。

支持 GPT-3 模型的 Transformer 架构是传统的编码器-解码器架构，通过插入注意力块来提高效率。注意力块的作用是完整查看全部的输入和当前输出，推断相关性，从而优化最终输出的生成过程。

由 Transformer 架构生成的模型可以经过海量数据集的训练，并实现高效并行化。果不其然，在 Google Brain 的论文发表后，各公司竞相构建超大模型来处理不同的语言任务，例如，Google 的 BERT、Facebook 的 RoBERTa、Microsoft 的 Turing-NLG 和 OpenAI 的 GPT-3。

当初，包含 15 亿个参数的 GPT-2 模型震惊了全世界。短短一年之内，这一纪录先是被微软的 Turing-NLG 打破，又被包含 1750 亿个参数的 GPT-3 碾压。简而言之，就 Transformer 架构而言，大即是好。

第一代 Transformer 架构聚焦于语言任务。但是，Facebook 和 OpenAI 等公司最近已经发表了将 Transformer 应用于图像分类的相关研究。有人或许认为此举只是在尝试伪造图像。但是这一研究的意义远不止如此。

在没有大型已标记数据集的情况下，图像造假对于简化图像分类模型的训练来说至关重要。已经有人尝试将 Transformer 架构应用于金融时间序列数据集，希望可以改进量化交易策略。

Transformer 和加密货币

既然我们已经介绍了 Transformer 架构和 GPT-3 的背景知识，不妨再来思考一下文章开头的问题：GPT-3 真的不利于加密货币吗？

当然了，GPT-3 模型确实可以生成虚假新闻，从而影响币价，这并非玩笑。但是我认为，就目前的情况而言，GPT-3 不会威胁到加密货币行业。更有趣的是，Transformer 架构可能对下一代加密货币智能解决方案产生影响。以下是一些值得考虑的场景：

交易策略。显然，如果事实证明 Transformer 架构可应用于金融数据集，这类架构可能会对加密货币的量化策略产生重大影响。总的来说，深度神经网络为量化交易开拓了新的领域。从线性回归和决策树等基础机器学习模型来看，量化基金正在研究复杂的深度学习策略。

作为原生数字资产，加密货币最适合采用量化策略。循环神经网络（RNN）和卷积神经网络（CNN）等技术在量化投资领域大受欢迎，而且在密码学技术中发挥了很好的作用。就像在语言分析方面那样，Transformer 架构可能优于 CNN 和 RNN ，尤其是在将“注意力”集中到一个数据集的某些部分（例如，2020 年 3 月的比特币崩盘），以及处理海量交易（例如，区块链交易）方面。

区块链分析。相比现有方法，Transformer 架构可以更加高效地检测区块链中的模式。Transformer 架构的优势之一是，能够将注意力集中到输入集的特定部分，并推断潜在的输出。想象这样一个场景，我们在分析比特币挖矿交易或交易所的流量，试图推断订单簿采用的模式。Transformer 架构似乎更能胜任这个任务。

去中心化的 Transformer 架构。目前，人们在努力将 Transformer 模型应用到 SingularityNet 等去中心化的 AI 架构中。此举将拓展 Transformer 模型的应用场景。迄今为止， GPT-3 等Transformer 模型都是大公司的特权。只有大公司的 AI 实验室才有足够的数据和资源来构建并运行如此大规模的神经网络。去中心化 AI 为我们提供了另一种方案，可以在基于激励机制运行的去中心化网络中训练、执行并监控 Transformer 架构。

就像那些已经在去中心化基础设施中运行的神经网络架构那样，我们很快就能看见 GPT-3 之类的模型运行在 SingularityNet 或 Ocean Protocol 等去中心化 AI 平台上。

GPT-3 和 Transformer 架构是深度学习发展史上的巨大突破。在接下来的几年，我们可能会看到 Transformer 架构渗透进深度学习的方方面面，而且这种影响力可能会扩散至金融市场。加密货币会成为受益者。

没错，GPT-3 确实令人瞩目，但是没必要惧怕它。相反，我们应该利用这些AI 技术，将加密货币变成史上最智能的资产。