ChatGPT将带来经济学的方法论革命

像ChatGPT这样的大型语言模型其意义远不止我们所见。

图卢兹大学人工和自然智能研究所集体学习中心主任

经济学家可以通过解构大型语言模型的方式来向它们学习。

这是因为，就像文本涉及许多词语之间的复杂互动一样，经济活动也涉及各种各样的人和物之间的复杂互动。

经济学家应该欢迎这种新的方法论革命，并将其视为创新和实验的全新前沿。

像其他人一样，经济学家也在享受着大型语言模型（LLMs），感受到了它们的优势和限制。像ChatGPT这样的大型语言模型确实是令人着迷的艺术。但其中一个关键问题是，我们能不能从这些模型中学到一些我们目前还不知道的经济学知识？

我相信，经济学家可以从大型语言模型中学到很多东西，不是通过与它们聊天，而是通过解构其工作方式。毕竟，大型语言模型就是建立在数学概念之上的，这些数学概念强大到足以帮助我们模拟出人类语言。也许，了解这些模型的工作原理，可以成为经济学家一个新的灵感来源。

为了理解大型语言模型中是如何工作的，我们需要从最原始的语言生成模型开始谈起。假设我们要用一个大型的文本语料库来计算每个词后面出现不同词的次数，如“棕”后面跟着“狗”的次数。像“棕狗”这样两个词的序列被称为“二元语法”（2-grams），这些词语组成的词语矩阵就是一个原始的语言生成模型。它在结构上非常简单，无法在文本生成上取得良好效果，但仍然足够“聪明”，能够“学会”形容词倾向于在名词前面出现的规律。也就是说，“棕狗”要比“狗棕”更常见。

大型语言模型则将这种思路推广到n元语法矩阵中。作为数学模型，大型语言模型可以估计出某个单词在一连串事先给出的词组中的出现概率。当然，n元语法矩阵的大小可以爆炸性地增长。有了1万个词，我们就有1亿个二元语法、1万亿个三元语法。当我们考虑18元语法时，其可能的组合（10的72次方个组合）比我们用地球上的全部原子所能储存的信息量还要多（大约10的56次方比特的信息量）。

因此，设计大型语言模型的工程师很聪明，选择用神经网络的几个参数来拟合一个能描述所有这些词序列的函数。大型语言模型有近一万亿个参数，这个数量看起来很大，但与博尔赫斯笔下的巴别图书馆所涉及的n元语法相比仍是很小的。

通过神经网络，这些模型开始模仿已有的知识。大型语言模型“知道”茶和咖啡是相似的，因为这些词经常出现在“热”、“饮料”和“早餐”等词附近。通过神经网络中的节点而不是孤立的词语实体来代表单词，这些模型创造了生成语言所需的数学表示。

这与经济学有什么关系？

就像文本涉及许多文字之间的复杂互动一样，经济也涉及各种各样的人和物之间的复杂互动。当然，我们也可以把这些互动归入预先定义的类别（如资本和劳动力）或归入不同的经济活动之中（如农业、服务业和制造业）。但是，就像一个语言模型如果仅有名词、动词和语法等概念是不完整的一样，基于经济活动粗略分类的经济学模型也是不完整的。大型语言模型告诉我们的是，使用预先定义的类别和演绎逻辑来捕捉世界细微差别的能力是有限的。如果我们想了解一个系统的细枝末节，我们就需要一个数学工具箱，帮助我们以更精细的分辨率来捕捉这个系统的动态和规律。

这种想法并不新鲜。事实上，有些经济学家早就在应用其中的一些技巧。在著名的词嵌入算法Word2vec发表的六年前，我和其他三位同事就一起发表了国际贸易的网络表示方法。我们尝试通过二元语法矩阵，根据产品之间的关系来创建数学表示。就像大型语言模型知道咖啡和茶是类似的那样，我们创造的这个网络也“知道”钻孔机和切割刀片是相关的，因为它们往往都与相似的其他产品一起出口。这个网络还“知道”热带和温带农业之间的区别，以及制造T恤衫和液晶屏幕之间的区别。

在过去的15年间，这些方法在年轻的经济学家和经验丰富的从业人员中找到了越来越多的受众。一方面，它们提供了所需的工具，将政策预测理念应用于经济发展研究，如预测经济体进入和退出不同产品和市场的概率。它们还为经济学带来了“嵌入”这样一种研究工具。“嵌入”（embeddings）是一种矢量表示，可以用于描述深度学习模型中的一个词。“嵌入”的一个应用实例是经济复杂性指数，这是一个从经济体之间的相似性矩阵中得出的指标，能够解释长期经济增长、收入不平等以及碳排放的区域和国际差异。

机器学习收集、构造和表示数据的能力，正在为各领域的研究人员创造机会。从希望了解和预测蛋白质行为的计算生物学家，到希望了解和预测经济演变的经济和国际发展专家，均是如此。经济学家和计算机科学家都应该欢迎这场新的方法论革命，这将是一个属于创新和实验的全新前沿。