Coinbase数据副总裁：揭秘区块链行业的数据 3.0 之路

数据是一家企业的金矿，如果管理得当，除了可以作为让每个人负责任的重要工具之外，还提供了清晰的信息和洞察，可以让企业大规模改善决策。

然而多数企业滞留在数据 1.0 时代，即只是将数据业务作为人工和被动服务。 部分企业已开始走向数据 2.0 格局，即采用简单的自动化来改善团队生产率。而加密数据的复杂性为数据带来了全新的机遇，即企业进军数据 3.0 格局，可以通过系统化智能和自动化成规模地创造价值。这就是数字 3.0 之旅。

Coinbase 既不是金融企业也不是技术企业，而是一家加密企业。这种差别为我们如何处理数据的方式带来了重大影响。作为加密企业，我们处理三种重要类型数据（而不像常规企业只处理一种或两种数据） ，每种数据都非常复杂且各不相同：

我们的工作重心一直是如何让这些各不相同的数据协同工作，消除数据孤岛，在问题出现前消除问题，为 Coinbase 创造之前可能不存在的机遇，以此实现规模化创造价值。

我个人曾就职于 LinkedIn 和 eBay 等高科技企业，以及包括 Capital One 在内的金融机构工作过，我亲眼观察到从数据 1.0 到数据 3.0 的演进。在数据 1.0 中，数据被视为一种反应性功能，可提供临时性的人工服务或在紧急情况下就救险。

在数据 2.0 中，采用简单的工具和第三方解决方案将部分人工和重复性工作实现自动化，以提高团队生产率。然而，多数情况下数据团队依然依赖增加人手来创作更多价值。终于来到数据 3.0 时代，开源和内部技术协同创建数据系统，从根本上实现价值创造的规模化。

数据 3.0 涅槃之路

数据 3.0 带来的最大收益是效率和所有数据流中的一致性。它使企业能够构建全面的数据基础，服务于企业的长期成功，同时以有限的资源满足眼前的需求。当企业规模较小且变化迅速时，这种情况可能并不明显，但是随着企业规模的扩大、经历快速增长，各数据流之间缺乏一致性的问题可能会成为一个巨大的痛点，如果没有早早未雨绸缪，往往很难纠正。

即使是世界上最好的技术企业，也可能存在由不同的工程团队创建量身定制的数据产品和服务来解决特定的痛点，结果养成不良的习惯。这可能会在端到端数据系统的标准化工作流中留下巨坑，导致大规模构建和运营数据变得困难。更糟糕的是，这些一次性的工作可能会变得足够大，以致成为独立系统，需要花费相当多的时间来进行整合和迁移。这些通常成为遗留系统，随着时间的流逝，这些遗留系统会给公司带来沉重的技术负债。

鉴于区块链技术和数据用例不断发展，我们的数据 3.0 工作远未完成。我要说为我们取得的进展感到非常自豪。下图概述了迄今为止我们的工作和系统。

数据存储和处理

无论采用特定技术的选择是什么，都需要针对三个主要组成部分制定明确的策略：存储的分离、计算的分离，和「单一事实来源」的语义。将这些组件实现脱钩，并制定清晰的技术策略，可以避免随着企业发展而出现性能和扩容瓶颈。

数据平台和应用

虽然我们使用内部技术、开放源代码工具和供应商解决方案相结合的方案来满足各种需求，但我们在每个类别确定特定解决方案时进行了明确的权衡，因此不会在将来造成重复或歧义。我们管理事件系统、数据编排工作流、商业智能层和实验平台都实行这一原则。它还带来高度脱钩和可扩容的架构。

机器学习和平台

尽管在近年来围绕人工智能的炒作中，机器学习是「最吸引眼球的」，但它也是数据团队中最具跨职能作用的组成部分。我们真正的端到端机器学习平台 Nostradamus 支持 Coinbase 的所有机器学习模型，包括数据管道、训练、部署、服务和实验。因为机器学习平台是在综合考虑数据生态系统所有其他部分的基础上构建的，所以它不仅旨在使机器学习能够解决眼前的问题，而且还能随着业务一同增长和扩容。

数据科学和数据产品

这两个领域可能是数据团队中对最终用户最友好的部分，因为它们基本上是提炼的数据洞察的表示层，旨在使我们的客户满意并为其创造价值。它们还是上述所有工作的最直接受益者。

数据团队最重要的职责是，数据科学家应该使自己脱离机器，专注于使机器能够以可扩容的方式提供数据，并为消费者创造价值（而不是成为机器和数据消费者之间的中间人）。