数据大爆炸时代：分布式网络使命几何？

当涉及到计算机的数据存储时，我们似乎快要将数字用完了！如果你年龄稍长，你可能会记得上世纪80年代磁盘存储是千字节为单位的，而如果你年纪稍微小一点，你可能更熟悉以千兆字节为单位的u盘，或者现在可以容纳千兆的硬盘。

但我们现在正以前所未有的速度生产数据。我们需要能够把握的数字是如此之大，以至于几乎超出人类的理解。为了了解我们即将进入的新领域，请考虑以下情况:市场情报公司IDC估计，到2020年，全球创造和消耗的数据总量达到了59 个zettabytes——按旧有单位计算，这是59 万亿Gb。

人类的数据大爆炸

然而，尽管目前存在的数据总量几乎达到了难以估量的规模，但它的增长速度甚至更加惊人。早在2012年，IBM就计算出全球90%的数据都是在前两年创建的。从那时起，全球数据总量持续指数级增长，而且这一趋势似乎还将持续下去。事实上，IDC预测，在未来三年内，人类将创造比过去三十年更多的数据。

一个显而易见的问题是:发生了什么变化?为什么我们突然间产生了比以往更多的数据? 很明显，智能手机是这个故事的一部分。现在每个人的口袋里实际上都装着一台移动电脑，使前几代的台式电脑相形见绌。这些机器不断地连接到互联网上，即使是在空闲的时候，也不断地接收和传输数据。出生在1996年—2010年之间的美国Z一代成年人， 平均每天解锁手机79次，大约每13分钟一次。这些设备永不关机的特性导致了大量新数据的产生，每24小时就有5亿条新推文、4000兆字节的Facebook帖子和650亿条新WhatsApp消息进入网络空间。

然而，智能手机只是新数据世界里最显眼的一部分，你可能会认为Netflix和YouTube等视频平台占据了全球数据的最大份额，但事实上，整个消费者产生的数据份额只有大约50%，而且这个比例预计将在未来几年逐渐下降。那么，剩下的是什么呢?

物联网和连接设备的兴起进一步扩大了我们的全球数据足迹。事实上，同比增长最快的是被称为嵌入式和生产率数据的一类信息。这是来自传感器、连接的机器和自动生成的元数据的信息，这些元数据存在于幕后，超出了终端用户的可见性。

以自动驾驶汽车为例，它使用摄像头、声纳、激光雷达、雷达和GPS等技术监控交通环境，绘制路线，避免危险。根据英特尔的计算，使用当前技术的自动驾驶汽车平均每天将产生4万亿兆字节的数据。从这个角度来看，一辆车每天产生的数据量相当于近3000人。

一方面，这些数据将有助于安排服务间隔和最有效地诊断技术问题。它也可以作为分布式系统的一部分，在特定的城市协调交通流和最小化能源消耗。最后，也可能是短期内最重要的一点是，在发生伤害或事故时，这对于解决法律纠纷是至关重要的。

自动驾驶汽车只是整个图景的一小部分。麦肯锡公司的数据显示，2014年至2019年，使用物联网技术的企业比例从13%上升至25%，预计到2023年，全球设备总数将达到430亿部。从工业物联网到整个智能城市，未来经济将拥有数量巨大的互联设备，这些设备将产生潜在的高度敏感甚至关键数据。

摩尔定律终结在即吗？

有两个因素需要考虑，这两个因素都表明去中心化网络的效用越来越大。首先,尽管我们比以往有了更多的数据来应对全球性挑战,诸如气候变化、金融不稳定和像COVID-19这样借助空气传播的病毒, 我们可能会接近一项艰难的技术边界：可以由集中式计算机实时处理的信息极限。尽管近年来数据量呈指数级增长，但处理能力却没有以同样的速度增长。

20世纪60年代，英特尔公司联合创始人戈登•摩尔提出了摩尔定律，该定律指出，随着微芯片上的晶体管数量每两年翻一番，计算能力也将以相应的速度增长。但摩尔自己也承认，这并不是一条科学定律;这更像是一种短暂的统计观察。2010年，他承认，随着晶体管现在接近原子大小，计算机处理能力将在未来几十年达到一个严格的技术极限。在那之后，更多核心部件可以添加到处理器以提高速度，但这将增加设备的大小、成本和功耗。因此，为了避免瓶颈效应，我们需要找到监测和回应数据的新方法。

第二个需要考虑的因素是网络安全。在一个日益互联的世界里，数以百万计的新设备正在上网。它们提供的数据可能会影响电网的控制、医疗保健的管理和交通的管理。因此，边缘安全——驻留在网络核心之外的数据的安全——变得至关重要。这为网络安全专家提供了一个复杂的挑战，因为许多不同的设备和协议组合为入侵提供了新的攻击面和机会。

向自然界网络学习

如果中心化处理对于未来数据丰富的经济体来说太慢且不安全，那么有什么替代方案呢? 一些专家一直在自然界中寻找灵感，他们认为我们应该从一个自上而下的监控和回应数据数据的模式转换到自下而上的模型。以蚁群为例，虽然每一只蚂蚁都有相对适中的智能，但总的说来，蚁群设法创建并维持复杂、动态的觅食路径网络，可以连接多个巢穴和短暂的食物来源。它们通过遵循一些简单的行为和对当地环境的刺激做出反应来做到这一点，比如其他蚂蚁的信息素踪迹。然而，随着时间的推移，进化发掘了个体层面上的本能和行为，从而产生了一个在宏观层面上非常有效和稳健的系统。如果一条路径被风或雨破坏，蚂蚁会找到一条新的路径，甚至没有任何单个蚂蚁意识到维护网络的整体目标。

如果用同样的逻辑来组织计算机网络会怎样?与蚁群相似，在区块链网络中，许多具有适度处理能力的节点结合起来，可以产生一个比其各部分总和更大的全局结果。正如在自然界本能和行为是至关重要的，控制节点如何互动的规则，在决定一个网络将在多大程度上成功地实现宏观层面方面也是至关重要的。

调整每个个体参与者的动机并形成一个互惠互利的网络中，需要大自然几千年的时间来孕育。因此，对于去中心化网络的人类设计者来说，这也是一个困难的挑战。但是，动物的基因突变本质上是随机的，我们有一个优势，那就是能够有目的地模拟和设计激励机制，以实现共同的总体目标。

通过这样精心设计的激励结构，分布式网络可以极大地增强边缘安全程度。就像蚁群的寻路网络即使有一只蚂蚁丢失或死亡也能继续工作一样，去中心化的网络也同样强大，即使单个节点崩溃或离线，网络也能保持完整的功能。此外，在整个网络中，没有一个节点需要处理或理解所有数据。一些研究人员认为，通过这种方式，我们可以创建一种经济激励结构，以一种分布式方式自动检测和应对共同的挑战。

结论

人类生产的数据总量正在爆炸式增长，而使用中央计算机网络监控和响应数据的能力正接近极限。出于这个原因，去中心化网络是唯一适合未来挑战的。大量的研究、测试和实验仍有待完成，但区块链基本的活力和底层技术的实用性已经得到了证明。随着人类走向一个数据丰富、超级连接的世界，分布式网络可能在获得最大经济和社会效益方面发挥重要作用。