分布式存储——千亿存储市场的蓝海大战

IPFS原力区阅读 70853 2020-6-24 10:56

作者：Tony

来源：IPFS原力区

6月10日，Filecoin官方发布测试网奖励计划；6月19日，测试网重置；7月初，开启400万枚Filecoin争霸赛，全球矿工将通过储存量排名来抢夺Filecoin第一批奖励。

在瓜分价值3.44亿元的Filecoin欢腾之际（参考Gate上FIL/USDT 上线后6个月期货价格，约86元/枚），我们也需要了解去中心化、中心化存储的局势。

（图一）全球数据增长率，来源：世界经济论坛-Visual Capitalist，2019-06

随着互联网时代的快速发展，各行业逐步全面走向数字化，未来可见，处理数据的方式越来越捉襟见肘。到2020年，全世界的数据量预计达到44ZB。预计2025年，全球每天会有463EB的数据产生，相当于每天产出约2.1亿张DVD碟（图一）。

目前解决数据存储迫在眉睫，存储能否承载大数据爆发增长？是否存在更好的解决方案？

一、全球云存储市场规模：云存储需求并不满足数据增长

（图二）2020-2027全球云存储市场趋势预测（百万美元），来源：Data Bridge，2020-03

随着技术普及化、新冠肺炎大流行、移动远程工作和视频会议正在加速转向云端，云服务存储的便利会逐步泛民化，企业越来越多地将云存储视为高效协作的一种手段。

从2020-2027全球云存储市场趋势预测(图二)可知，预测2027年云存储市场预计将达到272.20亿美元，云存储市场复合增长率为24.41％。与全球数据增长对比（图一），2020-2025年数据复合增长率约275%。因为数据未来会剧增，目前预测云存储规模增长远远不够满足全球用户需求，仅限于一些企业级服务。

除此之外，目前云存储服务还存在很多中心化本身的问题：修复能力不够；服务器不稳定；数据隐私安全等。

尤其，频频信息泄露事件让用户信息无处可藏，数据隐私安全成为了云存储最迫在眉睫的困难（图三）。

（图三）近期中心化存储潜在安全隐患事例（不完全统计），来源：IPFS原力区，2020-06

特别是在公共云的服务器上存储，安全漏洞的可能性很高。该隐患会大大抑制了云存储的增长势头。即便大多数云提供商都提供保障，但是承诺有限的安全性。

与此同时，IPFS早期布道者胡飞瞳也就此曾发布过观点：“在中心化数据存储的世界里，用户不仅为数据存储付费，而且还得不到很好的数据保护，这一现象必须改变。通过去中心化，用户可以自己管理自己的数据，加密存储，授权访问，安全备份等等特性的实现将大大加强用户的隐私，也能增强数据的长期保存，同时，有望通过共享的模式大大降低费用。这是数据存储发展的必然方向。”

假如我们使用去中心化存储会怎么样？以下看看两者的对比。

二、中心化存储VS 分去中心化存储？

中心化存储

中心化存储可以简单理解为现有的通用云存储，是一个以数据的存储和管理为核心的云计算系统（图四）。换言之，云存储就是将储存资源分享到同一处存储空间，使用者可以随时随地通过任意可连网的设备访问该空间。我们平时用的中心化存储就有icloud、百度云盘、Google Cloud等。

（图四）中心化存储工作原理，来源：IPFS原力区，2020-06

去中心化存储

去中心化存储是一种通过分布式存储技术将文件或文件集分片加密存储在供应方提供的存储空间上，点对点的提供存储或接受存储的服务形式，不过度限制于某一中心存储（图五），该供应商可以是普罗大众。其主要特性是保障数据安全性、更高效、低成本、网络更为稳定等，类似的存储项目有IPFS、Sia、Storj 、Arweave等。

（图五）去中心化存储工作原理，来源：IPFS原力区，2020-06

然而，去中心化存储有何优势？

去中心化存储：数据丢失隐患？不存在的

（图六）360云盘关闭事件，来源：百度百科，2020-06

现阶段，中心化存储服务（包括云存储）与公司经营管理挂钩，就是用户的数据能否继续存储与否取决于公司的服务周期，一旦存储公司陷入困境，用户需要更换存储服务商，这会导致用户在使用上的不便利。360云盘关闭也是当时轰动一时的公共事件，截至2016年，还存在很多用户数据无法下载回来的问题。

因为去中心化存储具备区块链特质，可以弥补过度中心化缺陷。其存储网络的拓扑结构可以是P2P网络（图七），可以是用户，也可以是存在几个联盟的中介服务商或运营商的去中心化网络，抛开了单一或寡头中心化存储服务商经营风险。

（图七）最早的Napster P2P拓扑结构，来源：intsci.ac.cn，2020-06

去中心化存储价格优势也甚为明显，便于集群化上线后快速抢占存储市场，丰富存储生态。

未来集群化的去中心化存储企业规模落地、完善服务的多样性后，直接冲击传统云存储服务，大大降低用户存储成本。

数据不安全，何以安天下

（图八）IPFS上数据存储流程图，来源：IPFS原力区，2020-06

（图九）IPFS运作原理图，来源：coincentral.com，2018-02

星际文件系统IPFS诞生于2014年，是一个旨在创建持久且分布式存储和共享文件的网络传输协议，它是一种内容可寻址的对等超媒体分发协议。简而言之，用户通过发布订单寻找合适的存储矿工，数据加密后，并将分割后的数据发送给存储矿工存储，数据加密以及随机性的数据包存储，大大保障了数据的安全性（图八、九）。用户可以将本地文件添加到IPFS文件系统，然后被自动加载到网络，使其可供全世界使用。而Filecoin是该项目的激励层，主要是为了激励IPFS网络上的数据存储而创建的，充当价值交换的媒介。

全球网络节点共护网络稳定

去中心化存储网络（Filecoin和Sia）与HTTP网络服务性质差异有体现在长时间的存储服务，不同于HTTP网络的宕机、主网存储损坏等，因此该网络需要矿工长时间稳定工作参与挖矿维持网络的稳定，矿工不可能随时出入，同时Filecoin 和Sia采用抵押机制，一旦掉线会导致矿工抵押的token被没收，这就导致家庭存储硬件在运维、安全、稳定等角度都难以达到参与挖矿或者维护网络的要求，需要专业化的存储服务商提供24小时不断网断电，集群化规模，大大提高用户的存储服务。

三、引爆去中心化存储领域，哪些明星项目未来可期？

“自由撮合”存储：Filecoin/IPFS

Protocol Labs是一家专注于网络协议和软件系统的加州研发实验室，于2014年推出星际文件系统(IPFS)，2017年IPFS团队宣布成立Filecoin。

其中，IPFS旨在挑战现有的超文本传输协议(HTTP)并支持Filecoin数据存储平台，IPFS其属于协议层；其“激励层”Filecoin项目在2017年1CO并在首次受监管的代币销售中进行，刚刚推出就筹集了2.57亿美元的创纪录高额投资，成为2017年最大的1CO。

（图十）Filecoin/IPFS，来源：timetocoin.com，2018-09

Filecoin该项目特点是使用存储证明协议，该协议包括复制证明和时空证明，以确保数据主机真正存储智能合约中承诺的数据量。

Filecoin的“自由撮合”：任何用户都可以基于其提供的存储容量，可以成为Filecoin的矿工，并通过其提供的有效存储来获得市场订单。根据Filecoin开发人员设置的市场价格，市场也会依据存储空间、市场订单情况等来确定价格。存储服务采购商通过Filecoin交换机上发出数据存储订单后，存储主机向采购商提供报价，服务提供商竞价投标，并以最低价格获撮合订单，创造了一个“自由撮合”市场。

Filecoin主要是改变了中心化的存储服务形式，其经济形式与亚当·斯密提出的自由经济理论相似，即是让有闲置存储空间的用户也可以为全球的存储市场贡献，让存储市场服务走向另外一个新的平衡，修正一家或者几家存储寡头独大的局面。

但该项目也存在另外一种风险：项目暂未上线以及如何配合国家金融科技监管问题。

“高性价比”存储：Sia

Sia由David Vorick在2013年所构思的区块链项目，并于2015年推出，是最早落地的去中心化存储项目之一。

与IPFS类似，也是一个去中心化云存储的项目，其使用Twofish算法对网络中所有数据进行加密，以保障数据的存储；同时也满足小存储采购商的需求，让存储渗透到了下沉市场，满足更多小而多的存储采购商的需求；系统默认是分发给30台主机，10台主机可以恢复数据，从而消除了任何单点故障，并确保了可与中心化云存储提供商匹敌的正常运行时间。

（图十一）Sia规模，来源：sia.tech，2020-06

自筹资以来，Sia通过风险资本基金和拨款成功募资了165万美元。这些风险投资家包括Procyon Ventures、Fenbushi Capital和天使投资人李笑来。2019年，Sia获得贝恩资本、柏尚投资、Dragonfly Capital Partners350万美元A轮融资。

Sia的最大优势：“高性价比”的存储。Sia的去中心化云存储成本要比现有的云存储提供商低90％。其平台上存储1TB数据每月花费2美元，谷歌的数据存储服务每月5美元/T，苹果每月22美元/T，Amazon S3上为23美元/T，远远低于主流存储市场的价格。

其不足是：其本身的PoW共识机制会导致严重的算力浪费和耗电问题，也难以公平的反映租户的存储和带宽的资源供给能力，没有足够重视数据安全问题，系统故障风险。

“强稳定”存储：Storj

Storj最初于2014年推出，是一个去中心化的基于ETH的去中心化存储系统，可以理解为基于P2P网络的Bit Torrent(BT)，主要面向金融应用的智能合约平台。该项目是基于以太坊的ERC20发售的Storj通证，快速在在一周内吸引到了Google Ventures、Ionic Security、Cockroach Labs等300万美元的种子投资。

（图十二）Storj，来源：p2pfoundation，2014-08

Storj的强稳定性。Storj创先把存储任务分割对应为每个奖励的Storj，保障存储网络的稳定进行，激励服务商活动有序进行。其不足是：Storj不是公链，依赖以太坊网络来支付gas费用，以及处理逻辑较为单一。

四、开创者Storj、抢摊者Sia，全能者Filecoin，谁鸣天下？

开创者Storj

Storj利用文件分片打散存储数据，并通过P2P两边加密进行保护。相比Sia，Storj更倾向于去中心化，促进互不信任的计算机有序统一的云存储平台，但其本身受限于以太坊本身。

抢摊者Sia

Sia通过快速落地、高性价比的存储收费快速抢占了2PB的存储规模（图十一），成为去中心化存储份额较大的佼佼者。

（图十三）Sia，来源：reddit.com，2018-06

Sia打散加密数据后，并且复制多份分发存储在不同网络上，当用户要读取时，这些数据“重新组合”送达给用户，这块与IPFS相似。理论上，文件碎片来源于不同存储节点，这种多条链并行使去中心化存储的速度远大于中心化存储的速度。其创先使用的抵押机制，大大保障了矿工一直在线以及网络的稳定；但是本身是PoW共识机制，本身会潜在电力浪费及双花攻击问题。

全能者Filecoin

除了Filecoin具备了以上两者的大部优点（抵押机制、线性分发通证），其提出了解决电力浪费、防止作弊的解决方案。

防止作弊。因为Filecoin的“存储矿工”实际上采用了一种称为“时空证明”“复制证明”的新共识机制（EC共识）。EC公式通过反复广播他们正在智能合约中存储分配给他们的数据的证据，用证据证明他们已经存储了数据。矿工需要不断以复制证明的方式和规则来证明他们在工作，防止作弊行为。

防止电力浪费。同时Filecoin在打包区块方式也有较大的创新，通过有效存储做为一种“算力”，有效存储越大，获得打包区块的概率越大，并且通过节点选举的模式选择打包节点，比起基于哈希算法的PoW的机制更高效节约，这种方式能够支撑大规律的实时奖励结算和交易结算，减少无效数据存储以及电力损耗。