浅论大数据变革背后的3大助推技术

大数据无疑是目前互联网行业乃至全社会的一个热门词汇，中培教育《大数据Hadoop与Spark架构应用实战》培训专家钟老师指出，正如许多颠覆性技术一样，经历了被“神化”、“妖魔化”的过程后，大数据已经开始被人们理智的看待。它既不神秘莫测，也不虚无飘渺。

随着数据体量的不断增长，数据存储、计算和数据应用表现出了明显的变化。底层的存储和计算架构越来越趋于分布式；中间层的数据分析的方式正从BI向以人工智能为代表的技术发展；而最上面的应用层则更加垂直于某些行业或应用场景。另外，为了使结果和规律以更好的方式呈现出来，对于数据可视化技术的研究也快速得到业界关注，以期获得对于海量数据分析结果更加直观、精准展现的解决方案。

钟老师认为，大数据技术的发展是信息化发展的自然延伸，是由应用驱动的信息化产品发展的必然产物。“最早是谷歌在做搜索的时候，由于以前有的网页非常非常大，没有办法进行存储，也没有办法在这上面进行搜索，所以它衍生出自己的一套分布式存储与分布式计算这样一整套的架构来，这一整套架构就变成了现在大家知道的Hadoop生态。”

钟老师进一步支持，通过近几年百分点与客户接触的过程中，他非常直观地感受到了企业对待大数据态度的变化。“IT圈里也没几个人真正知道Hadoop是什么，然而现在，Hadoop集群已经被部署在几乎所有大型企业的IT系统中，成为企业数据平台的新常态。”但是，现在的企业已经不再认为一套Hadoop就能够解决所有问题，而是评估哪种产品或者解决方案能够真正与自身具体的业务需求相结合，通过数据分析产生价值。大数据不过是解决问题的一种正常的IT手段。

然而从基因图谱到太空探索，人类不断产生着越来越大的数据集，对于数据处理、管理和理解的极限能力无时无刻不在遭遇挑战。谈及未来将对大数据起到推动作用的关键技术及发展方向时，钟老师重申了“大数据只是信息化的自然延伸”这个观点。他认为，信息化新技术的发展，一定会为整个大数据领域带来变革，并对以下三类技术表示重点关注：

量子计算机

钟老师表示，“经典计算机正遇到摩尔定律的极限，而顶破天花板的正是量子计算。”量子计算机最大的优势在于大幅缩短提取用户所需信息的时间，它可以在几天内解决传统计算机会花费数百万年才能处理的数据。

相对于将0和1组成的比特流转换成其他比特流的传统计算操作，量子计算是一种截然不同的计算方式。它的神奇之处在于，它可以做到真正的并行计算与存储。例如，一个数位的经典存储器可以存储两个数字0或者1，但在某一时刻这个数字要么是0要么是 1；而对于量子比特存储器来说，在同一时刻，它可以同时存储0和1，其存储和运行能力都成指数上升。而且数据量越大，量子算法在时间复杂度上的优势就越明显。

大约三年前，中国科学技术大学量子光学和量子信息团队在国际上首次成功实现了用量子计算机求解线性方程组的实验，首次从原理上证明了这一算法的可行性。“像IBM，谷歌，也都在探索和研究量子计算机技术。一旦投入实际应用成为可能，相地这会对大数据，乃至整个信息产业带来一个巨大的变化”，钟老师表示。

可见光通信

对大量数据传输的巨大需求使当前现有的通信技术面临严峻挑战。相关调查报告显示，按着现在移动设备呈指数级发展的趋势，预计2019年超过100亿部移动设备每月将会交换超过35万兆（10^18）比特的信息，然而这还仅仅是来自移动端的数据。

钟老师对此评价道： “可见光通信技术将极大的改变整个信息传输、存储和计算的方式。大家可以想象，未来我们的手机都可以仅靠一束光就实现通话和数据传输，大大提升了传输速度和效率，整个存储和计算的规模也将不可估量。”

高速率性是可见光通信的最大优势，也是业界普遍看好其前景的主要原因。除此之外，高密度、低成本、高保密性都是其主要的技术优势。随着市场对数据、物联网和移动的偏爱程度与日俱增，人们需要找到一些更快传输更多数据的方法。一旦可见光通信技术走向成熟，将会对现有基础设施无法处理这样的数据传输需求提供解决方案。

区块链

对于最近大热的区块链技术，钟老师同样非常关注，他认为区块链技术是利用一种纯粹的去中心化方式，实现整个数据的存储，计算，校验，这在给数据应用带来更大变化的同时，也对底层的分布式计算模型，数据存储模型等技术带来巨大影响。

“在我的理解中，区块链通过数据分布式的存储计算这样的一种方式来实现。其中有一个核心点叫做基于计算的证明。这个证明的过程实际是一种验证，所以个人无法伪造这些资源。如果想伪造的话，计算量会非常大。由于它是基于纯粹分布式的存储和计算资源，每个节点共享出来的资源即使非常少，当时整个这个网络里边，计算量也已经可以达到了非常大的程度。”钟老师这样认为。

在2016年我们将看到，不同行业的多个应用程序使用区块链。基本上任何存在数字化交易的行业都将会受益于区块链技术，这些数据全都可以用来进行分析。但是区块链技术并不能提供数据分析的功能，这时候就需要推动大数据和其分析工具的发展进行介入。

最后钟老师总结认为，其实一些所谓的新技术，它的理念一点都不新。早在一九六几年，关于Hadoop中核心的分布式理念就已经被提出，量子机计算的概念更是在上世纪八十年代就有人做出设想。只是受限于当时的科学和技术水平，这些理念没办法得到实现。但是一旦实现成为可能，整个应用将呈现出指数级增长的发展趋势，就像当年的摩尔定律一样。