【专家视点】影响2017年大数据行业趋势的5大关键技术

大数据自诞生之后，就以改变世界未来发展方式的姿态牢牢吸引着世人的眼球。在2016年即将进入尾声之际，中培教育专家钟老师在这里详细介绍了有可能在2017年影响大数据行业趋势的5大关键技术。

　　物联网(IoT)

公司日益期望从所有数据中获得价值;制造、销售和支持实物的大型工业公司将与其“物件”连接的传感器接入到互联网。企业组织将不得不改动技术，以便与物联网数据衔接起来。这在数据治理、标准、健康保障、安全和供应链等方面带来了无数新的挑战和机遇。

物联网和大数据是同一枚硬币的两面;数十亿与互联网连接的“物件”将生产大量数据。然而，这本身不会引发另一场工业革命，不会改变日常的数字化生活，也不会提供拯救地球的预警系统。来自设备外部的数据才是企业让自己与众不同的方面。结合上下文来捕获和分析这种类型的数据为公司带来了新的发展前途。

研究表明，相比计划维修，预测性维护最多可省下12%的成本，因而使维护成本降低30%，将设备故障造成的停运时间缩短70%。对于制造工厂或运输公司来说，从数据驱动的决策获得这些结果，意味着在改进运营和节省成本方面大有机会。

深度学习

深度学习是一套基于神经网络的机器学习技术，它仍在发展之中，不过在解决业务问题方面显示出大有潜力。它让计算机能够从大量非结构化数据和二进制数据中找出感兴趣的内容，并且推导出关系，而不需要特定的模型或编程指令。

这些算法的源动力主要来自人工智能领域，人工智能的总体目标是模拟人类大脑观察、分析、学习和做决定的能力，尤其是处理极其复杂的问题。深度学习方法的一个关键概念就是数据的分布式表示，因而可以对输入数据的抽象特征实现大量的组合，从而可以紧凑表示每个样本，最终获得更丰富的泛化。

深度学习主要用于从大量未标记/未监督的数据当中学习，因而对于从大数据中提取有意义的表示和模式颇具吸引力。比如说，它可以用来识别许多不同类型的数据，比如视频中的形状、颜色和对象，或者甚至是图像中的猫，就像谷歌研制的一个神经网络在2012年所做的那样。

因此，企业可能会看到更多的注意力投向半监督式或未监督式训练算法来处理进入的大量数据。

内存中分析

不像常规的商业智能(BI)软件对存储在服务器硬盘上的数据运行查询，内存中技术查询的是载入到内存中的信息，这可以通过减少或甚至消除磁盘输入输出瓶颈来显著提升分析性能。就大数据而言，正是由于TB级系统和大规模并行处理，让内存中分析技术更令人关注。

在现阶段，大数据分析的核心其实是发现数据。要是没有毫秒级延迟，面对数百万次/数十亿次的迭代，运行迭代以查找数据点之间的关联就不会成为现实。在内存中处理的速度比磁盘上处理要快三个数量级。

　　云计算

混合云和公共云服务越来越受欢迎。大数据成功的关键是在弹性基础设施上运行(Hadoop)平台。

我们会看到数据存储和分析趋于融合，带来新的更智能的存储系统，它们将经过优化，用于存储、管理和排序庞大的PB级数据集。展望未来，我们可以预计会看到基于云的大数据生态系统在整个继续迎来发展，不仅仅局限于“早期采用者”。

许多公司想要让自己可以扩展的平台，通过大力投资于最终僵化的数据中心是不可能做到这点的。比如说，人类基因组计划一开始是个GB级项目，但是很快达到了TB级和PB级。一些领先的企业已经开始以双模(bi-modal)方式来拆分工作负载，在云端运行一些数据工作负载。许多人预计，随着这种解决方案在采用周期上深入发展，这个潮流会加快发展。

现在大家很重视API，以一种可重用的方式来发掘数据和功能，许多公司期望在云端和数据中心运行其API。本地API提供了一种无缝的方式来发掘传统系统，并将它们与云应用程序连接起来，这对于希望实现云优先战略的公司来说至关重要。

更多的公司会在云端运行API，提供弹性，以便更好地应对需求高峰，并建立高效的连接，从而让它们能够比竞争对手更迅速地适应和创新。

　　Apache Spark

Apache Spark在点亮大数据。流行的Apache Spark项目提供了Spark Streaming技术，通过主要采用一种在内存中微批量处理的方法，近实时地处理数据流。它已从Hadoop生态系统的一部分，变成许多企业青睐的一种大数据平台。

Spark现在是最庞大的大数据开源项目，相比Hadoop它提供了显著加快的数据处理速度因此，对于程序员来说极其自然、极加精确、极其方便。它为并行执行提供了一种高效的通用框架。

Spark StreamingSpark的主要部分，被用来借助处理器核心，流式传输大块的数据，为此将大数据分割成更小的数据包，然后对其进行转换，因而加快弹性分布式数据集(RDD)的创建。这在当下非常有用，如今数据分析通常需要一组协同运行的机器的资源。

然而值得一提的是，Spark旨在改进而不是替换Hadoop架构。为了从大数据获得更大的价值，许多公司考虑结合使用HadoopSpark，以获得更好的分析和存储功能。