【专家视点】大数据出现和发展是一种不可阻挡的趋势

在很多人眼中，大数据只是一个流行的名词，但实际上，大数据已经深入到我们生产生活的方方面面。大数据之所以能够未来发展的趋势，除了社会需求的拉动之外，IT领域的技术发展也是大数据诞生的重要基础。随着互联网技术的发展，物联网和云技术的诞生，为大数据的储存和传输提供了技术支持。此外，随着社会的不断发展，社会以及经济各领域的数据的积累也越来越大，这些多为大数据的诞生奠定了基础。
　　此外，当今社会正处于信息化时代，谁拥有了海量信息，谁就将在各种竞争中掌握主动权，日益丰富的数据来源和采集手段帮助我们解决了“巧妇难为无米之炊”的窘境，但如果没有满足大数据存储特点的创新型存储方法与技术手段，那么搜集到的“米”也因为无处存放而无法成“食”，所以期望大数据发挥价值的想法也只能停留在理论层面。
　　随着大数据应用的爆发性增长，它已经衍生出了自己独特的架构，而且也直接推动了存储、网络以及计算技术的发展。国际数据公司认为：“在可预见的未来，存储是大数据和分析领域最大的基础设施开支之一。”处理大数据这种特殊的存储需求是一个全新的挑战。
　　站在今天的角度观察，人类社会的信息化进程其实可以划分为三个时代，即计算机时代、互联网时代和大数据时代。到20世纪90年代中期，发达国家已经基本度过了计算机时代。计算机的普及，解决了信息的机器可读化和数据的可计算化问题。目前，发达国家和部分发展中国家也基本走完了互联网时代的路程。互联网的建立解决了信息传递和信息服务问题。在计算机和互联网的基础上，而今我们正步入一个全新的历史阶段—大数据时代。
　　剑桥大学教授维克托·迈尔·舍恩伯格在其《大数据时代：生活、工作与思维的大变革》中写道：“大数据开启了一次重大的时代转型。就像望远镜让我们感受宇宙、显微镜让我们能够观测微生物一样，大数据正在改变我们的生活以及理解世界的方式，成为新发明和新服务的源泉，而更多的改变正蓄势待发……未来数据将会像土地、石油和资本一样，成为经济运行中的根本性资源。”
　　2013年被国外媒体称为“大数据元年”。大数据如浪潮一般席卷全世界，不仅在信息技术行业备受瞩目，更成为变革科研、商业、政府运作方式乃至人类思维方式的一个热点。
　　1969年，美国阿波罗登月舱使用的自动控制计算机内存容量只有 63KB(千字节)；而如今，一部普通的苹果手机运行内存就有1GB(吉字节)，是前者的6.45万倍，这还不包括16~64GB不等的存储内存。阿波罗登月舱只有一个，而仅在2013年第一季度，苹果公司就销售了大约3800万部苹果手机。人们用手机社交、购物、阅读，产生的数据量是惊人的。
　　随着计算机技术全面融入组织运作和社会生活，数据正在以一种超乎想象的速度爆发式地增长。据统计，人类存储信息量增长速度是世界经济增长速度的5倍，而计算机数据处理能力增长速度则是世界经济增长速度的10倍。根据联合国的研究报告，全球的大数据存量从2005年的150EB(艾字节)增长到2010年的1200EB，并预计将以40%的年增长率继续增长，2020年将达到2007年的44倍，平均每20个月翻一番。1E 1EB等于260B(字节)，相当于13亿中国人人手一本500页的书加起来的信息量，5EB则相当于3.7万个美国国会图书馆的信息量。
　　数据大爆炸的来源有很多，它既来自新兴的物联网和移动互联网，也来自传统互联网以及广大经济社会活动领域。例如，每个人的日常生活都在被数据化，我们浏览网页、登录社交网络、使用移动通信工具、进行在线交易等，留了各式各样的数字足迹；在遍布全球的工业设备、汽车、电子量表和集装箱上，有数不清的数据感应器，它们实时测量并传递地点、移动、振动、温度和湿度等信息，甚至能检测出空气和水中的化学变化；政府部门在统计监测、审批备案和行政执法过程中，也积累了大量的工商登记、税收缴纳、社保缴费、交通违章等公共数据……

据采集、存储、分析、可视化技术和方法的普及，使得对数量巨大、来源分散、格式众多的大数据进行分析成为可能。因此，大数据首先是一种技术进步，这种进步继而推动了人类认识世界和改造世界能力的进步，带来了大价值。
　　MBAonline网站发布的一张题为“互联网的一天”的信息图显示：每天有2940亿封电子邮件发出，如果这些是纸质信件，在美国需要花费两年的时间处理。每天有200万篇博客文章在网上发布，这些文章相当于美国《时代周刊》刊发770年的总量。每天有2.5亿张照片上传至社交网站脸谱网，如果把它们都打印出来，摞在一起有80个埃菲尔铁塔那么高。每天有86.4万小时的视频被上传至视频网站Youtube，不间断播放则需98年。
　　每天有1.87亿个小时的音乐会在流媒体音乐网站Pandora上播放，如果一台计算机从公元元年就开始播放这些音乐会，到现在还没完没了地接着放。累积起来，互联网一天之内产生的信息总量可以装满1.68亿张数。
　　大数据能为人类带来大知识，即通过对海量数据进行分析，以一种前所未有的方式获得深刻的洞察力。例如，2009年甲型H1N1流感爆发时，与习惯性滞后的官方数据相比，谷歌成为一个更有效、更及时的指示标。他们通过分析5000万条美国人最频繁检索的词条，例如“哪些是治疗咳嗽和发热的药物”，建立了4.5亿个数学模型，并与美国疾控中心在2003~2008年季节性流感传播时期的数据进行比较，提前两周预测出流感的爆发时间和传播路径。这种工作方式不需要分发口腔试纸和联系医院，它是建立在大数据的基础之上的。基于这样的技术理念和数据储备，下一次流感来袭时，世界将拥有一种更好的预测工具预防流感的传播。
　　大数据使得组织决策将越来越依赖于数据和分析，而非经验和直觉。迈克尔·刘易斯于2003年出版的《点球成金》中讲述了棒球统计学的一个真实案例。该书的主角比利·比恩是一家棒球队的总经理，他在一位统计学家的帮助下，尽可能地将球员能力数据化，并以此作为衡量球员能力的唯一标准，而非基于主观经验的判断。通过这套计算机程序和数学模型，比利以有限的预算寻找那些被价值低估的球员，实现了最高的“投入产出比”，创下了美国职业棒球大联盟百年历史上的连胜20场的空前纪录。与那位统计学家相比，那些经验丰富的专业棒球星探们在挑选球员方面的精准程度相形见绌。
　　人们通过大数据获得的知识更快速、更准确、更便捷，而这些在传统的数据利用思维和技术的基础上是难以完成的。例如，个人收入对于银行放贷、社会保障等机构而言是一项关键数据。然而，收入又是一个比较敏感的话题，要调查个人收入，不仅过程烦琐、成本较高，而且还存在瞒报的可能。著名征信机构益百利有一项服务，即通过对消费者信用卡消费历史记录和美国国税局的匿名税收数据进行分析，对个人的收入状况进行较为精准的预测。该机构通过预测得出的结果，平均每一份（一个人）的售价不到1美元。如果用传统的方法去获得一个人的收情况，其付出的成本将超过10美元。
　　正因为如此，大数据带来的价值也将是巨大，除了其本身的价值之外，在大数据的帮助下，它能给整个社会带来难以估量的价值。