大数据之所以能够成为我来发展的趋势,最重要的本身具有发展基础。随着互联网技术的发展,物联网和云技术的诞生,为大数据的储存和传输嗲宁了基础。此外,随着社会的不断发展,社会以及经济各领域的数据的积累也越来越大,这些多为大数据的诞生奠定了基础。
中培的大数据专家蒋老师认为,当今社会正处于信息化时代,谁拥有了海量信息,谁就将在各种竞争中获得主动权,日益丰富的数据来源和采集手段帮助我们解决了“巧妇难为无米之炊”的尴尬情况,但如果没有满足大数据存储特点的创新存储方法与技术手段,那么搜集到的“米”也因为无处存放而无法成“食”,所以期望大数据发挥价值的想法也只能停留在理论层面。
随着大数据应用的爆发性增长,它已经衍生出了自己独特的架构,而且也直接推动了存储、网络以及计算技术的发展。国际数据公司认为:“在可预见的未来,存储是大数据和分析领域最大的基础设施开支之一。”处理大数据这种特殊的存储需求是一个全新的挑战。
站在今天的角度观察,人类社会的信息化进程其实可以划分为三个时代,即计算机时代、互联网时代和大数据时代。到20世纪90年代中期,发达国家已经基本度过了计算机时代。计算机的普及,解决了信息的机器可读化和数据的可计算化问题。目前,发达国家和部分发展中国家也基本走完了互联网时代的路程。互联网的建立解决了信息传递和信息服务问题。在计算机和互联网的基础上,而今我们正步入一个全新的历史阶段—大数据时代。
剑桥大学教授维克托·迈尔-舍恩伯格在其《大数据时代:生活、工作与思维的大变革》中写道:“大数据开启了一次重大的时代转型。就像望远镜让我们感受宇宙、显微镜让我们能够观测微生物一样,大数据正在改变我们的生活以及理解世界的方式,成为新发明和新服务的源泉,而更多的改变正蓄势待发……未来数据将会像土地、石油和资本一样,成为经济运行中的根本性资源。”
2013年被国外媒体称为“大数据元年”。大数据如浪潮一般席卷全世界,不仅在信息技术行业备受瞩目,更成为变革科研、商业、政府运作方式乃至人类思维方式的一个热点。
1969年,美国阿波罗登月舱使用的自动控制计算机内存容量只有 63KB(千字节);而如今,一部普通的苹果手机运行内存就有1GB(吉字节),是前者的6.45万倍,这还不包括16~64GB不等的存储内存。阿波罗登月舱只有一个,而仅在2013年第一季度,就销售了大约3800万部苹果手机。人们用手机社交、购物、阅读,产生的数据量是惊人的。
随着计算机技术全面融入组织运作和社会生活,数据正在以一种超乎想象的速度爆发式地增长。据统计,人类存储信息量增长速度是世界经济增长速度的5倍,而计算机数据处理能力增长速度则是世界经济增长速度的10倍。根据联合国的研究报告,全球的大数据存量从2005年的150EB(艾字节)增长到2010年的1200EB,并预计将以40%的年增长率继续增长,2020年将达到2007年的44倍,平均每20个月翻一番。1E 1EB等于260B(字节),相当于13亿中国人人手一本500页的书加起来的信息量,5EB则相当于3.7万个美国国会图书馆的信息量。
数据大爆炸的来源有很多,它既来自新兴的物联网和移动互联网,也来自传统互联网以及广大经济社会活动领域。例如,每个人的日常生活都在被数据化,我们浏览网页、登录社交网络、使用移动通信工具、进行在线交易等,留了各式各样的数字足
迹;在遍布全球的工业设备、汽车、电子量表和集装箱上,有数不清的数据感应器,它们实时测量并传递地点、移动、振动、温度和湿度等信息,甚至能检测出空气和水中的化学变化;政府部门在统计监测、审批备案和行政执法过程中,也积累了大量的工商登记、税收缴纳、社保缴费、交通违章等公共数据……
据采集、存储、分析、可视化技术和方法的普及,使得对数量巨大、来源分散、格式众多的大数据进行分析成为可能。因此,大数据首先是一种技术进步,这种进步继而推动了人类认识世界和改造世界能力的进步,带来了大价值。
MBAonline网站发布的一张题为“互联网的一天”的信息图显示:每天有2940亿封电子邮件发出,如果这些是纸质信件,在美国需要花费两年的时间处理。每天有200万篇博客文章在网上发布,这些文章相当于美国《时代周刊》刊发770年的总量。每天有2.5亿张照片上传至社交网站脸谱网,如果把它们都打印出来,摞在一起有80个埃菲尔铁塔那么高。每天有86.4万小时的视频被上传至视频网站Youtube,不间断播放则需98年。
每天有1.87亿个小时的音乐会在流媒体音乐网站Pandora上播放,如果一台计算机从公元元年就开始播放这些音乐会,到现在还没完没了地接着放。累积起来,互联网一天之内产生的信息总量可以装满1.68亿张数
大数据能为人类带来大知识,即通过对海量数据进行分析,以一种前所未有的方式获得深刻洞见。例如,2009年甲型H1N1流感爆发时,与习惯性滞后的官方数据相比,谷歌成为一个更有效、更及时的指示标。他们通过分析5000万条美国人最频繁检索的词条,例如“哪些是治疗咳嗽和发热的药物”,建立了4.5亿个数学模型,并与美国疾控中心在2003~2008年季节性流感传播时期的数据进行比较,提前两周预测出流感的爆发时间和传播路径。这种工作方式不需要分发口腔试纸和联系医院,它是建立在大数据的基础之上的。基于这样的技术理念和数据储备,下一次流感来袭时,世界将拥有一种更好的预测工具预防流感的传播。
大数据使得组织决策将越来越依赖于数据和分析,而非经验和直觉。迈克尔·刘易斯于2003年出版的《点球成金》中讲述了棒球统计学的一个真实案例。该书的主角比利·比恩是一家棒球队的总经理,他在一位统计学家的帮助下,尽可能地将球员能力数据化,并以此作为衡量球员能力的唯一标准,而非基于主观经验的判断。通过这套计算机程序和数学模型,比利以有限的预算寻找那些被价值低估的球员,实现了最高的“投入产出比”,创下了美国职业棒球大联盟百年历史上的连胜20场的空前纪录。与那位统计学家相比,专业棒球星探们在挑选球员方面的精准程度相形见绌。
人们通过大数据获得的知识更快速、更准确、更便捷,而这些在传统的数据利用思维和技术的基础上是难以完成的。例如,个人收入对于银行放贷、社会保障等机构而言是一项关键数据。然而,收入又是一个比较敏感的话题,要调查个人收入,不仅过程烦琐、成本较高,而且还存在瞒报的可能。著名征信机构益百利有一项服务,即通过分析信用卡历史记录和美国国税局的匿名税收数据,对个人的收入状况进行较为精准的预测,其预测结果售价不足1美元,而通过传统的办法证明一个人的收入状况要花费10美元左右。
正因为如此,大数据带来的价值也将是巨大,除了其本身的价值之外,在大数据的帮助下,它能给整个社会带来难以估量的价值。
想了解更多IT资讯,请访问中培教育官网:中培教育