大数据无处不在，它到底是如何改变我们生活的？
2009年，在甲型H1N1流感爆发的几周前，谷歌的工程师们在《自然》杂志上发表了一篇令人瞩目的论文，工程师们在文中探讨了谷歌为什么能够准确地预测冬季流感的传播情况。http://images.rfidworld.com.cn/FileUpLoadSavePath/2016-01/489c650dcef2153f336.jpg谷歌的这套预测系统的重点不在于提供有效的解决方案，它唯一关注的就是特定检索词条的使用频率与疾病在时间和空间上的传播之间的联系，比如某地在某段时间上对某种疾病解决方案的搜索频率越高，那么某地某种疾病在某段时间内流行的概率就越大，同时谷歌还利用庞大的历史检索数据来完成对已发生事件的验证式“预测”，通过不断地调整预测的数学模型使之更加符合事实真相，从而提升该预测系统的准确率，以更好地完成对未来事件的预测。 事实证明了谷歌利用庞大的搜索数据进行趋势预测的准确性，在2009年甲型H1N1流感爆发的时候，相比官方数据习惯性滞后的毛病，谷歌成为一个更为及时且更有效的指示标。 大数据与云计算，相伴相随的最佳“伴侣” 谷歌的这套预测系统就是一个典型的基于大数据技术完成的成功案例。对于大数据的定义，目前业界并没有形成一个一致的说法，麦肯锡全球研究所对大数据的定义为一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。 不管大数据的定义如何(笔者以为这不是重点)，但其相对传统数据库而言的差别还是需要知悉的，那就是它比传统数据库的规模要大得多，这种大不仅仅体现在数据的量上，亦体现在数据类型上，这点不难理解，也正是这种规模与类型上的巨大差别，导致了大数据的价值密度相对传统数据库而言要小，这点不妨简单地理解为在大数据的概念中，有价值的信息数据多，但无价值的信息数据同样也多，这自然会稀释大数据的价值密度了。 一般而言，在传统的数据库系统中，企业的数据中心往往是最耗费计算资源与财力的，大数据在数据量与数据类型成倍增长的情况下，对计算资源的索取自然就更变本加厉了，这对中小型企业而言，成本往往会成为其不能承受之重，此时，与大数据最为适配的搭档就是云计算了! 云计算是通过让任务(计算或数据处理等)分布在大量的分布式计算机上(这些分布式计算机是联网的)，而非远程服务器或本地计算机上，让这些分布式计算机形成一个资源池共同完成任务，这就相当于把一份任务分给N个人做，而这个N究竟是多少是依据任务的难度而定的，云计算的优势显而易见，不但可很好地解决计算资源不足的问题(对本地的计算资源需求很低，但对网络的要求较高)，同时网络上闲散的计算资源也被很好地利用起来，这正好满足了大数据应用对计算资源的庞大需求。 大数据如何改变我们的生活 大数据对我们日常生活的改变首先体现在思维方式上，严格来说，大数据并非是一个确切的概念，说大数据是一种工具，一种新的思维方式也许更加准确。大数据打破了人类之所以是人类的原因之一即逻辑思维方式，大数据不讲究因果关系，而因果关系正是逻辑思维运作的基础，大数据讲究的是相关性，由这个相关性可产生一系列的大数据的实际应用。当然大数据的本质还是一种数据库技术，那么传统数据库所具有的一些特性，大数据当然也一个不少，比如数据分析，数据挖掘等等。http://images.rfidworld.com.cn/FileUpLoadSavePath/2016-01/707b50477a4c84225fa.jpg
正如前文所言，大数据不讲究因果关系，它更加关注事物的相关性，由着这个相关性诞生了一系列的新应用，比如本文开头言及谷歌对于流感的预测报告就是如此，此外与我们日常生活更为息息相关的就是电子商务应用了。 当你在购物网站京东搜索了你想买的某类产品，或是你在京东上常常浏览某种类型的商品后，京东背后的大数据应用会为你建立一个小的数据库，这个数据库涵盖你以往的购物历史数据、搜索记录(搜索了什么类型的商品等)、浏览记录(浏览了什么商品等数据)，基本上你在京东上的行为都被一一记录下来形成一个你私人的大数据，这对你而言是没有意义的，对京东而言就意义重大了，京东会由此预测你在此时此刻可能对某些商品会感兴趣。 京东不会关注你为什么会对这些商品感兴趣，因为原因对京东而言没有意义，京东关注的是如何把商品卖出去，你的兴趣才是它的关注点，于是当你在浏览其他网页时(与京东合作的相关网站)，在该页面的广告栏便会轮番显示你感兴趣或者曾经浏览过的商品，在大大提升广告推广效率的同时亦不会让你反感(甚至某种你需求商品在其上的降价可激发你的感激之情)，除此之外，对商家而言，依据众多用户购买行为而建立的大数据，可有效地判断某时某地大众的消费趋势，为更好地实施商业战略规划提供参考。 大数据在城市智能交通上的应用正是基于其在数据分析与挖掘之上的。记录一座城市一天24小时的交通数据信息是一项庞大的工程，一个完善的城市交通大数据(这些数据主要来自城市各个干道上所安装的智能化视频监控系统、停车场的智能卡口系统、地铁公交系统的刷卡记录等)系统应该将这些数据悉数记录，这些数据包括城市各个路段上实时的交通流量信息(如各个路段上事实的交通拥堵情况，单位时间的车流量，甚至某辆车由某位置到达某位置预计所需要的时间等等)、历史交通信息的存储与查询等，城市交通大数据系统会依据相应的数据模型展开数据分析与挖掘，并将分析报告的结果实时呈现出来，这些实时的交通信息报告给城市的交管部门更为良好的管理整个城市的交通运作提供最有价值的决策依据。 也许大数据应用对城市智能交通管理系统更大的价值在于一旦城市交通出现紧急情况，比如出现交通事故时，肇事司机驾车逃逸，此时管理部门启动整个交通平台的大数据技术对罪犯进行追捕将变得极为有效：在基本确定了在某个时间段内某地段所发生的交通事故后，在周围布置的智能视频监控系统可依据该逃逸车辆的特征(车的类型、颜色、逃逸司机的特征，车牌号中包括了哪些数字等)迅速地确定该逃逸车辆的车牌号，依据车牌号再确定司机姓名(即使有时不是车辆所有者本人亦无关系，依然可作为案件侦查的重要线索)，此时该范围内所有布置的智能视频监控系统(可依据监控物特征进行识别)将悉数处于戒备状态，一旦该车辆从其“眼皮”底下溜过时即会触发报警，该报警会自动上传至城市智能交通管理系统，系统在完成位置的确定后即可实施抓捕，大数据在整个运作过程中扮演了幕后英雄的角色，最终将犯罪分子绳之以法! 大数据本质是一种工具，其价值在于人类如何利用它 尽管大数据的存在不露声色，但它与我们的生活已密不可分，它就像一只看不见的手，在一定程度上操控着我们的生活。当你浏览网页时，大数据会依据你的喜好向你推荐感兴趣的商品，你不讨厌，你甚至欣喜若狂，因为你发现看上的某商品在低价出售，也许事后你又会恨得咬牙切齿，怪自己不该冲动剁手，买了一件用不上的东西，但大数据却扎扎实实地改变了你的生活。事实上，在你网购的同时，你的购买行为本身亦成为网站大数据应用的一部分，正是这许许多多的一部分成就了大数据应用的基础。 太阳底下无新事，大数据亦如此，它不追究事物的原因，不讲究因果关系，但它把事物的相关性发挥得淋漓尽致，正是基于此，它建立了许许多多成功的商业应用，但这些商业应用成功的真正原因却不在大数据本身，而是人类自身所具备的智慧造就，诚如本文开头所言，谷歌收集的数据只是用户的检索数据，是谷歌的工程师们发现了用户检索与流感之间的联系才产生了后来大数据具备的预测性应用，一句话，大数据的本质只是一种工具，如何用好这个工具，还得仰仗人类自身的智慧了!
转自：中国一卡通
学习了{:3_48:}
学习了~~ 好高大上 学习了:)
页:
[1]