欢迎关注公众号!
据估计,全球90%的数据都是在过去几年内产生的。每一天,我们创造的数据量达到2.5万亿字节。这不是“海量”,这是“宇宙级”的量。
一、这就是大数据时代——一个数据成为核心资源的时代。
大数据对我们有很大的影响。
1、对科学研究的影响:以数据发现问题和驱动科研。

2、对思维方式的改变:不是抽样而是全样数据分析、效率而非精确、关联而非因果。
二、大数据的特点——4V
1、Volume(海量):数据规模巨大,淘宝双11订单量达到几十亿条
2、Velocity(高速):产生和处理速度快,股市交易每秒上万笔
3、Variety(多样):数据类型丰富,文字、图片、视频、位置、传感器数据
4、Value(价值):价值密度低但潜在价值高,浏览记录看似无用,却能精准推荐

三、大数据的应用

1、个人:你在网上看到的一切,几乎都是大数据“算”出来的——推荐你喜欢的内容、预测你可能想买的商品、规划你回家的最佳路线。
2、企业:从“经验驱动”转向“数据驱动”。过去老板拍脑袋做决策,现在靠数据分析做决策。沃尔玛通过数据分析发现“啤酒和尿布经常一起买”,调整货架后销售额大幅提升。
3、社会:智慧城市、精准医疗、金融风控……大数据正在重塑整个社会的运行方式。
四、大数据的关键技术





五、大数据与云计算、物联网:三位一体
1、云计算为大数据提供“基础设施”:
大数据的挑战vs.云计算的解决方案
存不下海量数据云存储(对象存储、分布式文件系统)——无限扩容
算不动复杂任务弹性计算——需要时拉起成千上万台虚拟机,算完就释放
资源利用率低虚拟化技术——把物理资源变成弹性池子,按需分配
云计算:大数据中心、paas、saas,虚拟化、多租户,通过网络为用户提供廉价it资源。


2、大数据 & 物联网
物联网是数据的主要“生产者”:
1、智能家居:一个家庭有几十个传感器
2、工业互联网:一个工厂有成千上万个传感器
3、智慧城市:一个城市有百万级监控和感知设备
这些设备7×24小时不间断产生数据,形成物联网的数据洪流。大数据技术负责处理这些数据,从中发现规律、做出预测。
物联网有两个重要功能:识别(条形码、二维码)、感知

3、三者的协同关系
物联网(采集) → 大数据(处理分析) → 云计算(支撑)
一个完整的闭环:
1. 物联网设备采集数据(比如工厂设备传感器)
2. 数据上传到云计算平台存储
3. 大数据技术进行分析处理
4. 分析结果反哺给物联网设备(比如预测设备故障,提前维修)
如果你觉得这篇文章有帮助,欢迎转发给正在学习大数据的同学~