手机网站
手机网站
从大数据结构的角度全面分析大数据技术和算法，探讨大数据的发展趋势，全面介绍大数据相关技术、算法和应用场景，有助于读者培养大数据的技术选择和系统结构能力。
对大数据相关技术和算法进行了系统的分析和描述，不仅整理了大数据的技术分类，还融合了基础设施支持、大数据采集、大数据存储、大数据处理、大数据展示和相互作用等大数据行业的最新技术进展和大互联网公司的大数据结构实践，为读者提供大数据全能
主要内容:
大数据技术概述和发展历史:详细介绍了大数据技术的起源和近年来的发展趋势。
大数据技术分类:包括基础架构支持、大数据收集、大数据存储、大数据处理、大数据展示和对话。
大数据行业最新技术进展:谷歌新三马车、Spark系统-计算平台、深度学习、可穿戴计算等。
大数据的发展趋势:向实时化、普适化、智力方向发展。
大型互联网公司的大数据结构实践:包括腾讯、淘宝、Facebook、Twitter等。
目录简单介绍一下
大数据的行业价值
大数据在过去几年得到了全社会的关注和迅速发展，大多数行业都能看到大数据的应用影响。 大数据的应用范围越来越广，应用的行业也越来越多，我们几乎每天都能看到大数据——新的应用，大数据的价值也到处体现。 大数据现在的许多应用领域主要是因特网、金融、医疗、教育、政府等行业，应用环境也不同。 下面介绍一些大数据的典型应用场景。
1 .分析用户行为，建立数据模型，进行预测
将大数据应用于用户行为分析和预测是最重要的。 企业通过收集并分析用户的社交网站的行为数据、浏览器的日志信息、传感器的数据等，可以得到用户的行为习惯，通过构筑数据模型，可以预测用户的下一步行走。
用户行为分析中最典型的案例是沃尔玛尿不湿和啤酒并排的销售战略。 沃尔玛对颐和客人的购物习惯进行了相关规律分析，找到了客人经常购买的商品。 沃尔玛利用数据挖掘工具分析了存储在数据仓库网络中的所有商店的交易数据，得出了随着尿不湿购买最多的商品是啤酒的结论。 沃尔玛在所有的店铺都排列了尿不湿和啤酒，结果尿不湿和啤酒的销售额都增长了。
另一个比较例是Target妊娠预测的情况。 他们可以分析商品数据库中数万种商品和女性顾客的购买记录，发掘与妊娠高度相关的25项商品，制作“妊娠预测”指数，准确预测顾客何时想要孩子，推测孕妇的预产日期等，率先向女性推荐相关商品。
在用户行为预测方面也有很多成功事例。 例如，美国统计学家net silver建立了统计模型，成功地预测了2012年美国总选举的结果。 根据他的预测，奥巴马总统有431种胜利渠道，相比之下罗姆尼有76种，奥巴马总统继任的机会为86.3%。 在其他行业，电信可以通过大数据预测用户流失，汽车保险行业可以通过相应的手段留住客户，如了解客户的驾驶水平和需求，向客户推荐适当的保险等。 大数据并不表明现代企业有更好的运营价值。
2、提高企业资产管理，优化企业业务流程
大型数据还可以帮助企业改进资产管理并优化业务流程。 企业可以利用实时数据实现预测性维护，减少故障，推进产品和服务的开发。 比如在交通和物流领域，大数据的最广泛应用是供应链和配送路线的优化。 传感器数据与社交媒体、网络检索、天气预报数据相结合，可以提取出有价值的信息。 利用地理定位和射频识别跟踪货物和运输车，利用实时交通线路数据制定更优化的线路。
UPS快递有效利用了地理定位数据。 总部在车辆晚点时跟踪车辆位置，为了能够预防引擎故障，那辆卡车上装载了传感器，无线适配器和GPS。 同时，这些设备也便于公司监督、管理人员的优化。 根据过去的行驶经验总结了UPS为卡车定制的最佳行驶路径。 2011年，UPS司机跑了将近4828万公里的路程。
DHL是世界着名的邮政和物流公司。 这是传统行业的企业，但在移动互联网和大数据浪潮中并没有落后。 在瑞典，将推出以大众包模式运送的移动应用程序MyWays，使得人们能够通过移动应用程序将其移动路线附近的包裹递送到并获得报酬。 DHL还将大规模数据应用于物流风险的管理，为顾客提供更好的服务。
3 .大数据服务智慧城市、智慧交通
智慧城市是我国城市化改革建设的重点，大数据技术是实现智慧城市的核心支撑技术。 智慧城市运用信息和通信技术手段感知、分析、整合城市运行核心系统的重要信息，以智能回应各种需求，包括政务、民生、社会化管理、企业发展。
其本质是利用先进的信息技术，实现城市的智能管理和运行，并为城市中的人创造更好的生活，促进城市和谐与可持续发展。 目前国内外每天都出现新的大数据智慧城市应用实例。 我们会选出一些有代表性的案例。
随着智能电网的建议，智能仪表非常普及，目前全国至少使用了1亿个智能仪表，不仅普通的电力需求者，电力公司也收集了大量的电力数据。 这些大量数据在日积累过程中给电信息采集系统带来积累和计算压力，而且随着业务的深化，智能电能表多次进化，采集件数成倍，采集频率也从1天1次上升到15分钟1次( 96次)。
电力用户超过2000万户的省份公司，每天的数据入库量约为20亿次，除了要求实时统计分析外，传统系统已经不能再支持基于传统关系型数据库的结构了。 在这种情况下，该省公司根据清华大数据处理中心基于Hadoop的HBase解决方案进行电气数据存储和结果查询，并利用Hive进行相关统计分析。 经过业务整理，选择了3个计算场景和1个查询场景进行了尝试。 比较实际业务数据的计算，3个计算场景比传统系统快10~20倍，查询场景的响应时间缩短了2个等级，整体集群的硬件成本只是传统系统的1/6，而且具有良好的向外扩展能力。
法国里昂市和IBM的研究者合作开发了可以缓和道路堵塞的系统方案。 IBM为里昂而开发的系统名称是决策支持系统优化器，可以根据实时交通状况报告来检测和预测交通堵塞。 交通人员发现某处发生堵塞时，可调整信号灯以最高效率运行车流。 这个系统帮助救护车早点到达医院等，对突发事件也有帮助。 并且，随着运转时间的积累，该系统也可以“学习”过去成功的处理方案，用于将来的预测。
SpotHero是一种预留停车位的移动应用程序，其网站和移动应用程序可以很好地解决司机找不到停车位的问题。 SpotHero可以实时跟踪停车空间的数据变化，开启SpotHero后，显示附近可用的停车空间的总线和价格，提供导航服务，可以预付费占领未使用的停车空间。 现在，可以实时监视华盛顿、纽约、芝加哥、巴尔的摩、波士顿、密尔沃基、纽约7个城市的停车场。
共有8个典型的应用场景，上面介绍了3个应用场景。
大型数据基础支持-数据中心和云计算
大数据技术改变了当前计算机的运行模式，改变了世界。 几乎可以处理任何类型的大量数据，包括微博、文章、电子邮件、文档、音频、视频和其他形式的数据。 工作速度非常快，实时。 为大型数据提供核心基础是云计算平台，负责管理、调度和监控数据中心的大型计算、存储和网络资源以及这些资源。 云计算使用户能够根据业务需求获得适当的计算能力、存储空间和信息服务，并将计算任务分配给由大量服务器组成的资源池。 云计算及其技术提供了低成本的计算和存储容量，云计算的分布式体系结构能够充分支持大规模数据存储和处理需求。 这种低成本硬件+低成本软件+低成本运输维度更加经济实用，为大型数据处理和利用提供强有力的支持。
本章重点介绍了数据中心和云计算概念、大数据和云计算关系、云资源调度和管理以及开放式云平台OpenStack。 云存储系统
云存储不是通过设备，而是通过网络为用户提供服务，特别是通过网络存储和访问数据。 云计算提供计算能力，云存储相应地提供存储能力。
云存储集中于为用户提供基于网络的在线存储服务，从而降低了用户使用存储的成本。 用户可以根据需要向云存储供应商购买近乎无限大的存储空间和企业级服务质量，而无需考虑复杂的基础技术细节，如存储容量、存储设备类型、数据存储位置、数据完整性保护和灾难恢复。 本章主要介绍云存储系统，从云存储系统的基本概念出发，介绍与云存储系统相关的关键技术，并对云存储系统进行分类说明。
Hadoop和MapReduce
本章简要介绍Hadoop的分布式生态系统的各个组成部分，首先从Hadoop的基础文件系统HDFS开始，介绍Hadoop的结构化存储系统HBase，重点说明Hadoop的任务调度框架MapReduce的原理 由于篇幅有限，6.3节简要介绍了Hadoop生态圈几个重要组成部分的功能。
最后介绍Hadoop平台的应用实例。
Storm流计算系统
Hadoop等大型数据解决方案解决了当今大型数据处理需求，如web搜索、机器翻译、分布式计算、广告分发等，但在要求实时性的数据处理系统中，Hadoop是无能为力的。 对实时交互处理的需求产生大量实时计算系统，由于数据流的特征，我们可以将其称为流计算系统。 本部分主要介绍流计算的基本概念，并以典型的流计算系统Storm为例详细分析流计算系统的特性。
SQL、NoSQL .和NewSQL
腾讯大数据平台整体结构淘宝背景介绍
淘宝网( taobao.com )目前拥有约5亿注册用户，每天有超过6000万固定访问者的同时，每天在线商品数超过8亿件，每分钟销售4.8万件商品。 截止到2011年底，淘宝网每日交易高峰达到43.8亿元，创造了270.8万人直接、充分的就业机会。 随着淘宝网规模的扩大和用户数量的增加，淘宝网也从单一的C2C网络市场转变为包括C2C、联购、流通、拍卖等多种电子商务模式的综合零售圈。 目前已成为全球电子商务平台之一，在其框架中面临着诸多高性能问题。
总体架构
淘宝数据平台的结构图如图所示。
基于云台的淘宝数据平台图后面有Facebook、Twitter、Netflix等企业的大数据架构，篇幅太长，在此不予介绍。 因此，需要这个“框架大数据―大数据技术和算法分析”的合作伙伴，可以转发这篇文章关注小篇，私信小篇“学习”获得方法！
能成功的人肯定不是偶然的。 成功的话，很多伙伴会和你交往，交往的人变多了之后，你的知识面也会扩大。
不是为了读书而读书，而是要慢慢咀嚼，体会知识带来的乐趣。
我们可以更成功！
