您当前的位置：
网站首页>宜阳新闻>政务要闻
来源：
作者：admin
访问量：
发布日期：2018-09-29 08:50:45大数据（Big Data）
　　大数据，官方定义是指那些数据量特别大、数据类别特别复杂的数据集，这种数据集无法用传统的数据库进行存储，管理和处理。大数据的主要特点为数据量大（Volume），数据类别复杂（Variety），数据处理速度快（Velocity）和数据真实性高（Veracity），合起来被称为4V. 　　大数据中的数据量非常巨大，达到了PB级别。而且这庞大的数据之中，不仅仅包括结构化数据（如数字、符号等数据），还包括非结构化数据（如文本、图像、声音、视频等数据）。这使得大数据的存储，管理和处理很难利用传统的关系型数据库去完成。在大数据之中，有价值的信息往往深藏其中。这就需要对大数据的处理速度要非常快，才能短时间之内就能从大量的复杂数据之中获取到有价值的信息。在大数据的大量复杂的数据之中，通常不仅仅包含真实的数据，一些虚假的数据也混杂其中。这就需要在大数据的处理中将虚假的数据剔除，利用真实的数据来分析得出真实的结果。 　　大数据分析（Big Data Analysis）
　　大数据，表面上看就是大量复杂的数据，这些数据本身的价值并不高，但是对这些大量复杂的数据进行分析处理后，却能从中提炼出很有价值的信息。对大数据的分析，主要分为五个方面：可视化分析（Analytic Visualization）、数据挖掘算法（Date Mining Algorithms）、预测性分析能力（Predictive Analytic Capabilities）、语义引擎（Semantic Engines）和数据质量管理（Data Quality Management）。 　　可视化分析是普通消费者常常可以见到的一种大数据分析结果的表现形式，比如说百度制作的“百度地图春节人口迁徙大数据”就是典范的案例之一。可视化分析将大量复杂的数据自动转化成直观形象的图表，使其能够更加容易的被普通消费者所接受和理解。 　　数据挖掘算法是大数据分析的理论核心，其本质是一组根据算法事先定义好的数学公式，将收集到的数据作为参数变量带入其中，从而能够从大量复杂的数据中提取到有价值的信息。著名的“啤酒和尿布”的故事就是数据挖掘算法的经典案例。沃尔玛通过对啤酒和尿布购买数据的分析，挖掘出以前未知的两者间的联系，并利用这种联系，提升了商品的销量。亚马逊的推荐引擎和谷歌的广告系统都大量使用了数据挖掘算法。 　　预测性分析能力是大数据分析最重要的应用领域。从大量复杂的数据中挖掘出规律，建立起科学的事件模型，通过将新的数据带入模型，就可以预测未来的事件走向。预测性分析能力常常被应用在金融分析和科学研究领域，用于股票预测或气象预测等。 　　语义引擎是机器学习的成果之一。过去，计算机对用户输入内容的理解仅仅停留在字符阶段，不能很好的理解输入内容的意思，因此常常不能准确的了解用户的需求。通过对大量复杂的数据进行分析，让计算机从中自我学习，可以使计算机能够尽量精确的了解用户输入内容的意思，从而把握住用户的需求，提供更好的用户体验。苹果的Siri和谷歌的Google Now都采用了语义引擎。 　　数据质量管理是大数据在企业领域的重要应用。为了保证大数据分析结果的准确性，需要将大数据中不真实的数据剔除掉，保留最准确的数据。这就需要建立有效的数据质量管理系统，分析收集到的大量复杂的数据，挑选出真实有效的数据。 　　分布式计算（Distributed Computing）
　　对于如何处理大数据，计算机科学界有两大方向：第一个方向是集中式计算，就是通过不断增加处理器的数量来增强单个计算机的计算能力，从而提高处理数据的速度。第二个方向是分布式计算，就是把一组计算机通过网络相互连接组成分散系统，然后将需要处理的大量数据分散成多个部分，交由分散系统内的计算机组同时计算，最后将这些计算结果合并得到最终的结果。尽管分散系统内的单个计算机的计算能力不强，但是由于每个计算机只计算一部分数据，而且是多台计算机同时计算，所以就分散系统而言，处理数据的速度会远高于单个计算机。 　　过去，分布式计算理论比较复杂，技术实现比较困难，因此在处理大数据方面，集中式计算一直是主流解决方案。IBM的大型机就是集中式计算的典范硬件，很多银行和政府机构都用它处理大数据。不过，对于当时的互联网公司来说，IBM的大型机的价格过于昂贵。因此，互联网公司的把研究方向放在了可以使用在廉价计算机上的分布式计算上。 　　服务器集群（Server Cluster）
　　服务器集群是一种提升服务器整体计算能力的解决方案。它是由互相连接在一起的服务器群所组成的一个并行式或分布式系统。服务器集群中的服务器运行同一个计算任务。因此，从外部看，这群服务器表现为一台虚拟的服务器，对外提供统一的服务。 　　尽管单台服务器的运算能力有限，但是将成百上千的服务器组成服务器集群后，整个系统就具备了强大的运算能力，可以支持大数据分析的运算负荷。Google，Amazon，阿里巴巴的计算中心里的服务器集群都达到了5000台服务器的范围。 　　大数据的技术基础：MapReduce、Google File System和BigTable
　　2003年到2004年间，Google发表了MapReduce、GFS（Google File System）和BigTable三篇技术论文，提出了一套全新的分布式计算理论。 　　MapReduce是分布式计算框架，GFS（Google File System）是分布式文件系统，BigTable是基于Google File System的数据存储系统，这三大组件组成了Google的分布式计算模型。 　　Google的分布式计算模型相比于传统的分布式计算模型有三大优势：首先，它简化了传统的分布式计算理论，降低了技术实现的难度，可以进行实际的应用。其次，它可以应用在廉价的计算设备上，只需增加计算设备的数量就可以提升整体的计算能力，应用成本十分低廉。最后，它被Google应用在Google的计算中心，取得了很好的效果，有了实际应用的证明。 　　后来，各家互联网公司开始利用Google的分布式计算模型搭建自己的分布式计算系统，Google的这三篇论文也就成为了大数据时代的技术核心。 　　主流的三大分布式计算系统：Hadoop，Spark和Storm
　　由于Google没有开源Google分布式计算模型的技术实现，所以其他互联网公司只能根据Google三篇技术论文中的相关原理，搭建自己的分布式计算系统。 Yahoo的工程师Doug Cutting和Mike Cafarella在2005年合作开发了分布式计算系统Hadoop.后来，Hadoop被贡献给了Apache基金会，成为了Apache基金会的开源项目。Doug Cutting也成为Apache基金会的主席，主持Hadoop的开发工作。 　　Hadoop采用MapReduce分布式计算框架，并根据GFS开发了HDFS分布式文件系统，根据BigTable开发了HBase数据存储系统。尽管和Google内部使用的分布式计算系统原理相同，但是Hadoop在运算速度上依然达不到Google论文中的标准。 　　不过，Hadoop的开源特性使其成为分布式计算系统的事实上的国际标准。Yahoo，Facebook，Amazon以及国内的百度，阿里巴巴等众多互联网公司都以Hadoop为基础搭建自己的分布式计算系统。 　　Spark也是Apache基金会的开源项目，它由加州大学伯克利分校的实验室开发，是另外一种重要的分布式计算系统。它在Hadoop的基础上进行了一些架构上的改良。Spark与Hadoop最大的不同点在于，Hadoop使用硬盘来存储数据，而Spark使用内存来存储数据，因此Spark可以提供超过Hadoop100倍的运算速度。但是，由于内存断电后会丢失数据，Spark不能用于处理需要长期保存的数据。 　　Storm是Twitter主推的分布式计算系统，它由BackType团队开发，是Apache基金会的孵化项目。它在Hadoop的基础上提供了实时运算的特性，可以实时的处理大数据流。不同于Hadoop和Spark，Storm不进行数据的收集和存储工作，它直接通过网络实时的接受数据并且实时的处理数据，然后直接通过网络实时的传回结果。 　　Hadoop，Spark和Storm是目前最重要的三大分布式计算系统，Hadoop常用于离线的复杂的大数据处理，Spark常用于离线的快速的大数据处理，而Storm常用于在线的实时的大数据处理。
附件：
扫一扫在手机打开当前页
【返回顶部】【关闭本页】
上一篇：
下一篇：
}

　　五一假期在即，你是否做好了“出行功课”?高速拥堵水平降低、公众出门不出城、公园成踏青赏景热门目的地……在全国疫情防控仍未松懈的时刻，2020年的五一注定与往年不同。若选择在这一假期出行，更应做好充分准备。近日，百度地图发布2020五一假期安全出行大数据，根据往年节假日交通出行大数据，结合今年五一假期特点，为公众提供高速拥堵、市内出游、出行天气等方面的安全出行提示。　　五一前，全国城内出行及跨城迁徙水平进一步上升　　随着国内疫情趋势向好，城市生产生活秩序进一步恢复，近日公众市内出行及跨城迁徙规模也在持续回升。据百度地图迁徙大数据平台显示，2020年4月13日至2020年4月17日，19个一线及新一线城市中，江浙沪地区的城内出行强度较高，苏州、宁波、杭州、上海、南京依次为城内出行强度排行榜的前五名。　　(一线及新一线城市城内出行强度排行 2020年4月13日-2020年4月17日)　　与此同时，全国范围内人口迁徙情况也呈上升趋势。据百度地图迁徙大数据平台2020年4月21日数据显示，全国迁徙规模指数不断增长，正逐步接近去年同期水平。从各个城市迁徙层面来看，全国热门迁入地TOP3为广州、深圳和上海，分别占迁入人口总量的2.18%、1.95%、1.82%。同日，全国热门迁出地TOP3是广州、深圳和成都，分别占迁出人口总量的2.20%、1.95% 和1.89%。　　(全国总体迁徙趋势 截至2020年4月21日)　　五一假期全国高速拥堵水平将低于去年同期，“五一”当天出现拥堵最高峰　　往年五一拥堵的高速和人挤人的景区几乎也成了假期的重要组成部分，而今年的情况预计将有明显不同。据百度地图研判分析，受疫情影响，今年五一假期全国高速拥堵水平将整体低于去年同期。而由于疫情期间高速公路免费，今年五一假期的开始前和结束后，高速公路拥堵水平则预计将整体高于去年同期。　　整体而言，今年五一假期全国高速拥堵水平依然会经历节前上升到节后回落的过程。去程方面，预计在4月30日18:00出现高速去程拥堵小高峰，5月1日10:00出现高速去程拥堵最高峰。返程方面，假期后3天返程陆续增多，预计每日返程拥堵高峰出现在16:00至17:00。　　(2020年五一假期全国高速拥堵趋势预测)　　此外，各地交通枢纽也将在五一迎来客流高峰。据百度地图预测显示，2020年五一假期，预计全国周边路网易堵交通枢纽TOP3分别为石家庄北站、长春南站和郑州火车站。建议公众前往易堵交通枢纽时预留充足时间，避免因拥堵延误行程。　　(2020年五一假期全国周边路网易堵交通枢纽TOP10预测)　　疫情防控仍需谨慎，市内游、周边游和短途游更受欢迎　　对于公众十分关注的五一出游问题，百度地图预测显示，由于部分室内景区仍然关闭以及部分景区采取限流措施，预计居民出游以市内游、周边游和短途游为主。预计全国最受欢迎的旅游景区主要为自然风光类，西湖风景区、太湖鼋头渚风景区和百里杜鹃风景名胜区预计排在前三位，金鸡湖景区、蜈支洲岛、武隆喀斯特旅游区、济南天下第一泉风景区、黄山风景区、丽江古城和西安城墙也入列榜单。　　(2020年五一假期全国最受欢迎景区TOP10预测)　　此外，到较为空旷、人流密集度较低的公园踏春赏景，将成为很多人市内游的主流选择。预计2020年五一假期全国最受欢迎的公园TOP3分别为杭州千岛湖国家森林公园、北京元大都城垣遗址公园和南京玄武湖公园。而随着客流量上涨，部分公园周边道路将出现拥堵。其中上海东滩湿地公园、杭州太子湾公园和杭州花圃预计成为易堵公园TOP3。　　(2020年五一假期全国最受欢迎公园TOP10预测)　　(2020年五一假期全国周边路网易堵公园TOP10预测)　　在天气方面，根据往年经验，五一假期全国冷空气影响已经基本消退，大部天气较为温暖，但南方阴雨依旧频繁，建议大家徜徉在“烟雨江南”的时候，也要及时关注天气变化，记得随身携带雨具。　　五一假期，疫情防控依然不能松懈。在出门进行户外活动时，务必记得佩戴口罩做好防护。在外出前，可通过百度地图提前了解各地出行政策，并提前确认目的地营业状态，合理规划出行方式及避堵路线。责任编辑：ZER新闻评论';
}
}
return dom;
},
list:function(option)//拼接html每条代码
{
var templateString = "";
templateString= '}