【www.hj8828.com】大数据的特征?

很多年前,业界就在讨论一个话题:如何应对海量数据?特别是一些需要存储大量用户数据的行业,金融、电信、保险等热门行业。用户几乎在一天的每个小时,都有可能产生大量数据,这些行业的存储设备,必须要将期间产生的数据一丝不苟地记录下来。随着数据量的迅速增加,很多行业用户开始想办法变“数”为宝,从海量数据中挖掘有价值的信息。

大数据产生的大背景
不是我不明白,这世界变化快!
2000年还是一张软盘打天下的时代,短短十多年光景,硬盘的存储容量已从
4GB、16GB、32GB迅速攀升到1TB。原来仅有1.44MB的软盘在当时感觉存储容量还是蛮大的,到现在硬盘容量蹿升至1TB了,反而感觉存储空间捉襟见肘,到底是哪里出现了问题?
大数据!一语惊醒梦中人,大数据时代已经悄然来临。随着社交网络的逐渐成熟,移动带宽迅速提升,云计算、物联网应用更加丰富。更多的传感设备、移动终端接入网络,由此产生的数据及增长速度迅速攀升。
一项对531名独立OracIe用户进行的调查发现,90%的企业的数据量在迅速上涨,其中
16%的企业的数据量每年增长率达到
50%或更高。不少企业已经感受到失控的数据增长对绩效造成的冲击,其中
87%的受访者将企业的应用程序性能下降归咎于不断增长的数据量。调研机构IDC在2011年6月的报告则显示,全球数据量在2011年已达到
1.8ZB,在过去5年里增加了5倍。
1.8ZB是什么样的概念呢?如果把所有这些数据都刻录存入普通DVD光盘里,光盘的高度将等同于从地球到月球的一个半来回也就是大约72万英里。相当于每位美国人每分钟写3条
Twitter微博,而且还要不停地写2.6976万年,是不是很恐怖?这还不是最恐怖的,IDC还预测全球数据量大约每两年翻一番,2015年全球数据量将达到近8ZB,到2020年,全球将达到35ZB。
所谓的大数据最直白的理解是海量数据,通常用来形容一个公司创造的大量非结构化和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费很多时间和金钱。调研机构IDC认为,某项技术要想成为大数据技术,必须满足IBM所描述的三个V条件,即多样性(Variety)、大容量(VoIume)和时效性高(VeIocity)。
北京时间2012年3月29日,美国政府宣布了大数据研究和发展倡议(BigDataResearchandDevelopmentInitiative),来推进从大量的、复杂的数据集合中获取知识和洞见的能力。该倡议涉及联邦政府的6个部门(美国国家科学基金、美国国家卫生研究院、美国能源部、美国国防部、美国国防部高级研究计划局、美国地质勘探局)。这些部门承诺将投资总共超过两亿美元,来大力推动和改善与大数据相关的收集、组织和分析工具及技术。此外,这份倡议中还透露了多项正在进行中的联邦政府各部门的大数据计划。
其实最早提出大数据时代已经到来的机构是全球知名咨询公司麦肯锡。麦肯锡在研究报告中指出,数据已经渗透到每一个行业和业务职能领域,逐渐成为重要的生产因素;而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。
麦肯锡的报告发布后,大数据迅速成为了计算机行业争相传诵的热门概念,也引起了金融界的高度关注。随着互联网技术的不断发展,数据本身是资产,这一点在业界已经形成共识。如果说云计算为数据资产提供了保管、访问的场所和渠道,那么如何盘活数据资产,使其为国家治理、企业决策乃至个人生活服务,则是大数据的核心议题,也是云计算内在的灵魂和必然的升级方向。
事实上,全球互联网巨头都已意识到了大数据时代数据的重要意义。包括EMC、惠普、IBM、微软在内的全球IT巨头纷纷通过收购大数据相关厂商来实现技术整合,亦可见其对大数据的重视。
大数据的主要特点
要理解大数据这一概念,首先要从大入手,大是指数据规模,大数据 一 般 是 指

10TB(1TB=1024GB)规模以上的数据量。大数据同过去的海量数据有所区别,其基本特征可以用4个V来总结(Vol-ume、Variety、Value和Veloc-ity),即体量大、多样性、价值密度低、速度快。
第一,数据体量巨大。从 TB级别,跃升到
PB级别。第二,数据类型繁多,如前文提到的网络日志、视频、图片、地理位置信息,等等。第三,价值密度低。以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒。第四,处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器,无一不是数据来源或者承载的方式。
大数据技术是指从各种各样类型的巨量数据中,快速获得有价值信息的技术。解决大数据问题的核心是大数据技术。目前所说的大数据不仅指数据本身的规模,也包括采集数据的工具、平台和数据分析系统。大数据研发目的是发展大数据技术并将其应用到相关领域,通过解决巨量数据处理问题促进其突破性发展。因此,大数据时代带来的挑战不仅体现在如何处理巨量数据从中获取有价值的信息,也体现在如何加强大数据技术研发,抢占时代发展的前沿。
大数据应对的大方略
当下我国大数据研发建设应在以下四个方面着力。
一是建立一套运行机制。大数据建设是一项有序的、动态的、可持续发展的系统工程,必须建立良好的运行机制,以促进建设过程中各个环节的正规有序,实现统合,搞好顶层设计。
二是规范一套建设标准。没有标准就没有系统。应建立面向不同主题、覆盖各个领域、不断动态更新的大数据建设标准,为实现各级各类信息系统的网络互连、信息互通、资源共享奠定基础。
三是搭建一个共享平台。数据只有不断流动和充分共享,才有生命力。应在各专用数据库建设的基础上,通过数据集成,实现各级各类指挥信息系统的数据交换和数据共享。
www.hj8828.com,四是培养一支专业队伍。大数据建设的每个环节都需要依靠专业人员完成,因此,必须培养和造就一支懂指挥、懂技术、懂管理的大数据建设专业队伍。(作者:彭默馨
张璐)

大数据就是无法通过人工的方式来完成数据分析和处理,需要借助工具才能完成相应的数据处理。大数据通常有3个特征:数量,种类,速度。准确的来说可以用大量,多样性,速度快以及价值高和密度低这四大特征来描述大数据。

如果仅仅是海量的结构性数据,那么解决的办法就比较的单一,用户通过购买更多的存储设备,提高存储设备的效率等解决此类问题。然而,当人们发现数据库中的数据可以分为三种类型:结构性数据、非结构性数据以及半结构性数据等复杂情况时,问题似乎就没有那么简单了。

 一、大量性,数据量的级别从GB至、PB、乃至ZB上升,可称为海量,巨量甚至超量。并且以很快的速度在增长。最为典型的就是我们使用的微信,每天都会产生上亿级别的数据,来自不同领域,不同平台的用户都会产生大量的数据,这些数据是在不断的增长的,并且每个时间点都是不一样的,面对这样高速的增加,需要支撑的服务也是有要求的,这就需要有高并发高吞吐量的服务器来支撑。

大数据汹涌来袭

  二、多样性。数据信息由原来的简单数值、字符和文本向网页、图片、视频、图像和位置信息等半结构化和非结构化的数据类型发展,并且有一个通过的特征,信息大多分布在不同的地理位置、不同的存储设备以及不同的数据管理平台。简单的总结为三点:

当类型复杂的数据汹涌袭来,那么对于用户IT系统的冲击又会是另外一种处理方式。很多业内专家和第三方调查机构通过一些市场调查数据发现,大数据时代即将到来。有调查发现,这些复杂数据中有85%的数据属于广泛存在于社交网络、物联网、电子商务等之中的非结构化数据。这些非结构化数据的产生往往伴随着社交网络、移动计算和传感器等新的渠道和技术的不断涌现和应用。

(1)数据来源多,和我们生活密切相关的社交应用像微博、微信、社交网站等等。