www.hj8828.com 1

大数目到底是何许?一句话令你认知并读懂大额

很多年前,业界就在讨论一个话题:如何应对海量数据?特别是一些需要存储大量用户数据的行业,金融、电信、保险等热门行业。用户几乎在一天的每个小时,都有可能产生大量数据,这些行业的存储设备,必须要将期间产生的数据一丝不苟地记录下来。随着数据量的迅速增加,很多行业用户开始想办法变“数”为宝,从海量数据中挖掘有价值的信息。

本文由好程序员特训营编辑

什么是大数据,很多的朋友可能对大数据不是很了解,迫切需要了解大数据,下面新霸哥将用一句话来让你认识并读懂大数据,大数据就是无法通过人工,在合理时间内达到管理处理并整理成为人类所能解读的信息。

如果仅仅是海量的结构性数据,那么解决的办法就比较的单一,用户通过购买更多的存储设备,提高存储设备的效率等解决此类问题。然而,当人们发现数据库中的数据可以分为三种类型:结构性数据、非结构性数据以及半结构性数据等复杂情况时,问题似乎就没有那么简单了。

|作者:好程序员

大数据特征

大数据汹涌来袭

www.hj8828.com 1

大数据就是无法通过人工的方式来完成数据分析和处理,需要借助工具才能完成相应的数据处理。大数据通常有3个特征:数量,种类,速度。准确的来说可以用大量,多样性,速度快以及价值高和密度低这四大特征来描述大数据。

当类型复杂的数据汹涌袭来,那么对于用户IT系统的冲击又会是另外一种处理方式。很多业内专家和第三方调查机构通过一些市场调查数据发现,大数据时代即将到来。有调查发现,这些复杂数据中有85%的数据属于广泛存在于社交网络、物联网、电子商务等之中的非结构化数据。这些非结构化数据的产生往往伴随着社交网络、移动计算和传感器等新的渠道和技术的不断涌现和应用。

随着云时代的来临,大数据(Bigdata)也吸引了越来越多的关注。著云台的分析师团队认为,大数据(Bigdata)通常用来形容一个公司创造的大量非结构化和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

一、大量性,数据量的级别从GB至、PB、乃至ZB上升,可称为海量,巨量甚至超量。并且以很快的速度在增长。最为典型的就是我们使用的微信,每天都会产生上亿级别的数据,来自不同领域,不同平台的用户都会产生大量的数据,这些数据是在不断的增长的,并且每个时间点都是不一样的,面对这样高速的增加,需要支撑的服务也是有要求的,这就需要有高并发高吞吐量的服务器来支撑。

如今大数据的概念也存在着很多的炒作和大量的不确定性。为此,编者详细向一些业内专家详细了解有关方面的问题,请他们谈一谈,大数据是什么和不是什么,以及如何应对大数据等问题,将系列文章的形式与网友见面。

“大数据”在互联网行业指的是这样一种现象:互联网公司在日常运营中生成、累积的用户网络行为数据。这些数据的规模是如此庞大,以至于不能用G或T来衡量。

二、多样性。数据信息由原来的简单数值、字符和文本向网页、图片、视频、图像和位置信息等半结构化和非结构化的数据类型发展,并且有一个通过的特征,信息大多分布在不同的地理位置、不同的存储设备以及不同的数据管理平台。简单的总结为三点:(1)数据来源多,和我们生活密切相关的社交应用像微博、微信、社交网站等等。(2)数据类型繁多,来自同一个平台可能就有不同的数据类型,图片,视频等等。(3)数据之间的关联性强,交互频繁,大型电子商务网站和社交网络中,一些用户的点击行为在一定程度上反映了该用户潜在的兴趣爱好和需求,链接之间的关联性是很强的。

有人将多TB数据集也称作”大数据”。据市场研究公司IDC统计,数据使用预计将增长44倍,全球数据使用量将达到大约35.2ZB1ZB

10亿TB)。然而,单个数据集的文件尺寸也将增加,导致对更大处理能力的需求以便分析和理解这些数据集。

EMC曾经表示,它的1000多个客户在其阵列中使用1PB千兆兆)以上的数据数据,这个数字到2020年将增长到10万。一些客户在一两年内还将开始使用数千倍多的数据,1EB1艾字节
= 10亿GB)或者更多的数据。

对大企业而言,大数据的兴起部分是因为计算能力可用更低的成本获得,且各类系统如今已能够执行多任务处理。其次,内存的成本也在直线下降,企业可以在内存中处理比以往更多的数据,另外是把计算机聚合成服务器集群越来越简单。IDC认为,这三大因素的结合便催生了大数据。同时,IDC还表示,某项技术要想成为大数据技术,首先必须是成本可承受的,其次是必须满足IBM所描述的三个”V”判据中的两个:多样性(variety)、体量(volume)和速度(velocity)。

多样性是指,数据应包含结构化的和非结构化的数据。

体量是指聚合在一起供分析的数据量必须是非常庞大的。

而速度则是指数据处理的速度必须很快。

大数据”并非总是说有数百个TB才算得上。根据实际使用情况,有时候数百个GB的数据也可称为大数据,这主要要看它的第三个维度,也就是速度或者时间维度。

Garter表示,全球信息量正在以59%以上的年增长率增长,而量是在管理数据、业务方面的显著挑战,IT领袖必须侧重在信息量、种类和速度上。

www.hj8828.com,量:企业系统内部的数据量的增加是由交易量、其它传统数据类型和新的数据类型引发的。过多的量是一个存储的问题,但过多的数据也是一个大量分析的问题。

种类:IT领袖在将大量的交易信息转化为决策上一直存在困扰 –
现在有更多类型的信息需要分析 –
主要来自社交媒体和移动情景感知)。种类包括表格数据数据库)、分层数据、文件、电子邮件、计量数据、视频、静态图像、音频、股票行情数据、金融交易和其它更多种类。

速度:这涉及到数据流、结构化记录的创建,以及访问和交付的可用性。速度意味着正在被生成的数据有多快和数据必须被多快地处理以满足需求。

虽然大数据是一个重大问题,Gartner分析师表示,真正的问题是让大数据更有意义,在大数据里面寻找模式帮助组织机构做出更好的商业决策。

大数据到底有多大?一组名为“互联网上一天”的数据告诉我们,一天之中,互联网产生的全部内容可以刻满1.68亿张DVD;发出的邮件有2940亿封之多(相当于美国两年的纸质信件数量);发出的社区帖子达200万个(相当于《时代》杂志770年的文字量);卖出的手机为37.8万台,高于全球每天出生的婴儿数量37.1万……

三、快速化,大数据多数据的处理也是有一定的要求的,有的应用要求对数据的处理做到实时、快速。比较常见的就是我们最好的1元购,每次都有来自不同区域的海量数据,要在一定的时间内完成数据的计算和分析,这就需要将分布式计算、并行计算等等深度的结合才能满足需求的。

截止到2012年,数据量已经从TB(1024GB=1TB)级别跃升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别。国际数据公司(IDC)的研究结果表明,2008年全球产生的数据量为0.49ZB,2009年的数据量为0.8ZB,2010年增长为1.2ZB,2011年的数量更是高达1.82ZB,相当于全球每人产生200GB以上的数据。而到2012年为止,人类生产的所有印刷材料的数据量是200PB,全人类历史上说过的所有话的数据量大约是5EB。IBM的研究称,整个人类文明所获得的全部数据中,有90%是过去两年内产生的。而到了2020年,全世界所产生的数据规模将达到今天的44倍。

四、价值高密度低,我们经常会看到很多虚假的信息,通常情况下正在有价值的信息还是很分散的、密度非常低的,要在海量中寻求有价值的信息还是很有技术要求的。