www.hj8828.com 1

www.hj8828.com面对大数据处理挑战需提升服务器性能

伴随着智能手机、视频、社交网络、微博等新型沟通工具源源不断地产生海量的非结构性数据,企业不得不面对大数据爆炸带来的难题。据IDC预测,未来十年全球大数据将增加50倍。而仅在2011年,全球就产生了1.8ZB(也即1.8万亿GB)的大数据。毫无疑问,大数据将挑战企业的存储架构及数据中心基础设施等,也会引发云计算、数据仓库、数据挖掘、商业智能等应用的连锁反应。

据IDC预测,未来十年全球大数据将增加50倍。而仅在2011年,全球就产生了1.8ZB(也即1.8万亿GB)的大数据。毫无疑问,大数据将挑战企业的存储架构及数据中心基础设施等,也会引发云计算、数据仓库、数据挖掘、商业智能等应用的连锁反应。

www.hj8828.com 1

大数据引发三重挑战

大数据引发三重挑战

云数据库在企业应用中的优势

具体到企业而言,其面临的最直接的挑战就是企业的基础架构是否适应大数据管理和分析的需要,尤其是一旦要从大数据中查找或者分析出有价值的信息,那大数据的处理效率就成为了关键。而即使是传统的结构化数据,其对处理速度的要求也越来越高。以银行业为例,伴随着银行网点、ATM机的多点布局,再加上越来越多的新兴业务转移到互联网上,使得银行不得不面对无时无刻无处不在的数据处理响应需求。

具体到企业而言,其面临的最直接的挑战就是企业的基础架构是否适应大数据管理和分析的需要,尤其是一旦要从大数据中查找或者分析出有价值的信息,那大数据的处理效率就成为了关键。而即使是传统的结构化数据,其对处理速度的要求也越来越高。以银行业为例,伴随着银行网点、ATM机的多点布局,再加上越来越多的新兴业务转移到互联网上,使得银行不得不面对无时无刻无处不在的数据处理响应需求。

云计算是有效整合计算资源的新型业务模式,它是基础的服务器虚拟化技术和基础架构即服务(IaaS,Infrastructure
as a
Service)两者的结合。本质是使某一个或多个数据中心的计算资源虚拟化并进行整合封装,以租用资源的方式向上层提供各种方式的服务。简单来说,就是将位于不同地点的计算资源在后台整合起来,统一为某一需求或应用服务。

影响数据处理速度的因素很多,归结起来主要有计算、存储和网络三大方面的因素。计算依靠服务器来实现,其CPU的主频、内存的容量和I/O带宽,都会影响到运算速度。尤其是服务器整体表现出来的性能,将会是影响大数据处理的关键因素。此外,有些企业喜欢采用x86集群或者分布式计算来对大数据进行处理,但是各个计算节点间的调用和处理器使用效率,亦成为影响数据处理快慢的因素。

影响数据处理速度的因素很多,归结起来主要有计算、存储和网络三大方面的因素。计算依靠服务器来实现,其CPU的主频、内存的容量和I/O带宽,都会影响到运算速度。尤其是服务器整体表现出来的性能,将会是影响大数据处理的关键因素。此外,有些企业喜欢采用x86集群或者分布式计算来对大数据进行处理,但是各个计算节点间的调用和处理器使用效率,亦成为影响数据处理快慢的因素。

云计算的优势主要体现在,按需采用“即用即付费”的方式分配计算、存储和带宽资源,使资源实现合理分配与利用;动态扩展功能和部署新服务的高可扩展性,决定云计算拥有十分广阔的应用前景;各类资源的高利用率等。

存储方面,传统的存储系统已经成为数据库处理的瓶颈,这些制约因素包括存储系统到数据库的带宽限制、存储阵列的内部瓶颈等。数据带宽已经严重地限制了数据库的性能,而随机I/O的瓶颈限制了OLTP(联机事务处理)应用的性能。网络带宽涵盖了服务器和存储系统间的带宽、终端和主机间的带宽。假如采用集群或分布式系统,还需要考虑节点之间的带宽。

存储方面,传统的存储系统已经成为数据库处理的瓶颈,这些制约因素包括存储系统到数据库的带宽限制、存储阵列的内部瓶颈等。数据带宽已经严重地限制了数据库的性能,而随机I/O的瓶颈限制了OLTP(联机事务处理)应用的性能。网络带宽涵盖了服务器和存储系统间的带宽、终端和主机间的带宽。假如采用集群或分布式系统,还需要考虑节点之间的带宽。

1.云数据库概述

大型数据库开启效率之旅

大型数据库开启效率之旅

云数据库,是一个面向云计算的数据库资源管理平台,旨在通过云计算的方式整合现有的大量位于Internet后台的数据库资源,为云计算应用的基础结构级别的数据库资源访问、发现、整合等多方面问题提供通用的解决方案。

除了上述三个因素外,许多企业基于历史发展的原因,还会创建多个数据库。它们经常采用不同的平台,使用不同的软件,造成了数据处理和管理效率的低下。

除了上述三个因素外,许多企业基于历史发展的原因,还会创建多个数据库。它们经常采用不同的平台,使用不同的软件,造成了数据处理和管理效率的低下。

2.云数据库的优势

这些数据库通常包含与其它数据库相重复的数据。一个数据库一般不会将另一个数据库作为数据源。这样就会消耗额外的磁盘存储,增加重复数据迁移所需要的网络带宽,也会因从多个数据存储获取相同数据的需要而额外增加服务器CPU处理的负荷。

这些数据库通常包含与其它数据库相重复的数据。一个数据库一般不会将另一个数据库作为数据源。这样就会消耗额外的磁盘存储,增加重复数据迁移所需要的网络带宽,也会因从多个数据存储获取相同数据的需要而额外增加服务器CPU处理的负荷。

从云数据库的实现原理来看,云计算采用分布式存储的方式来存储数据,采用冗余存储的方式来保证存储数据的可靠性。另外,云计算系统需要同时满足大量用户的需求,并行地为大量用户提供服务。因此,云计算的数据存储技术必须拥有高吞吐和高传输的特点。数据管理技术必须能够高效的管理大数据集,同时必须在规模巨大的数据中找到特定的数据。云计算的特点是对海量的数据存储、读取后进行大量的分析,数据的读操作频率远大于数据的更新频率,云中的数据管理是一种读优化的数据管理。同时在云后台,云安全的各种措施与应用对于保障云数据库的安全性方面提供了可靠保证。

同时,假如企业拥有多个数据库的话,那么他们通常会将它们部署在不同的平台上,针对不同的硬件平台采用不同的维护方法。这样需要维护不同品牌和模型的服务器数量越多,成本就越高。如果是关键任务服务器,那么提供冗余性的硬件就会重复,这也会增加额外的成本。

同时,假如企业拥有多个数据库的话,那么他们通常会将它们部署在不同的平台上,针对不同的硬件平台采用不同的维护方法。这样需要维护不同品牌和模型的服务器数量越多,成本就越高。如果是关键任务服务器,那么提供冗余性的硬件就会重复,这也会增加额外的成本。

在应用层面来看,云计算较目前比较常用的关系数据库在性能上存在很大的优势。首先,云数据库本质上大多是非事务的,并且牺牲了一些高级查询能力以换取更好的性能。另一方面,云数据库通常又是非关系的,因此,云数据库的使用上忽略了许多的规则。例如JOIN操作,这一操作在当数据分散到不同机器上的时候会占用较长时间,因此不适合云计算分布式的底层设计。