www.hj8828.com 31

www.hj8828.com互联网时代的网络自动化运维

互联网上有两大主要元素”内容和眼球”,”内容”是互联网公司(或称ICP)提供的网络服务,如网页、游戏、即时通信等,”眼球”则是借指海量的互联网用户。互联网公司的内容往往分布在多个或大或小的IDC中,越来越多的”眼球”在盯着ICP所提供的内容,互联网公司进行内容存储的基础设施也呈现出了爆发式的增长。为了保障对内容的访问体验,互联网公司需要在不同的运营商、不同的省份/城市批量部署业务服务器用以对外提供服务,并为业务模块间的通信建立IDC内部网络、城域网和广域网,同时通过自建CDN或CDN专业服务公司对服务盲点进行覆盖。因此随着业务的增长,运维部门也显得愈发重要。他们经过这些年的积累,逐步形成了高效的运维体系。本文将结合国内互联网公司的经验,重点针对IT基础设施的新一代自动化运维体系展开讨论。

互联网上有两大主要元素”内容和眼球”,”内容”是互联网公司(或称ICP)提供的网络服务,如网页、游戏、即时通信等,”眼球”则是借指海量的互联网用户。互联网公司的内容往往分布在多个或大或小的IDC中,越来越多的”眼球”在盯着ICP所提供的内容,互联网公司进行内容存储的基础设施也呈现出了爆发式的增长。为了保障对内容的访问体验,互联网公司需要在不同的运营商、不同的省份/城市批量部署业务服务器用以对外提供服务,并为业务模块间的通信建立IDC内部网络、城域网和广域网,同时通过自建CDN或CDN专业服务公司对服务盲点进行覆盖。因此随着业务的增长,运维部门也显得愈发重要。他们经过这些年的积累,逐步形成了高效的运维体系。本文将结合国内互联网公司的经验,重点针对IT基础设施的新一代自动化运维体系展开讨论。

目录

  1. CMDB概述
  2. iTop系统概述
  3. iTop功能操作
    3.1. 配置管理
    3.2. 变更管理
    3.3. 事件管理
    3.4. 问题管理
    3.5. 服务管理

一、运维的三个阶段

一、运维的三个阶段

1. CMDB概述

随着信息技术的发展,
IT系统已经成为企业业务发展不可或缺的支撑基础。IT运维管理系统是以CMDB为核心,以网络、服务器、应用的监控为基础,操作行为审计为安全准则,上层整合了符合ITIL管理思想的服务台、事件管理、问题管理、变更管理等流程,从而使IT管理从日常的运营监控、统计分析、发现问题、解决问题向流程化管理转型。

CMDB(Configuration Management Database,
配置管理数据库),提供配置管理数据库的功能,衔接监控与运维管理,是实现运维管理的核心数据支撑环境。

CMDB包含了每一个配置项(Configuration Item,
简称:CI)全部管理细节以及配置项之间的重要关联细节的数据库。CMDB把零散在各处的不规范的资源信息,通过采集和关联的方式,集中在一个整体规划的信息库中,打破了管理模式之间的壁垒,通过识别、控制、维护、审查、展示IT资源,为技术监管、管理流程和业务服务提供准确、统一的配置数据支撑,帮助信息部门有效管控不断变化的IT环境和服务。

CMDB提供动态的配置模型构建,数据模型基于面向对象的数据建模,实现配置项分类、属性继承、关系建模、字典维护等,用户可以根据实际管理需求进行灵活扩展,完成IT基础框架的构建。

根据企业IT资源,我们对CMDB标准模型进行分类,如下图所示。

www.hj8828.com 1

CMDB标准模型分类

CMDB系统可分为:

  1. 面向基础设施的CMDB
  2. 面向业务应用的CMDB

www.hj8828.com 2

CMDB系统分层

● 第一个阶段:人人皆运维

● 第一个阶段:人人皆运维

2. iTop系统概述

iTop,是IT运营门户(IT Operation
Portal)的简称,它是一个开源web应用程序,适用于IT服务的日常运维管理。它基于ITIL最佳实践,适应符合ITIL最佳实践的流程,同时它又很灵活,可以适应一般的IT服务管理流程。

iTop的核心是CMDB,即配置管理数据库(Configuration Management Data
Base)。CMDB是iTop最早开发的部分。以CMDB为中心的设计理念,需要保证CMDB的准确性和及时更新,服务人员和客户均使用iTop来解决运维管理中的各类问题将会对这一点有帮助。此外,CMDB与其它工具,如监控系统、报表工具、库存管理系统等整合得越多,CMDB的信息就会越丰富。CMDB快速实施,与其它系统相比iTop有丰富的CMDB接口,支持多种方式的数据导入。

iTop具备方便、快捷的二次开发接口,仅需要简单的数据库表操作知识及XML编写知识即可完成表单的二次开发定制。

iTop的功能包括:

  • 记录IT配置项(如服务器、应用程序、网络设备、虚拟机、联系人、位置、VLAN等)及其各个配置项之间的关联关系;
  • 管理事件、用户请求和变更审批与执行等;
  • 归档IT服务及与外部供应商的合约,包括SLA(服务级别协议);
  • 手动或脚本方式导出所有信息;
  • 批量导入或同步/联调所有来自外部系统的数据;

iTop角色包括:

  • 超级管理员(Administrator);
  • 变更主管(Change Supervisor);
  • 变更审批经理(Change Approver);
  • 变更执行人员(Change Implementor);
  • 文档作者(Document author);
  • 服务经理(Service Manager);
  • 桌面支持(Service Desk Agent);
  • 现场工程师(Support Agent);
  • 配置管理员(Configuration Manager);
  • 门户增强用户(Portal power user);
  • 门户用户(Portal user);
  • 问题经理(Problem Manager);

iTop基于Apache/IIS、MySQL和PHP,它可以在任何支持这些程序的操作系统上运行,如Windows、Linux(Debian、Ubuntu和RedHat)、Solaris和MacOS
X等。此外,由于iTop是基于B/S架构的应用程序,不需要在用户电脑上部署任何客户端,只需要一个简单的Web浏览器(IE
8+、Firefox 3.5+、Chrome或Safari 5+)即可使用。

在早期,一个公司的IT基础设施尚未达到一定的规模(通常在几台到几十台机器的规模),不一定有专门的运维人员或部门,运维的工作分担在各类岗位中。研发人员拥有服务器权限,自己维护和管理线上代码及业务。

在早期,一个公司的IT基础设施尚未达到一定的规模(通常在几台到几十台机器的规模),不一定有专门的运维人员或部门,运维的工作分担在各类岗位中。研发人员拥有服务器权限,自己维护和管理线上代码及业务。

3. iTop功能操作

● 第二个阶段:纵向自动化

● 第二个阶段:纵向自动化

3.1 配置管理

随着业务量的增长,IT基础设施发展到了另外一个量级(通常在上百台至几千台机器的规模),开始有专门的运维人员,从事日常的安装维护工作,扮演”救火队员”,收告警,有运维规范,但运维主要还是为研发提供后置服务。

随着业务量的增长,IT基础设施发展到了另外一个量级(通常在上百台至几千台机器的规模),开始有专门的运维人员,从事日常的安装维护工作,扮演”救火队员”,收告警,有运维规范,但运维主要还是为研发提供后置服务。

3.1.1 概述

配置管理提供了一个虚拟数据库,用来记录企业中的基础设施信息以及它们之间的关联关系,并提供科学化的流程来负责核实IT基础设施中实施的变更和配置项之间的关系记录是否正确、监控IT组件的运行状态,以确保配置管理数据库(CMDB)能够准确地反映目前IT运行环境配置项的实际状况。

从IT管理的角度上来看,对IT资产配置项(CI)的修改不应直接进行,而必须由变更管理流程发起,因此配置管理与变更管理是紧密结合的,变更管理流程引发和控制对配置项的修改和变更;相反,配置管理向变更管理提供详细的配置信息,以帮助变更发起人分析评估变更对IT运营所带来的影响。

iTop应用系统提供了一个完备的CMDB管理应用,使得IT运维人员可以管理其IT资产的配置项信息。它通过识别、控制、维护和验证现有的所有配置项(CIs)的版本,提供一个IT基础设施的逻辑模型。由于CMDB会记录配置项之间的关系,因此IT运维工程师们基于其关联关系对基础设施与服务之间的依赖关系进行分析。

www.hj8828.com 3

iTop系统配置管理

所有配置项(CI)都在iTop系统的数据模型中得到展现,并且可以根据企业本身的应用配置需求进行自定义。针对CI的所有变更可以通过变更时间、变更的属性值(旧值和新值)以及变更人员来对配置变更进行跟踪。

这个阶段已经开始逐步向流程化处理进行过渡,运维部门开始输出常见问题处理的清单,有了自己业务范围适用的自动化脚本,开始利用开源软件的拼装完成大部分的工作。

这个阶段已经开始逐步向流程化处理进行过渡,运维部门开始输出常见问题处理的清单,有了自己业务范围适用的自动化脚本,开始利用开源软件的拼装完成大部分的工作。

3.1.2 配置项管理

iTop系统提供了配置项管理功能,方便IT运维工程师可以通过配置项类型维护相关的配置项信息。

iTop系统维护复杂的IT资产关联关系,
配置项之间的关系存在相互的关联,如下图所示。

www.hj8828.com 4

配置项关联

因此,在实际的CMDB配置数据库管理过程中,
一般按照硬件基础设施到软件基础设施的配置管理过程进行配置管理的。

注:
以下配置说明过程可能与实际的系统有所差别(如后期系统定制),配置时以实际的系统操作为准。

具体表现为:各产品线有自己编写的脚本,利用如SVN+puppet或chef来完成服务器的上线和配置管理等工作。

具体表现为:各产品线有自己编写的脚本,利用如SVN+puppet或chef来完成服务器的上线和配置管理等工作。

3.1.2.1 准备工作
  1. 做好基础配置信息,IT资产的配置项依赖于基础的配置信息,
    基础的配置信息包括组织、联系人、品牌、型号、OS系统及版本、用户角色、机柜、机位、电源等;

    www.hj8828.com 5
    组织信息配置

    www.hj8828.com 6
    联系人信息配置

    www.hj8828.com 7
    基础类型配置

  2. 做好基础配置数据后,就可以对配置项进行增加、修改、删除等操作。

● 第三阶段:一切皆自动

● 第三阶段:一切皆自动

3.1.2.2 录入配置项

1. 配置网络设备

(1).
在配置管理功能中,通过新建配置项或配置管理概览页面选择“网络设备”,新建一台新的网络设备;

www.hj8828.com 8

添加网络设备

www.hj8828.com 9

添加网络设备页面

(2). 在创建网络设备前确认网络设备配置项依赖的基础配置项是否已经创建,
如组织信息、地理位置信息(机房)、机柜及机位信息、电源信息等,
如果未创建, 需要先进行创建,
或者也可以在创建网络设备后创建,最后再对创建的网络设备进行修改;

(3). 录入网络设备的配置项信息;

网络设备的基础配置项应该包括以下信息:

  • 名称: 网络设备名称
  • 组织: 所属组织, 设备所属的组织,如信息技术部
  • 状态: 生产/上线/下线/空闲
  • 业务级别: 关联业务的重要程度
  • 地理位置: 网络设备所在的IDC信息
  • 机柜: 网络设备所在的机柜信息
  • 网络类型: 路由器/交换机/防火墙,可自行添加
  • 品牌: 网络设备所属品牌信息, 可自行添加
  • 型号: 网络设备型号信息,可自行添加
  • 管理IP: 网络设备的管理IP信息
  • 序列号: 网络设备的序列号
  • 资产编号: 公司对于设备的固定资产编号

www.hj8828.com 10

录入网络设备配置项信息

(4). 添加网络设备的关联配置项,
如果关联配置项未定义,可在关联配置项定义后再对服务器的关联配置项进行修改,关联配置项包括联系人、文档、所属的应用系统(解决方案)、相关设备等。

www.hj8828.com 11

添加联系人

2. 配置服务器

(1).
在配置管理功能中,通过新建配置项或配置管理概览页面选择“服务器”,新建一台新的服务器;

www.hj8828.com 12

新建服务器

www.hj8828.com 13

新建服务器页面

(2). 在创建服务器前确认服务器配置项依赖的基础配置项是否已经创建,
如组织信息、地理位置信息(机房)、机柜及机位信息、电源信息等,
如果未创建, 需要先进行创建,
或者也可���在创建服务器后创建,最后再对创建的服务器进行修改;

(3). 录入服务器的配置项信息;

服务器的基础配置项应该包括以下信息:

  • 名称: 服务器名称
  • 组织: 所属组织, 设备所属的组织,如信息技术部
  • 状态: 生产/上线/下线/空闲
  • 业务级别: 关联业务的重要程度
  • 地理位置: 服务器所在的IDC信息
  • 机柜: 服务器所在的机柜信息
  • 品牌: 服务器所属品牌信息, 可自行添加
  • 型号: 服务器型号信息,可自行添加
  • OS家族: 服务器所安装的操作系统类型, 可自行添加
  • OS版本: 服务器所安装操作系统的版本,可自行添加
  • 管理IP: 服务器的管理IP信息
  • MAC地址:服务器管理IP地址所属的MAC地址信息
  • KVM目录: 服务器所在的KVM目录信息
  • CPU: 服务器的CPU信息
  • 内存: 服务器的内存信息
  • 序列号: 服务器的序列号
  • 资产编号: 公司对于服务器设备的固定资产编号

www.hj8828.com 14

创建服务器

(4). 添加服务器的关联配置项,
如果关联配置项未定义,可在关联配置项定义后再对服务器的关联配置项进行修改,关联配置项包括联系人、文档、所连接的网络设备、所属的应用系统(解决方案)等。

  • 添加联系人

    www.hj8828.com 15
    添加服务器所属的联系人信息

  • 添加软件/应用实例

    www.hj8828.com 16
    添加服务器所运行的软件/应用实例

  • 添加解决方案(应用系统)

    www.hj8828.com 17
    添加解决方案

(5). 确认服务器配置项信息无误后,
点击“应用”按钮便可完成服务器的添加操作。

www.hj8828.com 18

确认服务器添加信息

(6).
如果需要对服务器配置信息进行修改,可以选择具体需要修改的服务器信息,
点击“修改”按钮,便可对服务器进行修改操作(如上图所示)。

3. 配置解决方案

(1).
在配置管理功能中,通过搜索配置项或者在配置管理概览界面中选择“解决方案”,新建一个新的解决方案配置项;

www.hj8828.com 19

添加解决方案

(2). 录入解决方案的基础配置信息;

解决方案必须录入的配置项包括:

  • 解决方案名称:
    IT系统名称,如:集中交易系统、融资融券系统、资管系统、OTC系统等)
  • 组织: 管理运维部门,如信息技术部
  • 状态: 启用/停用
  • 业务级别: 根据系统的重要程度设置其业务级别高低
  • 投产日期: 系统的上线运行日期

www.hj8828.com 20

录入解决方案基础信息

(3). 添加解决方案的关联配置项,
如果关联配置项未定义,可在关联配置项定义后再对解决方案的关联配置项进行修改,关联配置项包括联系人、文档、配置项(服务器/网络设备)、供应商合同、服务等。

关联配置项说明

  • 联系人:
    与该解决方案相关的联系人,包括供应商联系人信息、运维负责人信息、业务部门负责人信息及其他关键联系人;
  • 文档:
    系统所涉及到的文档信息,包括安装部署文档、运维文档、应急文档等,由于iTop系统将文档文件存放于数据库中,因此建议将文档放置在项目管理平台上,该处创建的文档类型为网页文档,只存放文档所在的URL路径;
  • 配置项: 系统所涉及到的关联配置项信息,
    包括服务器、网络设备和应用中间件信息;
  • 供应商合同:系统所涉及到的所有合同信息;

www.hj8828.com 21

配置联系人信息

www.hj8828.com 22

配置服务器/网络设备信息

(4). 确认解决方案配置项信息无误后,
点击“应用”按钮便可完成解决方案的添加操作。

www.hj8828.com 23

完成解决方案添加操作

(5). 解决方案添加完成后, 我们可以点击上图右上角的“其他操作”菜单,
在弹出菜单中选择“依赖于”,我们可以看到该方案所有的依赖配置关系,
如下图所示。

www.hj8828.com 24

配置项依赖关系

本文永久更新链接地址:http://www.linuxidc.com/Linux/2017-11/148408.htm

www.hj8828.com 25

在互联网化的大潮中,越来越多的黑马团队应运而生,都曾有过短时间内用户访问量翻N倍的经历。在流量爆发的过程中,ICP的互联网基础服务设施是否能够很好的跟进,直接决定了业务内容能否满足海量用户的并发访问。

在互联网化的大潮中,越来越多的黑马团队应运而生,都曾有过短时间内用户访问量翻N倍的经历。在流量爆发的过程中,ICP的互联网基础服务设施是否能够很好的跟进,直接决定了业务内容能否满足海量用户的并发访问。

与此同时,运维系统需要足够地完善、高效、流程化。谷歌、腾讯、百度和阿里等规模的公司内一般都有统一的运维团队,有一套或多套自动化运维系统可供参照,运维部门与开发部门会是相互平行的视角。并且也开始更加关注IT基础设施在架构层面的优化以及超大规模集群下的自动化管理和切换(如图1所示)。

与此同时,运维系统需要足够地完善、高效、流程化。谷歌、腾讯、百度和阿里等规模的公司内一般都有统一的运维团队,有一套或多套自动化运维系统可供参照,运维部门与开发部门会是相互平行的视角。并且也开始更加关注IT基础设施在架构层面的优化以及超大规模集群下的自动化管理和切换(如图1所示)。

www.hj8828.com 26

www.hj8828.com 27

图1.大型互联网公司IT基础设施情况概览

图1.大型互联网公司IT基础设施情况概览

二、BAT(百度、阿里、腾讯)运维系统的分析

二、BAT(百度、阿里、腾讯)运维系统的分析

国内的互联网公司百度、阿里、腾讯(以下简称:BAT)所提供的主要业务内容不同,IT架构不同,运维系统在发展过程中有不同的关注点。

国内的互联网公司百度、阿里、腾讯(以下简称:BAT)所提供的主要业务内容不同,IT架构不同,运维系统在发展过程中有不同的关注点。

1.腾讯运维:基于ITIL的运维服务管理

1.腾讯运维:基于ITIL的运维服务管理

预计到2015年腾讯在全国将拥有60万台服务器。随着2012年自动化部署实践的成功,目前正在进行自动化验收的工作。在网络设备方面,后续将实现从需求端开始的全自动化工作:设备清单自动生成->采购清单自动下发->端口连接关系、拓扑关系自动生成->配置自动下发->自动验收。整个运维流程也已由初期的传统IT管理演进到基于ITIL的服务管理流程(如图2所示)。

预计到2015年腾讯在全国将拥有60万台服务器。随着2012年自动化部署实践的成功,目前正在进行自动化验收的工作。在网络设备方面,后续将实现从需求端开始的全自动化工作:设备清单自动生成->采购清单自动下发->端口连接关系、拓扑关系自动生成->配置自动下发->自动验收。整个运维流程也已由初期的传统IT管理演进到基于ITIL的服务管理流程(如图2所示)。

www.hj8828.com 28

www.hj8828.com 29

图2.腾讯基于ITIL的运维服务管理

图2.腾讯基于ITIL的运维服务管理

2.阿里运维系统:基于CMDB的基础设施管理+逻辑分层建模

2.阿里运维系统:基于CMDB的基础设施管理+逻辑分层建模

CMDB(Configuration Management Database)
配置管理数据库(以下简称:CMDB),将IT基础架构的所有组件存储为配置项,维护每个配置项的详细数据,维护各配置项之间的关系数据以及事件、变更历史等管理数据。通过将这些数据整合到中央存储库,CMDB可以为企业了解和管理数据类型之间的因果关系提供保障。同时,CMDB与所有服务支持和服务交付流程都紧密相联,支持这些流程的运转、发挥配置信息的价值,同时依赖于相关流程保证数据的准确性。可实现IT服务支持、IT运维以及IT资产管理内部及三者之间的流程整合与自动化。在实际的项目中,CMDB常常被认为是构建其它ITIL流程的基础而优先考虑,ITIL项目的成败与是否成功建立CMDB有非常大的关系。

CMDB(Configuration Management Database)
配置管理数据库(以下简称:CMDB),将IT基础架构的所有组件存储为配置项,维护每个配置项的详细数据,维护各配置项之间的关系数据以及事件、变更历史等管理数据。通过将这些数据整合到中央存储库,CMDB可以为企业了解和管理数据类型之间的因果关系提供保障。同时,CMDB与所有服务支持和服务交付流程都紧密相联,支持这些流程的运转、发挥配置信息的价值,同时依赖于相关流程保证数据的准确性。可实现IT服务支持、IT运维以及IT资产管理内部及三者之间的流程整合与自动化。在实际的项目中,CMDB常常被认为是构建其它ITIL流程的基础而优先考虑,ITIL项目的成败与是否成功建立CMDB有非常大的关系。

3.百度自动化运维:部署+监控+业务系统+关联关系

3.百度自动化运维:部署+监控+业务系统+关联关系

百度主要面临的运维挑战包括:突发的流量变化、复杂环境的关联影响、快速迭代的开发模式以及运维效率、运维质量、成本之间的平衡等等。百度的运维团队认为,当服务器规模达到上万台时,运维视角需要转为以服务为粒度。万台并不等于”百台*100″;机器的运行状态,也不再代表业务的工作状态;运维部门为研发提供前置服务,服务与服务之间关系也随着集群的扩大逐渐复杂起来。

百度主要面临的运维挑战包括:突发的流量变化、复杂环境的关联影响、快速迭代的开发模式以及运维效率、运维质量、成本之间的平衡等等。百度的运维团队认为,当服务器规模达到上万台时,运维视角需要转为以服务为粒度。万台并不等于”百台*100″;机器的运行状态,也不再代表业务的工作状态;运维部门为研发提供前置服务,服务与服务之间关系也随着集群的扩大逐渐复杂起来。

www.hj8828.com 30

www.hj8828.com 31