www.hj8828.com 2

说说中台和上蔬永辉的中台实践

www.hj8828.com 1

三年前,阿里内部酝酿变更,CEO张勇一封邮件宣告组织架构全面升级,组建“大中台,小前台”。去年年底到今年初,短短几个月内,三大互联网巨头百度、阿里和腾讯,都不约而同的进行了较大的组织架构调整,整合产品技术和数据能力构建中台。各大互联网公司也开始“跟风”,打造不同类别的中台。

www.hj8828.com 2

大部分电商大数据平台系统企业在实践项目的时候,并不会把大部分主力资源将品牌能力沉淀成自身的产品和平台,例如很多可以实现共用的大数据服务没有实现真正意义上的服务化、产品化,以致于很多产品总是在执行重复的动作。我们知道目前的大数据中台系统技术带来的不仅仅是数据量的火箭式增长,更重要的是利于大数据网站系统管理能力提升,所以传统的大数据平台建设已经无法满足用户需求。数据中台系统架构体量、产业规模以及云计算高速发展轻松降低基础设施成本,进一步创造企业盈利是大数据平台所关心的重点问题。通过本文我们来简单了解下:企业为什么要搭建大数据中台系统,什么叫大数据中台架构,数据中台系统架构基本构成和如何提升电商大数据平台功能管理。

什么原因让互联网巨头们集中变阵?

阿里数据中台的建设方法论、建设实践、组织中台如果支撑数据中台、以及数据中台建设分哪些步骤等等。

一、为什么企业需要搭建大数据中台系统

传统的互联网业务是一块块独立的,相互分割。面向静态环境的传统独立软件难以在互联网的动态生态环境中高效应变。电商经过十几年的发展,组织已经庞大而复杂,业务不断细化拆分,也导致野蛮发展的系统越来越不可维护,开发和改造效率极低,也有很多新业务不得不重复造轮子,形成各种“烟囱”;后台系统经过多年定制化变得臃肿不堪;
一个小小的改动都可能会涉及系统的大面调整。系统建设、推广及升级周期长,缺乏敏捷性,无法快速响应前端业务变化所产生的新需求;面对业务洪峰时,系统性能无法支撑,都是鲜明痛点。再加上企业面临的不确定性越来越高,产品复杂性逐步增加,生产过程复杂性逐步增强,供应链协同复杂性逐步增高,拖垮了前台的敏捷性,用户的满意度越来越低,企业竞争力也随之下降。

01

大数据自动化营销平台公司创始人兼CEO谢建松先生认为,互联网公司之间的战役已经结束了。所有企业主战场不在线上而在线下,不管是互联网巨头还是产业巨头都在思考如何利用互联网、大数据中台系统和相关技术的能力改变线下产业。而且选择合作伙伴应该遵循一个原则:愿意真的开放大数据平台,愿意给实体产业赋能。

中台的出现满足了新商业环境的需求

阿里数据中台全景图

二、简单理解什么叫大数据中台架构

用户是商业战场的中心,为了快速响应用户的需求,借助中台的力量可以事半功倍。将技术和业务能力沉淀出一套综合能力平台,提供了比前台更强的稳定性,?后台更高的灵活性,通过统一的平台,对内,将企业的各种数据进行汇总和储存。统一管理企业内的各种管理系统,从而避免出现数据孤岛。同时实现企业不同地域的系统之间的互联互通。对外,通过标准的协议接口,集成企业外部的系统,来实现和外部异构系统之间的互联互通,实现上下游资源一体化。再添加权限控制、流程流转和统计分析等,最终形成一个有关联的,整体的数据系统。为企业提供有价值的数字运营支撑建议。

阿里数据中台在架构的组成上,呈现了一个“四横三纵”的结构,底层的基础设施来自于阿里云平台。

大数据中台架构是指通过数据技术,对海量数据进行采集、计算、存储、加工,同时统一标准和口径。

千匠网络的大中台、小前台变革

四横。在这张架构图中,从下往上看,最下面的内容主要数据采集和接入,按照业态接入数据,我们把这些数据抽取到计算平台;通过OneData体系,以“业务板块+分析维度”为架构去构建“公共数据中心”。

今年,马老师说过,大数据中台架构成为大数据行业的热门概念,它最先是从阿里引出的,“很多人会把数据比作“石油”,阿里巴巴要成为全球电子商务的“水电煤”。我们现在搭建的大数据中台系统,就是希望扮演“发电厂”的角色。”

以前在设计产品时,总想着可以通过系统更多流程配置,更多功能配置,更多参数配置,满足企业不同业务场景下需求。但是在新商业下这种多变的环境下,千匠网络开始反思,换一个角度去思考这个问题,用一种解耦的思想再重新设计产品。从业务设计上千匠希望我们产品就像一个Appstore,有很多封装好的模型基础服务,在我们想使用的时候,可以快速的组装使用,真正做到按需应用。从技术架构上我们采用微服务架构、前端组件化工程、开发部署容器化等方式去支撑我们做这个变化。千匠星云业务中台就是在这样一个背景下诞生,正好契合了互联网整体环境的变化,助力企业拥抱新零售,快速响应、探索、挖掘、引领用户的需求。

基于公共数据中心在上层根据业务需求进行建设:消费者数据体系、企业数据体系、内容数据体系等。

大数据中台系统把数据统一之后,会形成标准数据,再进行存储,形成大数据资产层,进而为客户提供高效服务。这些服务跟企业的业务有较强的关联性,是这个企业独有的且能复用的,它是企业业务和数据的沉淀,其不仅能降低重复建设、减少烟囱式协作的成本,也是差异化竞争优势所在。

基于互联网中台架构、PaaS平台微服务架构实现4个统一:

经过深度加工后,数据就可以发挥其价值被产品、业务所用;最后通过统一的数据服务中间件“OneService”提供统一数据服务。

大数据中台系统架构建设基础

1、统一的PaaS技术体系:实现互联网架构的统一,所有系统和ISV均基于一套架构体系和标准设计开发;

三纵。为保证阿里巴巴整个数据体系的快速、高效、高质量数据接入,需要有一套智能数据研发平台来实现,将理论及实践过程,通过一整套的工具体系及研发流程去保障落地,确保每一个团队,每一个BU,通过统一规则去建设数据体系;同时,当数据多了以后最直接问题就是成本,因此我们还建立了统一的数据质量管理平台。

大数据中台系统建设基础还是数据仓库和数据中心,并且在数仓模型的设计上也是一脉传承,之所以我们现在处处推崇大数据中台系统建设及应用,一个是因为大数据中台系统确实有过人之处,另一个是这套模型在阿里体现了巨大的应用价值。

2.统一的业务中台:搭建统一会员,商品,订单,库存,价格,营销中心,实现对核心业务有效支撑;

02

三、数据中台架构提升大数据网站系统管理能力1、数据中台资产管理

3.统一的数据中台:基于大数据平台,搭建统一的数据中心,实现数据的统一管理;

阿里“双中台”共同支撑的“大中台+小前台架构”

盘点大数据网站资源、规划大数据网站资源、获取大数据网站资源,并将所有数据资源进行完整呈现;通过元数据信息收集、数据血缘探查、数据权限申请授权等手段,解决”有哪些数据可用”、”到哪里可以找到数据”的难题,并且提升数据资源的利用率。

4.统一的技术中台:搭建统一的技术平台,实现全程自动技术开发运维工作;

阿里云的大数据和人工智能科学家–行在,在访谈中提到,阿里中台主要体现为由业务中台和数字中台并肩构成的双中台,并肩扛起了所有前台业务。

www.hj8828.com,2、数据中台质量管理

上蔬永辉的中台实践

业务中台将后台资源进行抽象包装整合,转化为前台友好的可重用共享的核心能力,实现了后端业务资源到前台易用能力的转化。

大数据网站系统质量就是保障数据正确性的工具,主要包括这么几部分:一是支持准确性校验规则,二是支持双表校验,三是输出校验报告。

千匠网络帮助上蔬永辉基于以“客户为中心,全方位服务消费者”的经营理念,以及
“全渠道业务管理数字化、一体化、智能化”的系统架构思想,搭建自有线上业务平台、业务中台,

数据中台从后台及业务中台将数据流入,完成海量数据的存储、计算、产品化包装过程,构成企业的核心数据能力,为前台基于数据的定制化创新和业务中台基于数据反馈的持续演进提供了强大支撑。

3、数据中台模型管理

与线下门店、外卖平台、企业客户、合作渠道等,实现多渠道布局下商品的上下架、价格营销同步、库存同步、会员及权益同步、订单处理及库存,通过系统实现集中化、自动化的管理。

皇家国际官网[welcome],业务中台与数据中台相辅相成、互相支撑,一起构建起了战场强大的后方炮火群和雷达阵。

大数据中台模型管理,主要是为解决大数据中台架构设计和数据开发的不一致性,是为了约束大数据网站系统平台使用者的表名、字段名的规范性,大数据中台架构师从工具层合理的进行模型分层和统一开发规范,包括2部分,一个是规则配置,另一个是对表名、字段名的定期校验。

主数据、业务数据统一管理

03

4、构建数据中台标签体系

商超行业尤其是生鲜品类商品去化快,价格调整频繁,系统通过对接门店零售系统,第三方平台实现商品基本信息、价格及上下架的集中管理。全渠道业务数据的统一管理,便于企业结合大数据分析模块及大数据营销模块进行数据价值的深度挖掘,提升数据驱动的价值,经营决策的科学性、针对性与准确性,。

阿里数据中台OneData体系

对用户、产品、客商、营销各主题域进行标签提取,将其特征数字化,为后续进行精准
营销和用户画像提供必要条件。着重分析当前需要但是无法获取到的指标,描述使用不便的指标,分析问题原因,绘制数据供应链条;

订单集中处理

OneData是阿里数据中台的核心,阿里公共数据平台负责人罗金鹏介绍,OneData体系建立的集团数据公共层,从设计、开发、部署和使用上保障了数据口径的规范和统一,实现数据资产全链路管理,提供标准数据输出。

5、数据中台应用规划及实现

自营+第三方平台+B2B订单集中化处理,门店有活的外卖配送,需要其他仓发货的隔天到货,实现订单的集中化和自动化处理

统一数据标准是一项非常复杂的工作,譬如,针对UV这一相同的指标,在统一之前阿里内部竟然有10多种数据定义。据介绍,OneData数据公共层总共对30000多个数据指标进行了口径的规范和统一,梳理后缩减为3000余个。

数据中台策略的基本理念是,将所有的数据汇聚到数据中台,以后的每个数据应用统统从数据中台获取数据,如果数据中台没有,那么数据中台就负责把数据找来,如果数据中台找不来,就说明当前真没有这个数据,数据应用也就无从展开。

全局库存管理

在DT时代,数据暴增对存储计算成本带来很大的挑战。据罗金鹏介绍在没有建设统一的数据公共层时,阿里内部服务器需求量会在5年之后达到现在的100倍之多。而经过数据公共层的统一建设,5年后的服务器需求量相对会节约90%。

四、数据中台系统架构基本构成

总仓、分仓、门店仓、前置仓,所有仓库库存数据统一管理和同步

阿里数据中台之OneData也并非是“一次成型”的,它经历了三个阶段的能力演进:

数据中台系统架构一般包含以下几个部分:

高效账务处理

第一阶段:完全应用驱动的时代。这个时期主要将数据以与源结构相同的方式同步到Oracle,那时候的数据架构只有两层ODS+DSS,严格说来基本只有一个ODS层,也基本没有模型方法体系。

1、数据中台系统仓库:

内部对账结算、合作供应商对账结算、第三方支付平台对账结算、外卖平台对账结算的自动化和智能化

第二阶段:随着阿里业务的快速发展,数据量也在飞速增长,性能已经是一个较大问题,希望通过一些模型技术改变烟囱式的开发模型,消除一些冗余,提升数据的一致性,所以阿里引入了Greenplum。

用来存储数据的,结构性数据、非结构性数据等,还有离线数据和实时数据等;

千匠使用一套系统覆盖上蔬永辉多种业务形态。从系统层面来讲,实现了基础功能的共用,降低了重复开发成本及后续维护成本;从数据层面来讲,避免了烟囱式的系统架构,确保了主数据、业务数据的集中管理,降低了维护成本,同时又基于各个业务的差异兼顾了个性化。通过统一管理和运营的一体化中台,具备了对于前台业务变化及创新的快速响应能力。

第三阶段:引入以hadoop为代表的分布式存储计算平台,确立第三代模型架构,核心CDM层都采用多维模型。选择了以Kimball维度建模为核心理念的模型方法论,同时对其进行了一定的升级和扩展,构建了阿里集团的数据架构体系。

2、大数据系统中间件:

04

包含了大数据计算服务、大数据研发套件、大数据分析及展现工具;

数据中台PasS层Dataphin

3、大数据系统资产管理:

在整个数据中台模式中,PasS层产品Dataphin如引擎般存在,下到规划数仓,上至输出主题式服务。

相关文章