新闻中心
关注平台资讯,掌握IT行业前沿动态
通过这三大层次对上层数据应用提供数据支撑。
数据采集层
对于企业来说，每时每刻都在产生海量的数据，数据采集作为数据体系第一环尤为重要。
因此在数据采集层需要建立了一套标准的数据采集体系方案，并致力全面、高性能、规范地完成海量数据的采集，将其传输到大数据平台。
互联网日志采集体系包括两大体系：Web端日志采集技术方案；APP端日志采集技术方案。
在采集技术之上，企业可以用面向各个场景的埋点规范，来满足日志数据打通等多种业务场景。同时，还可以建立了一套高性能、高可靠性的数据传输体系完成数据从生产业务端到大数据系统的传输；在传输方面，采集技术可既包括数据库的增量数据传输，也包括日志数据的传输；既需要能支持实时流式计算、也能实时各种时间窗口的批量计算。另一方面，也通过数据同步工具直连异构数据库（备库）来抽取各种时间窗口的数据。
下图展示数据采集层在数据分层中的位置：
数据计算层
从采集系统中收集了大量的原始数据后，数据只有被整合、计算才能被用于洞察商业规律、挖掘潜在信息，实现大数据价值，达到赋能商业、创造商业的目的。从采集系统中收集到的大量原始数据，将进入数据计算层中被进一步整合与计算。
面对海量的数据和复杂的计算，数据计算层包括两大体系：数据存储及计算云平台和数据整合及管理体系。
· 数据存储及计算云平台
例如，MaxCompute是阿里巴巴自主研发的离线大数据平台，其丰富的功能和强大的存储及计算能力使得企业的大数据有了强大的存储和计算引擎；StreamCompute是阿里巴巴自主研发的流式大数据平台，在内部较好地支持了企业流式计算需求。
· 数据整合及管理体系
“OneModel”是数据整合及管理的方法体系和工具，大数据工程师在这一体系下，构建统一、规范、可共享的全域数据体系，避免数据的冗余和重复建设，规避数据烟囱和不一致，充分发挥在大数据海量、多样性方面的独特优势。借助这一统一化数据整合及管理的方法体系，构建企业数据公共层，并可以帮助相似大数据项目快速落地实现。
数据中台数据加工链路也是遵循业界的分层理念：包括操作数据层（ODS，Operational Data Store）、明细数据层(DWD，Data Warehouse Detail)、汇总数据层(DWS, Data Warehouse Summary)和应用数据层(ADS，Application Data Store)。通过数据中台不同层次之间的加工过程实现从数据资产向信息资产的转化，并且对整个过程进行有效的元数据管理及数据质量处理。
下图展示数据公共层（ODS+DWD+DWS）与数据应用层（ADS）在数据分层中的位置：
图1：数据公共层与数据应用层关系
（1）统一数据基础层
我们通过各种方式采集到的丰富数据，在清洗、结构化后进入统一的ODS数据基础层。其主要功能包括：
o 同步：结构化数据增量或全量同步到数据中台
o 结构化：非结构化(日志)结构化处理并存储到数据中台
o 累积历史、清洗：根据数据业务需求及稽核和审计要求保存历史数据、数据清洗
在权责方面，所有数据应该在源头统一，统一所有的数据基础层，并由一个团队负责和管控，其他团队无权复制数据基础层的数据。
（2）数据中间层
我们进行数据建模研发，并处理不因业务特别是组织架构变动而轻易转移的数据中间层。包括DWD明细数据中间层和DWS汇总数据中间层。
其主要功能包括：
o 组合相关和相似数据： 采用明细宽表，复用关联计算，减少数据扫描。
o 公共指标统一加工：基于OneData体系构建命名规范、口径一致和算法统一的统计指标，为上层数据产品、应用和服务提供公共指标；建立逻辑汇总宽表；
o 建立一致性维度：建立一致数据分析维度表，降低数据计算口径、算法不统一的风险。
在权责方面，面向业务提供服务之前，由统一的团队负责从业务中抽象出源于业务而又不同于业务的数据域，再主导统一建设数据中间层，包括侧重明细数据预JOIN等处理的明细中间层、侧重面向应用可复用维度和指标的汇总数据中间层。特别是要由唯一团队负责将核心业务数据统一加入数据中间层。允许部分业务数据有独立的数据团队按照统一的OneModel体系方法论建设数据体系，ODS数据基础层和DWD+DWS数据中间层因其统一性和可复用性，被称为数据公共层。
（3）数据应用层
在面向应用提供服务时，业务团队或深入业务线的数据团队有极大的自由度，只要依赖数据公共层，即可自由的建设ADS数据应用层，其主要功能包括：
o 个性化指标加工：不公用性；复杂性（指数型、比值型、排名型指标）
o 基于应用的数据组装：大宽表集市、横表转纵表、趋势指标串
数据服务层
当数据已被整合和计算好之后，需要提供给产品和应用进行数据消费，为了更好的性能和体验，需要构建数据服务层，通过接口服务化方式对外提供数据服务。针对不同的需求，数据服务层的数据源架构在多种数据库之上，如Mysql和Hbase等。
数据服务可以使应用对底层数据存储透明，将海量数据方便高效地开放给集团内部各应用使用。如何在性能、稳定性、扩展性等多方面更好地服务用户；如何满足应用各种复杂的数据服务需求；如何保证数据服务接口的高可用。随着业务的发展，需求越来越复杂，因此数据服务也在不断地前进。
不管是数据公共层还是应用层，最终都需要面向业务提供服务。为了让业务部门找数据、看数据、用数据更加方便，我们将OpenAPI升级为能缓解业务变化对数据模型冲击的包括方法论+产品在内的OneService体系，使其在提供统一的公用服务的同时，兼容面向个性化应用的服务。
下图为数据服务层在数据分层中的位置：
图2：数据应用层与数据服务层关系
综上，企业数据中台依托数据采集层、数据计算层、数据服务层，为上层数据产品、业务系统等提供数据支撑。云上数据中台产品Dataphin从“采、建、管、用”为企业提供一站式数据中台各层次的实现，配合阿里云系列产品，可实现企业数据中台全链路稳定、高效构建。
微信小程序商城如何推广引流？
聚焦十四五丨三菲，以数据驱动产业革新
软件人才外包与软件项目外包的区别
5场高峰论坛、193场论坛会议和推介洽谈活动、1万余家企业参会——共襄服贸盛举 共享数字机遇
习近平在2021年中国国际服务贸易交易会全球服务贸易峰会上发表视频致辞
开发电商类的小程序平台需要具备哪些功能？
开发个人类型的小程序支持哪些接口？
个人注册小程序和企业注册小程序有什么不同？
小程序开发前期如何选择一家靠谱的小程序开发公司？
企业为什么使用微信小程序呢？微信小程序有什么优势？
开发微信小程序可以充分利用社会关系进行裂变，为企业创造利润
做小程序开发需要掌握些什么
使用微信小程序直播有什么好处？
开发微信小程序对生活的影响
微信小程序开发价格各公司为什么不同？
微信小程序有什么特色？
用微信小程序做电商能否带来更多销量？
开发一个微信小程序需要多长时间？
一家专业的软件技术服务外包公司需要具备什么?
有哪些渠道能找到靠谱的软件技术服务外包公司?
软件技术服务外包的优点主要集中在哪方面？
微信小程序的优势
微信小程序做直播的优势
小程序的功能
制作微信小程序的流程
微信小程序和微信公众号两者都是基于微信，有什么区别呢？
怎样才能与软件技术服务外包公司进行更好的沟通合作呢？
软件开发给企业带来什么好处
APP应用软件开发对企业的重要性
手机APP软件开发对人们生活带来的好处
人力资源外包的风险和如何能规避？
三菲科技数据分析平台解决方案
企业选择IT外包是必然的趋势，创业者能做些什么？
企业数据平台建设思路
加速为工业企业插上数字化翅膀——从智博会看工业互联网发展趋势
智能化：科技有深度 服务有温度
大力推动工业互联网建设赋能产业集群数字化转型
图解《关于加快推进国有企业数字化转型工作的通知》
中国系统：云数引领 践行使命 做现代数字城市建设的实干派！
完善数据治理，构建数字城市新格局
企业数字化转型正更加务实
做实、做深、做优 三菲科技助力工业互联网纵深发展
近10年，互联网产业影响下的服务外包的十大变革
数字化转型数据架构总体设计
没有数据人才，传统企业数字化转型路在何方？
营销的数字化转型，究竟转些啥？
2021年十大数据分析和商业智能趋势
云计算 “拍了拍” Serverless
大数据如何赋能产品—用户特征分析
物联网、大数据和云计算的关系
云计算缘何能为行业“智慧赋能”？
云计算下个方向：企业IT精细化
云上未来 | 云计算助力数字政府建设进程
大数据为什么很重要？
大数据为企业带来的6个好处
什么是数据挖掘？
“小而吸金”，正在出圈：互联网零售助推区域经济成长
2021云计算十大关键词
新型数据中心发展三年行动计划
数字化转型六大趋势，国内油气行业该如何发力？
数字中国谁来建设？
2021年中国数据中台行业白皮书
2020中国数据中台行业发展简析
对话阿里云张瑞：解局“数字化焦虑”丨中国数度系列报道之二
数字驱动 业务赋能—企业数字化转型的讨论与思考
数据中台交付专家告诉你，数据架构的分层怎样更加合理？
迈向数字文明新时代的中国方案
数字化转型助力高质量发展
数字化时代，所有的行业都值得重做一遍
信息化和数字化有什么不同？
信息化在左，数字化在右
隐私计算﹢区块链：让数据真正成为生产要素
2021年中国企业数字转型指数
联播+ | 世界互联网大会召开 五个关键词读懂习近平的贺信
迈向数字文明新时代的中国方案
企业数字化转型面临三大挑战
疫情下，八大数字化创新实践助力数字中国｜数字化助推中国之治
4个保护云计算的措施，让企业数据更安全
2022年顶级的云计算趋势和预测
企业数字化转型过程中的拦路虎
透视中国SaaS：从工具升级为服务已成趋势
国资云后，IaaS 将何去何从
从前端数字化到后端数字化，数字化的路到底该怎么走？
在数字化转型中重塑品牌
企业数字化转型：转型路线图，不是一张图
终于有人把云计算与数据库的关系讲明白了
企业数字化运营转型的建议
开发微信小程序商城，常见的开发方式有哪些？
小程序开发和APP开发的区别
微信小程序如何运营才能吸引用户群体呢？
小程序对个人和商家的用处
微信小程序的市场依旧一片光明
拿到小程序之后如何获取流量呢？
如何增加微信小程序的曝光率？
软件技术外包有哪些特点？
企业开发微信小程序的意义是什么？
微信小程序开发的价值
微信小程序商城开发需要有哪些功能？
微信小程序商城实现裂变引流的方法
微信小程序餐饮外卖电商平台要具备的功能
不同应用场景不同类型的微信小程序商城需要具备哪些功能？
如何做好微信小程序的用户运营？
微信小程序与公众号相比有哪些优势呢？
微信小程序对中小企业发展的助力和意义？
微信小程序开发助力企业网络营销
微信小程序相较于APP的优势
微信小程序对消费者带来了哪些好处？
微信小程序为零售业商家带来哪些好处？
实体店开发微信小程序的好处
微信小程序的关键词搜索排名规则
微信小程序从哪方面入手？
小程序的命名技巧
微信小程序关键词的意义
为什么要做小程序商城？
为什么说微信小程序商城很重要？
微信小程序商城的优势
微信小程序为什么如此受欢迎?
小程序商城可以实现什么功能展示？
微信小程序的价值
哪种类型的小程序更加有价值？
APP应用开发的意义
手机APP软件的开发对企业有什么意义？
软件开发对企业的影响
软件定制开发有什么优势
什么是企业数字化转型？企业数字化转型有什么意义？
企业如何做好数字化转型？
微信小程序定制开发有什么优点？
为什么企业要搭建小程序商城？
微信小程序主要的两种开发方式
怎么进行小程序开发啊？
小程序开发怎么做？
软件开发需要学习的课程
IT外包趋势的七热七冷-三菲科技为你把关
中国云计算服务网的定义：云计算服务
软件开发是一个涉及多个步骤的过程!
元宇宙主要具有以下五个特点：
软件开发六大发展趋势，真正“软件人”
软件开发是一种复杂的过程，它涉及多个阶段，包括需求分析、设计、编码、测试和维护。以下是软件开发的基本步骤：
数字中国蓝图绘就 龙头企业重点布局产业数字化
让数字文明造福各国人民
智能世界2030八大展望
构筑城市发展新引擎 打造数据安全与数据要素一体化治理解决方案
北京发布“十四五”时期智慧城市发展行动纲要
5G 深耕 共融共生
IT后市场数字化转型落地
数字文明新时代呼唤更多正向动能
阿里研究院副院长安筱鹏：一文讲透数字化的8个关键问题
数字化的三大本质
樊纲再谈数字化：要通过数字技术的应用来提高生产力
两方面准确理解数字化：数字化工具、数字化体系
中国企业数字化转型差距正在拉大，三大难点需破解
企业有“数字化”概念焦虑？8步走实现数字化升级落地
公安管理系统开发
三菲科技：兼具专业性与创新性的IT外包服务公司
