数据架构

 重点:数据架构到底包括哪些内容?输出物有哪些?
数据湖、数据中台、湖仓一体
批流一体架构
 
什么是架构
1、组件
2、组件之间的关系
3、设计原理
 
 

什么是数据架构:
1.数据分布、数据流设计、数据价值链等
2.数据模型
2.1概念模型
2.2逻辑模型
2.3物理模型不是数据架构的产物,而是数据建模的产物

 

 

架构

TOGAF(开放群组架构框架)、Zachman(企业架构)、FEAF(联邦企业架构框架)

 

 

Lambda 架构

基于服务的体系结构(Services-BasedArchitecture,SBA)正在成为一种立即提供(如果不是完全准确或完整)数据的方法,并使用相同的数据源(Abate,Aiken,Burke,1997)来更新完整、准确的历史数据集。SBA架构与数据仓库架构有些类似,它会把数据发送到操作型数据存储(ODS)中以实现即时存取,同时也会将数据发送到数据仓库中以实现历史积累。SBA架构包括三个主要的组件,分别是批处理层、加速层和服务层,如图14-6所示。
1)批处理层(BatchLayer)。数据湖作为批处理层提供服务,包括近期的和历史的数据。

2)加速层(SpeedLayer)。只包括实时数据
3)服务层(ServingLayer)。提供连接批处理和加速层数据的接口。

 

 

“您的支持是我持续分享的动力”

微信收款码
微信
支付宝收款码
支付宝

黄金_shmaur
不积跬步,无以至千里;不积小流,无以成江海
目录关闭