『字节青训营-4th-大数据』L18:数据中心建设实践思路与企业实践
相关链接
🎶 学员手册:【大数据专场 学习资料六】第四届字节跳动青训营 - 掘金
企业数据架构
数据集成
业务数据收集
CDC
Log
系统间同步传输
数据生产 - 离线&实时
数据服务
数据中心案例
核心业务指标
数据查询要求
实时数据生产
数据分析
数据产出目标
数据生产可行性
计算分析
目标
计算架构 - Lambda
数据产出
查询的时候把离线和实时合并后返回
问题
过去的离线数据在今天发生变更,这是一个问题
计算架构 - 全量计算
问题解决
全量计算问题
计算架构 - 架构选择
计算难点
全量数据获取 - Hybrid Source
准确 - 处理去重&更新
准确 - Join 乱序问题场景
效率 - 聚合
效率 - Join
数据质量
任务稳定性
数据持续正确性
计算总结
数仓建设
数据组织方案
元数据管理
数据服务
查询快
引擎选择
怎么做
列存的重要性
筛选
分区
主键构建
主键查找
原始信息关联
计算向量化
执行计划
应用优化
宽表构建
提升信息密度
稳定
数据管理
课程总结
评论
GiscusTwikoo