大数据必备技能:资源调度器Yarn技术原理解析
注:本文节选自清华大学出版社出版的《Hadoop海量数据处理:技术原理与项目实践》,略有改动,以纸质书出版为准。 --文末赠书-- 解析Yarn基本架构 资源调度器Yarn,主要由Resource Manager(RM...
大数据平台中的企业级数仓建设(好文收藏)
本文目录:一、模型设计二、数据架构三、数据治理 随着互联网规模不断的扩大,数据也在爆炸式地增长,各种结构化、半结构化、非结构化数据的产生,越来越多的企业开始在大数据平台下进行数据处...
实时数仓分层架构超全解决方案
ODS:Operation Data Store,也称为贴源层。数据仓库源头系统的数据表通常会原封不动的存储一份,这称为ODS层,是后续数据仓库加工数据的来源。 DW数据分层,由下到上一般分为DWD,DWB,DWS。 D...
实时数仓新选择——Doris构建实时数仓落地方案详解(文末送Doris书籍)
本文主要介绍Doris在构建实时数据仓库应用上的具体落地方案。主要包括以下三方面内容: 1. 实时数据仓库概述 2. Doris核心功能解读 3. Doris实时数仓设计 Duplicate Key模型也叫可重复模型、明...
干货下载 _ 自然堂集团ChatBI(AI+BI)建设与实践案例精讲
当下大模型技术如火如荼,为BI领域带来了前所未有的想象力和创新空间。相较传统BI,ChatBI不再局限于传统的报告和仪表板,而是向着更加智能、更简洁的交互式方向发展,有效降低了企业数据应用门...
平安人寿ChatBI:大模型智能化报表的深度实践
正文开始 导读 1. 项目背景和目标 2. 解决方案 3. 产品效果 4. 落地挑战 5. 总结和展望 6. 问答环节 分享嘉宾|刘行行 中国平安人寿保险股份有限公司 财企及产品数据服务组分组经理 编辑...
开源大数据OLAP引擎最佳实践
本篇内容将通过六个部分来介绍开源大数据OLAP引擎最佳实践。 图片说明: image.png 图片说明: image.png 图片说明: image.png 图片说明: image.png 图片说明: image.png 图片说明: image.png 图...
抖音集团数据血缘深度应用:架构、指标与优化实践
正文开始 导读 本次分享将聚焦于资产体系中的全链路血缘,文章将围绕下面四点展开:本次分享将聚焦于资产体系中的全链路血缘,文章将围绕下面四点展开: 1. 抖音集团血缘整体介绍 2. 抖音集团...
数仓之路:数仓中的问题与解决方案
小A进入一家网约车出现服务公司,负责公司数仓建设,试用期主要一项 OKR是制定数据仓库建设规划;因此小 A 本着从问题出发为原点,先对公司数仓现状进行一轮深入了解,理清存在问题,然后在以不...
数据仓库之数据指标体系建设:概述篇、建设篇、应用篇(全)
在当今数字化时代,数据已成为企业的核心资产之一。随着信息技术的飞速发展,企业能够收集和存储的数据量呈指数级增长。然而,数据本身并不等同于信息,更不等同于智慧。如何从海量的数据中提取...














