数据治理难的不是技术,而是“讲规矩”
数据标准体系建设需要得到企业高层的重视和支持,更需要企业的所有部门共同参与。形成高层决策、数据标准管理部门统筹、各部门参与的数据标准管理的长效机制。其中高层是数据标准化工作的最高决...
Hive参数与性能企业级调优(建议收藏)
Hive作为大数据平台举足轻重的框架,以其稳定性和简单易用性也成为当前构建企业级数据仓库时使用最多的框架之一。 但是如果我们只局限于会使用Hive,而不考虑性能问题,就难搭建出一个完美的数...
告别宽表,用DQL成就新一代BI
BI 商业智能这个概念已经提出好几十年了,这个概念本身比较宽泛,不同人也有不同的理解和定义,但落实到技术环节,特别是面向业务用户的环节,所称的 BI,基本就是指的多维分析或者自助报表 不...
数仓主题域与主题划分
这次我会结合本人数仓工作实践总结的经验来聊聊数仓主题域划分,同时会引申出主题划分,和数据域是什么,业务过程等。 这个对于大数据数仓工程师来说是必备的能力,比如当你面临着一个新业务的...
数据仓库之数据质量建设(深度好文)
正文开始: 数仓建设真正的难点不在于数仓设计,而在于后续业务发展起来,业务线变的庞大之后的数据治理数据质量治理 数据产生->数据接入->数据存储->数据处理->数据输出->数据...
ChatGPT:1小时学会DAMA数据管理(上篇)
满足企业及其利益相关方的信息需求 确保数据的质量、完整性和安全性 保护数据隐私和机密性 防止数据被未经授权或不当访问和使用 确保数据能有效服务于企业增值目标 将数据视为独特属性的资产 重...
6个月vs6年,为什么有人一直停在取数岗?
正文开始 注:本故事基于多人的实际经历改编而成。 序:一条深夜的微信 2023年12月的最后一个工作日,凌晨两点,我收到了老王的微信:'老师,晋升结果出来了,我又没过...' 消息框上方显示着他...
SeaTunnel 与 DataX 、Sqoop、Flume、Flink CDC 对比
产品概述 Apache SeaTunnel 是一个非常易用的超高性能分布式数据集成产品,支持海量数据的离线及实时同步。每天可稳定高效同步万亿级数据,已应用于数百家企业生产,也是首个由国人主导贡献到 A...
一篇讲明白 Hadoop 生态的三大部件
一篇讲明白 Hadoop 生态的三大部件 ================================================== 大数据技术的发展并不是偶然的,它的背后是对于成本的考量。集中式数据库或者基于MPP架构的分布数据库...
华为大数据解决方案 (文末附PPT下载)
导读: 一、内容 1. 大数据发展趋势 2. 华为大数据平台关键技术 3. 华为大数据平台行业实践 4. 华为大数据平台案例详述4. 华为大数据平台案例详述













