Linux系统下的MySQL安装与使用 一、MySQL部署安装 1. 卸载自带的MySQL8 2. 删除自带配置文件 3. 下载MySQL源 4. 安装MySQL源 5. 使用yum安装MySQL 注： 执行完之后再执行安装 启动MySQL 6. 获取...

Spark简介 大规模数据处理高容错性高可伸缩性 Spark源码从1.x的40w行发展到现在的超过100w行，有1400多位大牛贡献了代码。整个Spark框架源码是一个巨大的工程。下面我们一起来看下spark的底层执...

在软件工程领域，“架构”是一个被频繁使用但又常常引起混淆的术语。逻辑架构、应用架构、技术架构、集成架构、TOGAF企业架构……这些概念从何而来，又彼此关联？ 本文旨在拨开迷雾，通过构建一...

这次我会结合本人数仓工作实践总结的经验来聊聊数仓主题域划分，同时会引申出主题划分，和数据域是什么，业务过程等。 这个对于大数据数仓工程师来说是必备的能力，比如当你面临着一个新业务的...

数据标准体系建设需要得到企业高层的重视和支持，更需要企业的所有部门共同参与。形成高层决策、数据标准管理部门统筹、各部门参与的数据标准管理的长效机制。其中高层是数据标准化工作的最高决...

一篇文章教会你数据仓库之详解拉链表怎么做！ ================================================== 前言 先分享一下拉链表的用途、什么是拉链表。 通过一些小的使用场景来对拉链表做近一步的阐...

想象一座城市中的孤岛，过去我们建造实体桥梁（数据复制）连接它们；而数据编织则是创建'虚拟传送门'，让这些孤岛在保持独立的同时实现无缝连接。它解决的不仅是数据的物理隔离，更是数据的理解...

DQL数据查询语言 一、数据集准备 插入数据： 二、select查询 三、简单查询 四、条件查询 1、比较查询 2、范围查询 3、逻辑查询 4、模糊查询 5、非空查询 五、排序查询 六、聚合查询 之前我们做...

在复杂的社会分工协作体系中，我们需要明确个人定位，才能更好的发挥价值，数据也是一样，于是，数据血缘应运而生。 今天这篇文章会全方位的讲解数据血缘，并且给出具体的落地实施方案。 蔡博士...

监控日志文件生产到Kafka 案例：监控某个目录下的文件内容，将消息生产到Kafka中。 此案例使用到“TailFile”和“PublishKafka_1_0”处理器。 一、配置“TailFile”处理器 创建“TailFile”处理...