献给所有在数据海洋中默默耕耘的同仁们 第一章：诞生篇 序幕 诞生时刻 初识世界 身份认证 第二章：成长篇 ETL的洗礼 进入ODS层 升入DWD层 DWS层的聚合 ADS层的展示 第三章：职业生涯篇 数据血缘...

Linux系统下的MySQL安装与使用 一、MySQL部署安装 1. 卸载自带的MySQL8 2. 删除自带配置文件 3. 下载MySQL源 4. 安装MySQL源 5. 使用yum安装MySQL 注： 执行完之后再执行安装 启动MySQL 6. 获取...

在软件工程领域，“架构”是一个被频繁使用但又常常引起混淆的术语。逻辑架构、应用架构、技术架构、集成架构、TOGAF企业架构……这些概念从何而来，又彼此关联？ 本文旨在拨开迷雾，通过构建一...

背景 大数据时代，日常工作中经常会处理数以亿计的数据。笔者近期就遇到了一个十亿级以上的数据排序需求,并输出序号。如果是小规模数据我们直接使用row_number全局排序就可以了，但是当数据规模...

PostgreSQL基本操作（二） 一、字符串类型 字符串类型用的是最多的一种，在PGSQL里，主要支持三种： character（就是MySQL的char类型），定长字符串。（最大可以存储1G） character varying（va...

正文开始： 数仓建设真正的难点不在于数仓设计，而在于后续业务发展起来，业务线变的庞大之后的数据治理数据质量治理 数据产生->数据接入->数据存储->数据处理->数据输出->数据...

开篇：一场千万级的技术争执 某金融科技公司季度架构评审会上，CTO西装革履地站在投影前，语气铿锵： 下季度目标：实现OLTP和OLAP系统全面融合！ CTO微微一笑：'阿里都做HTAP了，难道我们就不行...

DML数据操作语言 一、DML包括哪些SQL语句 insert插入、update更新、delete删除 二、数据的增删改（重点） 增加：insert 删除：delete 修改：update 1、数据的增加操作 基本语法： 特别注意：在S...

本文目录：一、模型设计二、数据架构三、数据治理 随着互联网规模不断的扩大，数据也在爆炸式地增长，各种结构化、半结构化、非结构化数据的产生，越来越多的企业开始在大数据平台下进行数据处...

PostgreSQL的数据迁移 PostgreSQL做数据迁移的插件非常多，可以从MySQL迁移到PostgreSQL也可以基于其他数据源迁移到PostgreSQL。 这种迁移的插件很多，这里只说一个，pgloader（非常方便） 以My...