在数据团队待久了，总会遇到两种让人头疼的情况： 其实数据建模这事儿，就是把业务需求和技术实现连起来的那根线，看着基础，却藏着不少坑。它真不是画几张图、写几行代码那么简单，得真懂业务...

致大数据工程师：站在数据洪流中的思考者与造物主 亲爱的同行者： 当你们在深夜的办公室里凝视着屏幕上跳动的数据流，当你们在凌晨三点的服务器警报声中调试着分布式计算节点，当你们在数据孤岛...

DeepSeek智能数据治理整体方案 ================================================== 图片说明: 图片 图片说明: 图片 图片说明: 图片 图片说明: 图片 图片说明: 图片 图片说明: 图片 图片说明: ...

献给所有在数据海洋中默默耕耘的同仁们 第一章：诞生篇 序幕 诞生时刻 初识世界 身份认证 第二章：成长篇 ETL的洗礼 进入ODS层 升入DWD层 DWS层的聚合 ADS层的展示 第三章：职业生涯篇 数据血缘...

Linux系统下的MySQL安装与使用 一、MySQL部署安装 1. 卸载自带的MySQL8 2. 删除自带配置文件 3. 下载MySQL源 4. 安装MySQL源 5. 使用yum安装MySQL 注： 执行完之后再执行安装 启动MySQL 6. 获取...

在软件工程领域，“架构”是一个被频繁使用但又常常引起混淆的术语。逻辑架构、应用架构、技术架构、集成架构、TOGAF企业架构……这些概念从何而来，又彼此关联？ 本文旨在拨开迷雾，通过构建一...

背景 大数据时代，日常工作中经常会处理数以亿计的数据。笔者近期就遇到了一个十亿级以上的数据排序需求,并输出序号。如果是小规模数据我们直接使用row_number全局排序就可以了，但是当数据规模...

PostgreSQL基本操作（二） 一、字符串类型 字符串类型用的是最多的一种，在PGSQL里，主要支持三种： character（就是MySQL的char类型），定长字符串。（最大可以存储1G） character varying（va...

PostgreSQL的锁介绍 PostgreSQL中主要有两种锁，一个表锁一个行锁 PostgreSQL中也提供了页锁，咨询锁，但是这个不需要关注，他是为了锁的完整性。 一、表锁 表锁显而易见，就是锁住整张表。表锁...

由于 Shuffle 涉及磁盘的读写和网络 I/O，因此 Shuffle 性能的高低直接影响整个程序的性能 Spark Shuffle Spark Shuffle 分为两种：一种是基于 Hash 的 Shuffle；另一种是基于 Sort 的 Shuffle...