一、背景 在大数据时代，规范地进行数据资产管理已成为推动互联网、大数据、人工智能和实体经济深度融合的必要条件。贴近业务属性、兼顾研发各阶段要点的研发规范，可以切实提高研发效率，保障...

作为一个数据人，是不是经常被各种名词围绕，是不是对其中很多概念认知模糊。有些词虽然只有一字之差，但是它们意思完全不同，今天我们就来了解下数仓建设及数据分析时常见的一些概念含义及它们...

PyMySQL使用介绍 提前安装MySQL数据库（可以使用Linux系统的，也可以使用Windows版本） 一、为什么要学习PyMySQL 如何实现将100000条数据插入到MySQL数据库？ 如果使用之前学习的MySQL客户端来...

正文开始 当前，数据安全与合规性的重要性愈发凸显。如何根据数据的敏感程度进行分级，并配套相应的安全管控措施，是所有数据从业者必须面临且亟需解决的重要课题。 大模型能够理解和生成自然语...

1. Hive 1.1 without shuffle Hive在通过SQL写文件是通过MapReduce任务完成的，如下面这个例子： 在表中插入数据后，可以hdfs对应路径下找到存储的文件 可以看到插入生成了1个文件，这是因为每...

这次我会结合本人数仓工作实践总结的经验来聊聊数仓主题域划分，同时会引申出主题划分，和数据域是什么，业务过程等。 这个对于大数据数仓工程师来说是必备的能力，比如当你面临着一个新业务的...