MySQL数据库基础（十五）：PyMySQL使用介绍
PyMySQL使用介绍 提前安装MySQL数据库（可以使用Linux系统的，也可以使用Windows版本） 一、为什么要学习PyMySQL 如何实现将100000条数据插入到MySQL数据库？ 如果使用之前学习的MySQL客户端来...
基于大模型进行数据分类分级实操指南
正文开始 当前，数据安全与合规性的重要性愈发凸显。如何根据数据的敏感程度进行分级，并配套相应的安全管控措施，是所有数据从业者必须面临且亟需解决的重要课题。 大模型能够理解和生成自然语...
Hive、SparkSQL是如何决定写文件的数量的？
1. Hive 1.1 without shuffle Hive在通过SQL写文件是通过MapReduce任务完成的，如下面这个例子： 在表中插入数据后，可以hdfs对应路径下找到存储的文件 可以看到插入生成了1个文件，这是因为每...
数仓主题域与主题划分
这次我会结合本人数仓工作实践总结的经验来聊聊数仓主题域划分，同时会引申出主题划分，和数据域是什么，业务过程等。 这个对于大数据数仓工程师来说是必备的能力，比如当你面临着一个新业务的...
数据仓库之数据质量建设（深度好文）
正文开始： 数仓建设真正的难点不在于数仓设计，而在于后续业务发展起来，业务线变的庞大之后的数据治理数据质量治理 数据产生->数据接入->数据存储->数据处理->数据输出->数据...
OLTP与OLAP：技术“双雄”的爱恨情仇！
开篇：一场千万级的技术争执 某金融科技公司季度架构评审会上，CTO西装革履地站在投影前，语气铿锵： 下季度目标：实现OLTP和OLAP系统全面融合！ CTO微微一笑：'阿里都做HTAP了，难道我们就不行...
