我，数据负责人，带团队走出了该死的“报表地狱”
第一章：深陷泥潭 第1幅：理想 VS 现实 第2幅：夺命连环Call 第3幅：疲于奔命的“救火队” 第4幅：推行规范的尝试（失败） 第5幅：教科书的困境 第6幅：溺水者如何造船？（关键隐喻页） 第7幅：...
关于数据中台的深度思考与总结
本文将总结下数据中台的相关理论知识。Flink平台化需要改进的点等等。 参考：《数据中台》 数据中台 数据汇聚 数据汇聚是数据中台必须提供的核心工具，把各种异构网络、异构数据源的数据方便地...
MySQL数据库基础（三）：Linux系统下的MySQL安装与使
Linux系统下的MySQL安装与使用 一、MySQL部署安装 1. 卸载自带的MySQL8 2. 删除自带配置文件 3. 下载MySQL源 4. 安装MySQL源 5. 使用yum安装MySQL 注： 执行完之后再执行安装 启动MySQL 6. 获取...
数据开发的魅力，从来不是 “我能写多复杂的 SQL”
最近和几位数据团队负责人聊天，发现一个挺普遍的情况： 大家都在说 “数据开发难”，可真问起难在哪儿，说法却不一样。 这些吐槽背后，其实是对数据开发的理解偏了： 很多人觉得数据开发就是 ...
MySQL数据库基础（八）：DML数据操作语言
DML数据操作语言 一、DML包括哪些SQL语句 insert插入、update更新、delete删除 二、数据的增删改（重点） 增加：insert 删除：delete 修改：update 1、数据的增加操作 基本语法： 特别注意：在S...
大数据必备技能：资源调度器Yarn技术原理解析
注：本文节选自清华大学出版社出版的《Hadoop海量数据处理：技术原理与项目实践》，略有改动，以纸质书出版为准。 --文末赠书-- 解析Yarn基本架构 资源调度器Yarn，主要由Resource Manager（RM...
DeepSeek想对大数据工程师说的话
致大数据工程师：站在数据洪流中的思考者与造物主 亲爱的同行者： 当你们在深夜的办公室里凝视着屏幕上跳动的数据流，当你们在凌晨三点的服务器警报声中调试着分布式计算节点，当你们在数据孤岛...
基于大模型进行数据分类分级实操指南
正文开始 当前，数据安全与合规性的重要性愈发凸显。如何根据数据的敏感程度进行分级，并配套相应的安全管控措施，是所有数据从业者必须面临且亟需解决的重要课题。 大模型能够理解和生成自然语...
大数据NiFi（二十一）：监控日志文件生产到Kafka
监控日志文件生产到Kafka 案例：监控某个目录下的文件内容，将消息生产到Kafka中。 此案例使用到“TailFile”和“PublishKafka_1_0”处理器。 一、配置“TailFile”处理器 创建“TailFile”处理...
