DeepSeek智能数据治理整体方案
DeepSeek智能数据治理整体方案 ================================================== 图片说明: 图片 图片说明: 图片 图片说明: 图片 图片说明: 图片 图片说明: 图片 图片说明: 图片 图片说明: ...
OLTP与OLAP：技术“双雄”的爱恨情仇！
开篇：一场千万级的技术争执 某金融科技公司季度架构评审会上，CTO西装革履地站在投影前，语气铿锵： 下季度目标：实现OLTP和OLAP系统全面融合！ CTO微微一笑：'阿里都做HTAP了，难道我们就不行...
【果总谈BI】数据归IT，分析归业务
企业知识开源首席布道师陈果的答案是：数据归IT，分析归业务。即IT部门主要负责管理好数据、提供好工具，分析本质上是业务要做的事情。 为何会有这样的结论？陈果在「敏捷·创变——2024观远数...
智能体工作流的七种设计模式
当前，人工智能领域正在经历一场深刻的变革。我们已经超越了通过单一提示词（Prompt）获取惊艳结果的阶段。真正的挑战在于如何构建能够自主解决复杂、多步骤问题的持久化系统。这就是**智能体工...
Elasticsearch 保姆级教程（文末送书）
Elasticsearch 介绍 1. Elasticsearch Elasticsearch 是一个基于 Apache Lucene 的开源搜索引擎。无论在开源还是专有领域，Lucene 可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎...
大数据NiFi（二十一）：监控日志文件生产到Kafka
监控日志文件生产到Kafka 案例：监控某个目录下的文件内容，将消息生产到Kafka中。 此案例使用到“TailFile”和“PublishKafka_1_0”处理器。 一、配置“TailFile”处理器 创建“TailFile”处理...
Hive参数与性能企业级调优（建议收藏）
Hive作为大数据平台举足轻重的框架，以其稳定性和简单易用性也成为当前构建企业级数据仓库时使用最多的框架之一。 但是如果我们只局限于会使用Hive，而不考虑性能问题，就难搭建出一个完美的数...
PostgreSQL基础（十一）：PostgreSQL的锁介绍
PostgreSQL的锁介绍 PostgreSQL中主要有两种锁，一个表锁一个行锁 PostgreSQL中也提供了页锁，咨询锁，但是这个不需要关注，他是为了锁的完整性。 一、表锁 表锁显而易见，就是锁住整张表。表锁...
小米基于Spark3.1搭建数据开发平台实践
1. Multiple Catalog 落地与应用 2. Hive SQL 迁移 Spark SQL 3. 离线场景下 Spark 的稳定性与性能优化 4. 未来规划 5. 问答环节 01 2.Spark3的元数据管理 Hive SQL迁移 Spark SQL 2.语法...
数仓中数据清洗的方法
在数据采集的过程中，需要从不同渠道获取数据并汇集在数仓中，采集的原始数据首先需要进行解析，然后对不准确、不完整、不合理、格式、字符等不规范数据进行过滤清洗，清洗过的数据才能更加符合...
