SeaTunnel 与 DataX 、Sqoop、Flume、Flink CDC 对比
产品概述 Apache SeaTunnel 是一个非常易用的超高性能分布式数据集成产品，支持海量数据的离线及实时同步。每天可稳定高效同步万亿级数据，已应用于数百家企业生产，也是首个由国人主导贡献到 A...
基于大模型进行数据分类分级实操指南
正文开始 当前，数据安全与合规性的重要性愈发凸显。如何根据数据的敏感程度进行分级，并配套相应的安全管控措施，是所有数据从业者必须面临且亟需解决的重要课题。 大模型能够理解和生成自然语...
开源大数据OLAP引擎最佳实践
本篇内容将通过六个部分来介绍开源大数据OLAP引擎最佳实践。 图片说明: image.png 图片说明: image.png 图片说明: image.png 图片说明: image.png 图片说明: image.png 图片说明: image.png 图...
2024中国AI大模型场景探索及应用报告
说明:本文部分文字与图片资源来自于网络，分享此文是出于传递更多信息之目的,若有来源标注错误或侵犯了您的合法权益，请立即后台留言通知我们，情况属实，我们会第一时间予以删除，并同时向您表...
数仓建设中最常用模型–Kimball维度建模详解
先来介绍下此书，此书是基于作者 60 多年的实际业务环境而总结的经验及教训，为读者提供正式的维度设计和开发技术。面向数仓和BI设计人员，书中涉及到的内容非常广泛，围绕一系列的商业场景或案...
MySQL数据库基础（十四）：E-R模型及表间关系
E-R模型及表间关系 一、E-R模型的使用场景 对于大型公司开发项目，我们需要根据产品经理的设计，先使用建模工具, 如：power designer，db desinger等这些软件来画出实体-关系模型(E-R模型) 然后...
【原创长文】数据仓库指北 聊聊这表那表(附PDF获取)
1. 数据仓库的基础必备问题2. 数据仓库的几种数据表3. 数据仓库分层设计及各层作用4. 数据仓库几种数据模型5. 维度建模 一、 灵魂十二问 Q1：大数据的数据来源？ 埋点上报数据业务数据库数据日...
深入剖析HDFS 3.0版本EC技术，节省一半存储但拥有三副本机制相同的容错能力
正文开始： HDFS 3.x 数据存储新特性-纠删码 纠删码 1. EC介绍 Erasure Coding 简称 EC，中文名：纠删码 条带化技术就是一种自动将 I/O 的负载均衡到多个物理磁盘上的技术 条带化单元 2. HDFS...
Kafka在美团数据平台的实践(好文收藏)
1. 现状和挑战 1.1 现状 Kafka是一个开源的流处理平台，业界有很多互联网企业也都在使用这款产品。我们首先了解一下Kafka在美团数据平台的现状。 如图1-1所示，蓝色部分描述了Kafka在数据平台定...
