5. Fluss 开源 当前业界呈现出一个显著的趋势，即大数据的处理正在从离线模式转向实时化。我们可以观察到，多个行业和应用场景都在进行实时化的演进。例如，互联网、车联网和金融等领域都正通过...

一、大数据架构平台搭建指南 虽然大数据平台组件很多，但是对于没有参与建设过大数据平台的朋友来说，当前众多的大数据组件和平台架构容易让人眼花缭乱。 本文首先介绍了大数据架构平台的组件架...

1. Hive 1.1 without shuffle Hive在通过SQL写文件是通过MapReduce任务完成的，如下面这个例子： 在表中插入数据后，可以hdfs对应路径下找到存储的文件 可以看到插入生成了1个文件，这是因为每...

PostgreSQL基本操作（二） 一、字符串类型 字符串类型用的是最多的一种，在PGSQL里，主要支持三种： character（就是MySQL的char类型），定长字符串。（最大可以存储1G） character varying（va...

  文末获取资料 数据中台到底是什么？几年过去了，也一直众说纷纭。 1、大数据平台 1、大数据平台1、大数据平台 2、数据资产管理平台 2、数据资产管理平台 业务元数据： 技术元数据： 管理元数...

这次我会结合本人数仓工作实践总结的经验来聊聊数仓主题域划分，同时会引申出主题划分，和数据域是什么，业务过程等。 这个对于大数据数仓工程师来说是必备的能力，比如当你面临着一个新业务的...

我们常用的大数据计算引擎有很多都是MPP架构的，像我们熟悉的Impala、ClickHouse、Druid、Doris等都是MPP架构。 亿级秒开 详解MPP架构MPP架构与批处理架构的异同点采用MPP架构的OLAP引擎介绍 一...

ChatGPT：1小时学会DAMA数据管理（上） ChatGPT：1小时学会DAMA数据管理（中） 第12章 元数据管理 （一）数据的故事 某大型零售连锁企业决定实施元数据管理项目，以提升数据治理能力和决策效率...

DDL数据表操作 特别注意： 一、数据表的基本操作 1、数据表的创建 创建 => create 数据表 => table 创建 + 数据表 = create table 数据表名称 基本语法： 案例：创建一个admin管理员表，...

一、Spark 是什么 大规模数据处理的统一分析引擎，也可说是分布式内存迭代计算框架。 二、Spark 四大特点 三、Spark框架模块介绍 3.1、Spark Core的RDD详解 3.1.1、什么是RDD 不可变、可分区、...