1. Multiple Catalog 落地与应用 2. Hive SQL 迁移 Spark SQL 3. 离线场景下 Spark 的稳定性与性能优化 4. 未来规划 5. 问答环节 01 2.Spark3的元数据管理 Hive SQL迁移 Spark SQL 2.语法...

《DAMA数据管理支持体系指南（原书第2版）》 17个章节共2.5万字 第7章到第11章 数据安全 数据集成和互操作 文件和内容管理 参考数据和主数据 数据仓库和商务智能 为了降低理解门槛，本文会按照...

彩蛋

正文开始： HDFS 3.x 数据存储新特性-纠删码 纠删码 1. EC介绍 Erasure Coding  简称 EC，中文名：纠删码 条带化技术就是一种自动将 I/O 的负载均衡到多个物理磁盘上的技术 条带化单元 2. HDFS...

我们常用的大数据计算引擎有很多都是MPP架构的，像我们熟悉的Impala、ClickHouse、Druid、Doris等都是MPP架构。 亿级秒开 详解MPP架构MPP架构与批处理架构的异同点采用MPP架构的OLAP引擎介绍 一...

来源：CSDN技术博客 36678 一、问题场景 问题场景如下：A表为一个汇总表，汇总的是卖家买家最近N天交易汇总信息，即对于每个卖家最近N天，其每个买家共成交了多少单，总金额是多少，假设N取90天...

1、数据源层 (Data Sources Layer) 2、开发层 (Development Layer) 3、控制层 (Control Layer) 4、执行层 (Execution Layer) 5、存储层 (Storage Layer) 三、全面ETL平台对比分析 1、开源平台评...

正文开始 本文将全面解读数据质量管理平台的架构、数据质量管理平台评价标准、17个主流数据质量管理平台对比分析及企业适配选型的建议。 一、数据质量管理平台的架构 接入适配层规则引擎层问题...

PostgreSQL基本操作和数据类型介绍 一、单引号和双引号 在PGSQL中，写SQL语句时，单引号用来标识实际的值。双引号用来标识一个关键字，比如表名，字段名。 二、数据类型转换 第一种方式：只需要...

ClickHouse 是近年来分析型数据库的热点，一向以快著称，很多其它以性能为卖点的分析型数据库也常常会用它作为一个对比标杆。很多用户碰到数据库运算性能问题时，也会考虑转向求助于 ClickHouse...