DDL数据表操作 特别注意： 一、数据表的基本操作 1、数据表的创建 创建 => create 数据表 => table 创建 + 数据表 = create table 数据表名称 基本语法： 案例：创建一个admin管理员表，...

spark sql 2.4 新增了高阶函数功能，允许在数组类型中像 scala/python 一样使用高阶函数 背景 复杂类型的数据和真实数据模型相像，但是使用sql操作较为困难，一般需要借助于 explod/collect_lis...

本文将总结下数据中台的相关理论知识。Flink平台化需要改进的点等等。 参考：《数据中台》 数据中台 数据汇聚 数据汇聚是数据中台必须提供的核心工具，把各种异构网络、异构数据源的数据方便地...

在数据采集的过程中，需要从不同渠道获取数据并汇集在数仓中，采集的原始数据首先需要进行解析，然后对不准确、不完整、不合理、格式、字符等不规范数据进行过滤清洗，清洗过的数据才能更加符合...

1粉丝：我们团队习惯了做业务数据的质量监控，有成熟的完整性、一致性、准确性校验方法。但现在接触音频、图像数据，以前的经验好像都用不上。这种非结构化数据，质量到底该怎么评估和提升？ 说...

长文详解HiveSQL执行计划 ================================================== 本文目录：一、前言二、SQL的执行计划 一、前言 可以说执行计划是打开SQL优化大门的一把钥匙 要想学SQL执行计划...

DeepSeek智能数据治理整体方案 ================================================== 图片说明: 图片 图片说明: 图片 图片说明: 图片 图片说明: 图片 图片说明: 图片 图片说明: 图片 图片说明: ...

E-R模型及表间关系 一、E-R模型的使用场景 对于大型公司开发项目，我们需要根据产品经理的设计，先使用建模工具, 如：power designer，db desinger等这些软件来画出实体-关系模型(E-R模型) 然后...

1. 数据仓库的基础必备问题2. 数据仓库的几种数据表3. 数据仓库分层设计及各层作用4. 数据仓库几种数据模型5. 维度建模 一、 灵魂十二问 Q1：大数据的数据来源？ 埋点上报数据业务数据库数据日...