大家好，今天分享的内容有点劲爆。 事情还得从我们提高班同学面试过程说起。 起因是找工作的过程中猎头推了一个岗位，办公需要remote的方式，通过zoom远程办公。这个同学的offer就属于这类，并...

2025年6月29日，《可信数据空间标准体系建设指南（2025年版）》（以下简称《指南》）正式发布。 该指南由可信数据空间发展联盟组织120家成员单位共同完成，旨在构建一套体系完备、层次清晰、协...

本文目录：一、模型设计二、数据架构三、数据治理 随着互联网规模不断的扩大，数据也在爆炸式地增长，各种结构化、半结构化、非结构化数据的产生，越来越多的企业开始在大数据平台下进行数据处...

正文开始 声明

本文分为两大节介绍，第一节是数仓建设，第二节是数据治理，内容较长，还请耐心阅读！ 在谈数仓之前，先来看下面几个问题： 数仓为什么要分层？ 用空间换时间，通过大量的预处理来提升应用系统...

第一题：大数据笔试题-Java相关（美菜网） 写出下列程序的输出： 运行结果： 分析： 这道程序题考察的是Java中的静态代码块、构造代码块、构造函数的概念。 静态代码块 static {} 随着类的加载...

Spark简介 大规模数据处理高容错性高可伸缩性 Spark源码从1.x的40w行发展到现在的超过100w行，有1400多位大牛贡献了代码。整个Spark框架源码是一个巨大的工程。下面我们一起来看下spark的底层执...

想象一座城市中的孤岛，过去我们建造实体桥梁（数据复制）连接它们；而数据编织则是创建'虚拟传送门'，让这些孤岛在保持独立的同时实现无缝连接。它解决的不仅是数据的物理隔离，更是数据的理解...

SQL约束 一、主键约束 遵循原则： 创建主键约束： 删除主键约束：如需撤销 PRIMARY KEY 约束，请使用下面的 SQL 补充：自动增长 我们通常希望在每次插入新记录时，数据库自动生成字段的值。 我...

一、数据倾斜表现 数据倾斜就是数据分到各个区的数量不太均匀,可以自定义分区器,想怎么分就怎么分。 Spark中的数据倾斜问题主要指shuffle过程中出现的数据倾斜问题，是由于不同的key对应的数据...