Spark简介 大规模数据处理高容错性高可伸缩性 Spark源码从1.x的40w行发展到现在的超过100w行，有1400多位大牛贡献了代码。整个Spark框架源码是一个巨大的工程。下面我们一起来看下spark的底层执...

本文来源：优享智库 一、政策与制度框架 国家战略定位 数据列为第五大生产要素（2019年首次提出），2024年“会计处理暂行规定”实施，标志数据资产正式入表。 “数据二十条”（2022）构建数据产...

此套面试题来自于各大厂的真实面试题及常问的知识点，如果能理解吃透这些问题，你的大数据能力将会大大提升，进入大厂指日可待！ 目前已经更新到第5版，广受好评！ 复习大数据面试题，看这一套...

5. Fluss 开源 当前业界呈现出一个显著的趋势，即大数据的处理正在从离线模式转向实时化。我们可以观察到，多个行业和应用场景都在进行实时化的演进。例如，互联网、车联网和金融等领域都正通过...

本文目录 一、消息队列    Apache Pulsar    Pulsar 与 Kafka 对比二、Kafka基础三、Kafka架构及组件四、Kafka集群操作五、Kafka的JavaAPI操作六、Kafka中的数据不丢失机制七、Kafka配置文...

在数据采集的过程中，需要从不同渠道获取数据并汇集在数仓中，采集的原始数据首先需要进行解析，然后对不准确、不完整、不合理、格式、字符等不规范数据进行过滤清洗，清洗过的数据才能更加符合...

BI商业智能和报表工具不是同一个东西吗？有啥区别？ 其实这是相当错误的理解，但有这种错误观念也不怪大家，因为这两者都是大数据时代下的数据工具，两者的功能确实也有所重合，但两者在本质上...

BI 商业智能这个概念已经提出好几十年了，这个概念本身比较宽泛，不同人也有不同的理解和定义，但落实到技术环节，特别是面向业务用户的环节，所称的 BI，基本就是指的多维分析或者自助报表 不...

本文目录：    一. 实时计算初期    二. 实时数仓建设    三. Lambda架构的实时数仓    四. Kappa架构的实时数仓    五. 流批结合的实时数仓 实时计算初期 虽然实时计算在最近几年才...

一文读懂数仓模型与数据建模全过程 ================================================== 在不少企业的数据系统中，可能会遇到这样的问题： 不同系统里都有个叫“客户ID”的字段，一个是营销系...