Flink状态原理及异常容错机制 在1.2.3节，笔者强调了Flink是一个高可用的有状态计算引擎，在第5章的案例中，也频繁出现了状态这个概念。那么状态是什么呢？有状态计算又是什么呢？Flink基于状态...

01 数据分类分级提出的背景 数据的价值 1.数据爆炸时代，数据量呈指数级增长 我们要如何看待数据这个话题。数据大爆炸已经成为了一个趋势，随着数字化转型的步伐逐步加快，数据的诞生不断加快。...

BI商业智能和报表工具不是同一个东西吗？有啥区别？ 其实这是相当错误的理解，但有这种错误观念也不怪大家，因为这两者都是大数据时代下的数据工具，两者的功能确实也有所重合，但两者在本质上...

本文将总结下数据中台的相关理论知识。Flink平台化需要改进的点等等。 参考：《数据中台》 数据中台 数据汇聚 数据汇聚是数据中台必须提供的核心工具，把各种异构网络、异构数据源的数据方便地...

正文开始： 本文目录：    一. 实时计算初期    二. 实时数仓建设    三. Lambda架构的实时数仓    四. Kappa架构的实时数仓    五. 流批结合的实时数仓 实时计算初期 虽然实时计算在...

本文目录：    一. 实时计算初期    二. 实时数仓建设    三. Lambda架构的实时数仓    四. Kappa架构的实时数仓    五. 流批结合的实时数仓 实时计算初期 虽然实时计算在最近几年才...

监控日志文件生产到Kafka 案例：监控某个目录下的文件内容，将消息生产到Kafka中。 此案例使用到“TailFile”和“PublishKafka_1_0”处理器。 一、配置“TailFile”处理器 创建“TailFile”处理...

一、大数据架构平台搭建指南 虽然大数据平台组件很多，但是对于没有参与建设过大数据平台的朋友来说，当前众多的大数据组件和平台架构容易让人眼花缭乱。 本文首先介绍了大数据架构平台的组件架...

第一题：大数据笔试题-Java相关（美菜网） 写出下列程序的输出： 运行结果： 分析： 这道程序题考察的是Java中的静态代码块、构造代码块、构造函数的概念。 静态代码块 static {} 随着类的加载...

实时数仓演进&方案对比选型落地 ================================================== 【作者介绍】王磊，阿里云 MVP，华院计算技术总监。 著有：《图解 Spark 大数据快速分析实战》；《off...