大数据NiFi（二十一）：监控日志文件生产到Kafka
监控日志文件生产到Kafka 案例：监控某个目录下的文件内容，将消息生产到Kafka中。 此案例使用到“TailFile”和“PublishKafka_1_0”处理器。 一、配置“TailFile”处理器 创建“TailFile”处理...
大数据架构平台搭建指南及数据仓库演进
一、大数据架构平台搭建指南 虽然大数据平台组件很多，但是对于没有参与建设过大数据平台的朋友来说，当前众多的大数据组件和平台架构容易让人眼花缭乱。 本文首先介绍了大数据架构平台的组件架...
大数据面试大厂真题-附答案详细解析
第一题：大数据笔试题-Java相关（美菜网） 写出下列程序的输出： 运行结果： 分析： 这道程序题考察的是Java中的静态代码块、构造代码块、构造函数的概念。 静态代码块 static {} 随着类的加载...
实时数仓演进&方案对比选型落地
实时数仓演进&方案对比选型落地 ================================================== 【作者介绍】王磊，阿里云 MVP，华院计算技术总监。 著有：《图解 Spark 大数据快速分析实战》；《off...
Kafka在美团数据平台的实践(好文收藏)
1. 现状和挑战 1.1 现状 Kafka是一个开源的流处理平台，业界有很多互联网企业也都在使用这款产品。我们首先了解一下Kafka在美团数据平台的现状。 如图1-1所示，蓝色部分描述了Kafka在数据平台定...
Kafka 知识体系保姆级教程宝典
本文目录 一、消息队列 Apache Pulsar Pulsar 与 Kafka 对比二、Kafka基础三、Kafka架构及组件四、Kafka集群操作五、Kafka的JavaAPI操作六、Kafka中的数据不丢失机制七、Kafka配置文...
IT管理者的自白：技术让我坐上了会议桌，但业务语言让我在桌前有发言权
正文开始 技术语言侧重细节和过程 业务语言强调结果和价值 技术语言多用专业术语 业务语言倾向通用词汇 技术语言解释'如何做' 业务语言阐明'为什么做'和'带来什么好处' '我们用了React前端框架,...
Hive窗口函数保姆级教程
在SQL中有一类函数叫做聚合函数，例如sum()、avg()、max()等等，这类函数可以将多行数据按照规则聚集为一行，一般来讲聚集后的行数是要少于聚集前的行数的。但是有时我们想要既显示聚集前的数据...
36个顶级数据分析方法与模型！
好的数据分析师不仅熟练地掌握了分析工具，还掌握了大量的数据分析方法和模型。 今天从以下6个维度36种分析模型和方法逐个简略介绍，赶紧点赞收藏！ 战略与组织 质量与生产 营销服务 财务管理 ...
360商业化基于Doris的统一OLAP应用实践
导读：Akin 业务场景 在正式介绍 Apache Doris 在 360 商业化的应用之前，我们先对广告业务中的典型使用场景进行简要介绍： 实时大盘： 广告账户的实时消费数据场景： 实时数仓演进 第一代架构 ...
