BI商业智能和报表工具不是同一个东西吗？有啥区别？ 其实这是相当错误的理解，但有这种错误观念也不怪大家，因为这两者都是大数据时代下的数据工具，两者的功能确实也有所重合，但两者在本质上...

排查顺序 1. 整体情况 top/htop/atop 命令查看进程/线程、CPU、内存使用情况，CPU使用情况； dstat 2 查看CPU、磁盘IO、网络IO、换页、中断、切换，系统I/O状态; vmstat 2 查看内存使用情况，内...

spark sql 2.4 新增了高阶函数功能，允许在数组类型中像 scala/python 一样使用高阶函数 背景 复杂类型的数据和真实数据模型相像，但是使用sql操作较为困难，一般需要借助于 explod/collect_lis...

由Facebook开源的Presto是其中的佼佼者，它是以MPP为架构的OLAP引擎中的中流砥柱。如果你学习过Spark、Flink的源码，会惊喜地发现，其中的多个设计思路和实现都参考了Presto，甚至于2019年在北...

小A进入一家网约车出现服务公司，负责公司数仓建设，试用期主要一项 OKR是制定数据仓库建设规划；因此小 A 本着从问题出发为原点，先对公司数仓现状进行一轮深入了解，理清存在问题，然后在以不...

正文开始 本文将全面解读数据质量管理平台的架构、数据质量管理平台评价标准、17个主流数据质量管理平台对比分析及企业适配选型的建议。 一、数据质量管理平台的架构 接入适配层规则引擎层问题...

致大数据工程师：站在数据洪流中的思考者与造物主 亲爱的同行者： 当你们在深夜的办公室里凝视着屏幕上跳动的数据流，当你们在凌晨三点的服务器警报声中调试着分布式计算节点，当你们在数据孤岛...

子查询（三步走） 一、子查询（嵌套查询）的介绍 在一个 select 语句中,嵌入了另外一个 select 语句, 那么被嵌入的 select 语句称之为子查询语句，外部那个select语句则称为主查询。 主查询和子...

一、前言 1.1 背景 从而有以下问题： 1.直接从ods贴源层取数据，业务研发侧一改造则下游链路级联影响改动很大 2.各数据分析下游从源头贴源层就直接各自依赖计算，数据链路十分零散不好管理 3.贴...

正文开始：