最容易出错的 HiveSQL 详解 ================================================== 正文开始： 前言 在进行数仓搭建和数据分析时最常用的就是 sql，其语法简洁明了，易于理解，目前大数据领域的...

ETL的灵魂：调度系统 ================================================== 大家好，我是一哥，最近有小伙伴私聊我说他们的调度系统经常出问题，领导要求大家人在哪电脑背到哪，家庭生活一地鸡...

什么是OLAP，其与OLTP有什么区别？ 如果展开来说，这个问题估计可以写好几篇文章，这里简单谈谈个人的理解。 OLTP是Online transaction processing的英文缩写，指在线/联机事务处理 OLAP是Onlin...

Spark简介 大规模数据处理高容错性高可伸缩性 Spark源码从1.x的40w行发展到现在的超过100w行，有1400多位大牛贡献了代码。整个Spark框架源码是一个巨大的工程。下面我们一起来看下spark的底层执...

由Facebook开源的Presto是其中的佼佼者，它是以MPP为架构的OLAP引擎中的中流砥柱。如果你学习过Spark、Flink的源码，会惊喜地发现，其中的多个设计思路和实现都参考了Presto，甚至于2019年在北...

正文开始：

最近和几位数据团队负责人聊天，发现一个挺普遍的情况： 大家都在说 “数据开发难”，可真问起难在哪儿，说法却不一样。 这些吐槽背后，其实是对数据开发的理解偏了： 很多人觉得数据开发就是 ...

此套面试题来自于各大厂的真实面试题及常问的知识点，如果能理解吃透这些问题，你的大数据能力将会大大提升，进入大厂指日可待！ 目前已经更新到第5版，广受好评！ 复习大数据面试题，看这一套...

Hive涉及的知识点如下图所示，本文将逐一讲解： 正文开始： 一. Hive概览 1.1 hive的简介 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功...

PostgreSQL备份和恢复介绍 防止数据丢失的第一道防线就是备份。数据丢失有的是硬件损坏，还有人为的误删之类的，也有BUG的原因导致误删数据。 正常备份和恢复，如果公司有DBA，一般咱们不用参与...