MySQL数据库介绍 一、MySQL介绍 MySQL是一个关系型数据库管理系统，在 WEB 应用方面，MySQL是最好的 RDBMS (Relational Database Management System，关系数据库管理系统) 应用软件，它是由瑞典...

由于 Shuffle 涉及磁盘的读写和网络 I/O，因此 Shuffle 性能的高低直接影响整个程序的性能 Spark Shuffle Spark Shuffle 分为两种：一种是基于 Hash 的 Shuffle；另一种是基于 Sort 的 Shuffle...

导读： 一、内容 1. 大数据发展趋势 2. 华为大数据平台关键技术 3. 华为大数据平台行业实践 4. 华为大数据平台案例详述4. 华为大数据平台案例详述

先来介绍下此书，此书是基于作者 60 多年的实际业务环境而总结的经验及教训，为读者提供正式的维度设计和开发技术。面向数仓和BI设计人员，书中涉及到的内容非常广泛，围绕一系列的商业场景或案...

一谈起企业数字化转型建设，就不得不说一下信息部门，在整个数字化建设过程中不同的企业由于对数字化认知的不同，信息部门要么被重视，要么被边缘化，在数字化价值体现难的情况下信息部门的地位...

最容易出错的 HiveSQL 详解 ================================================== 正文开始： 前言 在进行数仓搭建和数据分析时最常用的就是 sql，其语法简洁明了，易于理解，目前大数据领域的...

ETL的灵魂：调度系统 ================================================== 大家好，我是一哥，最近有小伙伴私聊我说他们的调度系统经常出问题，领导要求大家人在哪电脑背到哪，家庭生活一地鸡...

什么是OLAP，其与OLTP有什么区别？ 如果展开来说，这个问题估计可以写好几篇文章，这里简单谈谈个人的理解。 OLTP是Online transaction processing的英文缩写，指在线/联机事务处理 OLAP是Onlin...

Spark简介 大规模数据处理高容错性高可伸缩性 Spark源码从1.x的40w行发展到现在的超过100w行，有1400多位大牛贡献了代码。整个Spark框架源码是一个巨大的工程。下面我们一起来看下spark的底层执...

由Facebook开源的Presto是其中的佼佼者，它是以MPP为架构的OLAP引擎中的中流砥柱。如果你学习过Spark、Flink的源码，会惊喜地发现，其中的多个设计思路和实现都参考了Presto，甚至于2019年在北...