SQL语言讲解 一、SQL概述 结构化查询语言(Structured Query Language)简称SQL，是关系型数据库管理系统都需要遵循的规范，是数据库认识的语句。不同的数据库生产厂商都支持SQL语句，但都有特有...

图形化开发工具DataGrip 一、DataGrip介绍 DataGrip是JetBrains公司推出的管理数据库的产品，功能非常强大，可以兼容各种数据库，另外,JetBrains公司还有一款知名的IDE开发工具IDEA，用户体验非...

Linux系统下的MySQL安装与使用 一、MySQL部署安装 1. 卸载自带的MySQL8 2. 删除自带配置文件 3. 下载MySQL源 4. 安装MySQL源 5. 使用yum安装MySQL 注： 执行完之后再执行安装 启动MySQL 6. 获取...

MySQL数据库介绍 一、MySQL介绍 MySQL是一个关系型数据库管理系统，在 WEB 应用方面，MySQL是最好的 RDBMS (Relational Database Management System，关系数据库管理系统) 应用软件，它是由瑞典...

排查顺序 1. 整体情况 top/htop/atop 命令查看进程/线程、CPU、内存使用情况，CPU使用情况； dstat 2 查看CPU、磁盘IO、网络IO、换页、中断、切换，系统I/O状态; vmstat 2 查看内存使用情况，内...

hive的优化主要分为：配置优化、SQL语句优化、任务优化等方案。 其中在开发过程中主要涉及到的可能是SQL优化这块。 优化的核心思想是： 减少数据量（例如分区、列剪裁）； 避免数据倾斜（例如加...

背景 大数据时代，日常工作中经常会处理数以亿计的数据。笔者近期就遇到了一个十亿级以上的数据排序需求,并输出序号。如果是小规模数据我们直接使用row_number全局排序就可以了，但是当数据规模...

Hive涉及的知识点如下图所示，本文将逐一讲解： 正文开始： 一. Hive概览 1.1 hive的简介 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功...

Hive作为大数据平台举足轻重的框架，以其稳定性和简单易用性也成为当前构建企业级数据仓库时使用最多的框架之一。 但是如果我们只局限于会使用Hive，而不考虑性能问题，就难搭建出一个完美的数...

1. Hive 1.1 without shuffle Hive在通过SQL写文件是通过MapReduce任务完成的，如下面这个例子： 在表中插入数据后，可以hdfs对应路径下找到存储的文件 可以看到插入生成了1个文件，这是因为每...