产品概述 Apache SeaTunnel 是一个非常易用的超高性能分布式数据集成产品，支持海量数据的离线及实时同步。每天可稳定高效同步万亿级数据，已应用于数百家企业生产，也是首个由国人主导贡献到 A...

一、背景 Spark SQL 通过缓存优化、分区管理、统计信息利用和动态执行计划调整等技术，显著提升 DataFrame 或 SQL 任务的性能。合理配置以下策略可解决数据倾斜、内存溢出、执行效率低下等常见...

spark sql 2.4 新增了高阶函数功能，允许在数组类型中像 scala/python 一样使用高阶函数 背景 复杂类型的数据和真实数据模型相像，但是使用sql操作较为困难，一般需要借助于 explod/collect_lis...

PostgreSQL的主从操作 PostgreSQL自身只支持简单的主从，没有主从自动切换，仿照类似Nginx的效果一样，采用keepalived的形式，在主节点宕机后，通过脚本的执行完成主从切换。 一、主从实现（异...

PostgreSQL的数据迁移 PostgreSQL做数据迁移的插件非常多，可以从MySQL迁移到PostgreSQL也可以基于其他数据源迁移到PostgreSQL。 这种迁移的插件很多，这里只说一个，pgloader（非常方便） 以My...

PostgreSQL备份和恢复介绍 防止数据丢失的第一道防线就是备份。数据丢失有的是硬件损坏，还有人为的误删之类的，也有BUG的原因导致误删数据。 正常备份和恢复，如果公司有DBA，一般咱们不用参与...

PostgreSQL的锁介绍 PostgreSQL中主要有两种锁，一个表锁一个行锁 PostgreSQL中也提供了页锁，咨询锁，但是这个不需要关注，他是为了锁的完整性。 一、表锁 表锁显而易见，就是锁住整张表。表锁...

PostgreSQL基本操作（二） 一、字符串类型 字符串类型用的是最多的一种，在PGSQL里，主要支持三种： character（就是MySQL的char类型），定长字符串。（最大可以存储1G） character varying（va...

PostgreSQL的并发问题 一、事务的隔离级别 在不考虑隔离性的前提下，事务的并发可能会出现的问题： 脏读： 不可重复读： 幻读： 针对这些并发问题，关系型数据库有一些事务的隔离级别，一般用4...

PostgreSQL的事务介绍 一、什么是ACID（常识） 在日常操作中，对于一组相关操作，通常要求要么都成功，要么都失败。在关系型数据库中，称这一组操作为事务。为了保证整体事务的安全性，有ACID这...