Spark SQL 复杂类型高阶函数详解

spark sql 2.4 新增了高阶函数功能，允许在数组类型中像 scala/python 一样使用高阶函数

背景

复杂类型的数据和真实数据模型相像，但是使用sql操作较为困难，一般需要借助于 explod/collect_list 等方法，或者使用 scala / python 编写UDF，但是对每个方法都要定义并且注册，较为繁琐，其中 python udf 的性能由于需要在 JVM 和 Python 进程中进行序列化，效率更低。

例如现在有这样一种需求，对 t1 表中某个 array 字段 values 的每个元素加1

1. 只使用 sql 实现

此类方法会带来 shuffle 的开销，collect_list 也不能保证数据的顺序，同时要保证 group 字段全局唯一，否则结果会出错。

2. 使用 udf 的方式

使用 scala 定义 udf

或者使用 python 定义 udf

在 sql 中使用 udf

3. 使用高阶函数的方式

三种方式的性能对比图: 图放在评论区了

使用

Array 高阶函数

目前支持 transform / filter / exists / agregate / zip_with 方法

1. transform

对一个数组应用 function 产生另一个数组

如果 lambda function 中有两个参数，第一个参数为数组中的元素，第二个参数代表该元素的索引(从0开始)

2. filter

过滤出数组中符合条件的元素

3. exists

数组中的一个或多个元素是否满足条件

4. aggregate

给定初始值，并对数组中所有的元素都应用 function ，如果需要的话还可以加上 finish function

5. zip_with

将两个数组根据 function 合并为一个数组，较短的那个数组会以填充 null 的方式匹配较长的数组

复杂类型内置函数

spark 2.4 增加了大量的内置函数

总结