PostgreSQL的安装与配置 一、PostgreSQL的安装 咱们只在Linux中安装，不推荐大家在Windows下安装。 Linux的版本尽量使用7.x版本，最好是7.6或者是7.8版本。 去官网找按照的方式 选择好PGSQL的版...

spark sql 2.4 新增了高阶函数功能，允许在数组类型中像 scala/python 一样使用高阶函数 背景 复杂类型的数据和真实数据模型相像，但是使用sql操作较为困难，一般需要借助于 explod/collect_lis...

1粉丝：我们团队习惯了做业务数据的质量监控，有成熟的完整性、一致性、准确性校验方法。但现在接触音频、图像数据，以前的经验好像都用不上。这种非结构化数据，质量到底该怎么评估和提升？ 说...

E-R模型及表间关系 一、E-R模型的使用场景 对于大型公司开发项目，我们需要根据产品经理的设计，先使用建模工具, 如：power designer，db desinger等这些软件来画出实体-关系模型(E-R模型) 然后...

'我们业务太忙！' 当你想把数据治理的失败归咎于这句话时，就要想想：业务为什么不配合？ 这就像一个项目经理抱怨开发不写文档——你也得先问问自己，写这文档到底有什么用。 业务其实一直在做...

SQL约束 一、主键约束 遵循原则： 创建主键约束： 删除主键约束：如需撤销 PRIMARY KEY 约束，请使用下面的 SQL 补充：自动增长 我们通常希望在每次插入新记录时，数据库自动生成字段的值。 我...

小A进入一家网约车出现服务公司，负责公司数仓建设，试用期主要一项 OKR是制定数据仓库建设规划；因此小 A 本着从问题出发为原点，先对公司数仓现状进行一轮深入了解，理清存在问题，然后在以不...

实时数仓演进&方案对比选型落地 ================================================== 【作者介绍】王磊，阿里云 MVP，华院计算技术总监。 著有：《图解 Spark 大数据快速分析实战》；《off...