PostgreSQL基础（二）：PostgreSQL的安装与配置
PostgreSQL的安装与配置 一、PostgreSQL的安装 咱们只在Linux中安装，不推荐大家在Windows下安装。 Linux的版本尽量使用7.x版本，最好是7.6或者是7.8版本。 去官网找按照的方式 选择好PGSQL的版...
一文读懂AI黑话：31个最流行的大模型术语（图解珍藏版）
一、时代基石 构成整个大语言模型时代的根基，是理解一切的前提。 1. 生成式AI (Generative AI) 2. Transformer架构 (Transformer Architecture) 3. 基础模型 (Foundation Models) 4. 预训练与...
晋升季，如何减少 50%+ 的答辩材料准备时间、调整心态（个人经验总结）
1.前言 陪伴了小伙伴萌这么久，写的都是一些技术干货，还没有聊过工作上成长的经验。 那么为什么突然要聊这么一个话题呢，有两个原因： 因此萌生了分享一下晋升答辩准备过程的想法，有一些方法...
小米基于Spark3.1搭建数据开发平台实践
小米基于Spark3.1搭建数据开发平台实践 ================================================== 1. Multiple Catalog 落地与应用 2. Hive SQL 迁移 Spark SQL 3. 离线场景下 Spark 的稳定性与...
基于Flink建设实时数仓
正文开始： 本文目录： 一. 实时计算初期 二. 实时数仓建设 三. Lambda架构的实时数仓 四. Kappa架构的实时数仓 五. 流批结合的实时数仓 实时计算初期 虽然实时计算在...
Hive十亿级以上数据全局排序的一种实现方式
背景 大数据时代，日常工作中经常会处理数以亿计的数据。笔者近期就遇到了一个十亿级以上的数据排序需求,并输出序号。如果是小规模数据我们直接使用row_number全局排序就可以了，但是当数据规模...
PostgreSQL基础（十四）：PostgreSQL的数据迁移
PostgreSQL的数据迁移 PostgreSQL做数据迁移的插件非常多，可以从MySQL迁移到PostgreSQL也可以基于其他数据源迁移到PostgreSQL。 这种迁移的插件很多，这里只说一个，pgloader（非常方便） 以My...
大数据架构、高性能、数据治理面试题及答案
A. 大数据的高级处理技术（占比5%） 单选题： 1. 以下__不属于大数据的关键技术 A. 数据技术 B. 大数据安全技术和大数据质量技术 C. 虚拟化技术和云计算平台技术 D. 海量数据的存储技术 答案...
数据安全：一文讲透数据使用中的安全技术（访问、防泄漏、脱敏、水印、审计和监测）
目的：为不同角色分配完成职责所需的最小数据访问权限。 实现方式： a) 身份认证：确认用户身份 b) 权限分配：基于角色和职责分配访问权限 c) 最小授权原则：只给予完成任务所需的最小权限 技术...
