Hive十亿级以上数据全局排序的一种实现方式
背景 大数据时代，日常工作中经常会处理数以亿计的数据。笔者近期就遇到了一个十亿级以上的数据排序需求,并输出序号。如果是小规模数据我们直接使用row_number全局排序就可以了，但是当数据规模...
PostgreSQL基础（十四）：PostgreSQL的数据迁移
PostgreSQL的数据迁移 PostgreSQL做数据迁移的插件非常多，可以从MySQL迁移到PostgreSQL也可以基于其他数据源迁移到PostgreSQL。 这种迁移的插件很多，这里只说一个，pgloader（非常方便） 以My...
大数据架构、高性能、数据治理面试题及答案
A. 大数据的高级处理技术（占比5%） 单选题： 1. 以下__不属于大数据的关键技术 A. 数据技术 B. 大数据安全技术和大数据质量技术 C. 虚拟化技术和云计算平台技术 D. 海量数据的存储技术 答案...
数据安全：一文讲透数据使用中的安全技术（访问、防泄漏、脱敏、水印、审计和监测）
目的：为不同角色分配完成职责所需的最小数据访问权限。 实现方式： a) 身份认证：确认用户身份 b) 权限分配：基于角色和职责分配访问权限 c) 最小授权原则：只给予完成任务所需的最小权限 技术...
ChatGPT：1小时帮你读懂DAMA（中）
《DAMA数据管理支持体系指南（原书第2版）》 17个章节共2.5万字 第7章到第11章 数据安全 数据集成和互操作 文件和内容管理 参考数据和主数据 数据仓库和商务智能 为了降低理解门槛，本文会按照...
MySQL数据库基础（十）：DQL数据查询语言
DQL数据查询语言 一、数据集准备 插入数据： 二、select查询 三、简单查询 四、条件查询 1、比较查询 2、范围查询 3、逻辑查询 4、模糊查询 5、非空查询 五、排序查询 六、聚合查询 之前我们做...
「Hive进阶篇」万字长文超详述Hive企业级优化
文章字数：13271字 预计阅读需：18分钟 有需要可 点赞+在看 关注公众号《大数据阶梯之路》找小编获取文档保存本地吧，学习和复习都是绝佳，公众号不断分享技术相关文章 一、问题背景 主要从...
数据孤岛被打破，采集1万+，使用100张？
'我们终于把数据孤岛打通了！集团所有系统的数据全接进来了，一万多张表！' 前阵子，一家传统制造企业的朋友打电话给我，声音里透着那种项目验收后的亢奋。 我心里咯噔一下，但还是问：'牛啊！...
大数据之数据治理体系全面指南
好的数据治理体系可以盘活整条数据链路，最大化保障企业数据的采集、存储、计算和使用过程的可控和可追溯。 如何构建企业数据治理体系？企业数据治理过程需要注意哪些问题？总体而言，不能一口...
