spark sql 2.4 新增了高阶函数功能，允许在数组类型中像 scala/python 一样使用高阶函数 背景 复杂类型的数据和真实数据模型相像，但是使用sql操作较为困难，一般需要借助于 explod/collect_lis...

一篇文章教会你数据仓库之详解拉链表怎么做！ ================================================== 前言 先分享一下拉链表的用途、什么是拉链表。 通过一些小的使用场景来对拉链表做近一步的阐...

献给所有在数据海洋中默默耕耘的同仁们 第一章：诞生篇 序幕 诞生时刻 初识世界 身份认证 第二章：成长篇 ETL的洗礼 进入ODS层 升入DWD层 DWS层的聚合 ADS层的展示 第三章：职业生涯篇 数据血缘...

背景 大数据时代，日常工作中经常会处理数以亿计的数据。笔者近期就遇到了一个十亿级以上的数据排序需求,并输出序号。如果是小规模数据我们直接使用row_number全局排序就可以了，但是当数据规模...

下面这份PPT探讨了普通人如何利用 DeepSeek 这款通用人工智能工具来提升工作效率、学习效率和生活质量。介绍了 DeepSeek 的功能和能力，包括文本生成、语义分析、代码生成等，并展示了其深度思...

  文末获取资料 数据中台到底是什么？几年过去了，也一直众说纷纭。 1、大数据平台 1、大数据平台1、大数据平台 2、数据资产管理平台 2、数据资产管理平台 业务元数据： 技术元数据： 管理元数...

hive的优化主要分为：配置优化、SQL语句优化、任务优化等方案。 其中在开发过程中主要涉及到的可能是SQL优化这块。 优化的核心思想是： 减少数据量（例如分区、列剪裁）； 避免数据倾斜（例如加...

近日，中国科学院旗下权威媒体《互联网周刊》联合德本咨询等共同布“2024中国软件150强”榜单。榜单根据一套严格的评估体系评定出的结果，评定因素会涉及技术实力、市场地位、服务质量、发展前...

AI在网络安全的历史应用：报告回顾了AI技术如专家系统、机器学习算法（包括SVM、决策树等）和深度学习技术在网络安全中的应用，强调了这些技术在恶意软件检测、入侵检测系统、钓鱼网站识别等方...

企业知识开源首席布道师陈果的答案是：数据归IT，分析归业务。即IT部门主要负责管理好数据、提供好工具，分析本质上是业务要做的事情。 为何会有这样的结论？陈果在「敏捷·创变——2024观远数...