排序
实时数仓分层架构超全解决方案
ODS:Operation Data Store,也称为贴源层。数据仓库源头系统的数据表通常会原封不动的存储一份,这称为ODS层,是后续数据仓库加工数据的来源。 DW数据分层,由下到上一般分为DWD,DWB,DWS。 D...
普通人如何抓住DeepSeek红利?(65页PPT)
下面这份PPT探讨了普通人如何利用 DeepSeek 这款通用人工智能工具来提升工作效率、学习效率和生活质量。介绍了 DeepSeek 的功能和能力,包括文本生成、语义分析、代码生成等,并展示了其深度思...
ChatGPT、Claude的数据分析能力已经到了何种水平?
ChatGPT 4o现在也具备了该能力,但距离Claude 3.5有差距,比如针对案例一,其识别出的数据明显不准确,200602的离网用户数被识别为了52000,但肉眼可见的数据应该在70000以上。 针对案例二,把...
MySQL数据库基础(九):SQL约束
SQL约束 一、主键约束 遵循原则: 创建主键约束: 删除主键约束:如需撤销 PRIMARY KEY 约束,请使用下面的 SQL 补充:自动增长 我们通常希望在每次插入新记录时,数据库自动生成字段的值。 我...
Spark数据倾斜解决
一、数据倾斜表现 数据倾斜就是数据分到各个区的数量不太均匀,可以自定义分区器,想怎么分就怎么分。 Spark中的数据倾斜问题主要指shuffle过程中出现的数据倾斜问题,是由于不同的key对应的数据...
数仓之路:数仓中的问题与解决方案
小A进入一家网约车出现服务公司,负责公司数仓建设,试用期主要一项 OKR是制定数据仓库建设规划;因此小 A 本着从问题出发为原点,先对公司数仓现状进行一轮深入了解,理清存在问题,然后在以不...
菠菜公司开了60K,坐牢还是坐班?
大家好,今天分享的内容有点劲爆。 事情还得从我们提高班同学面试过程说起。 起因是找工作的过程中猎头推了一个岗位,办公需要remote的方式,通过zoom远程办公。这个同学的offer就属于这类,并...
一篇讲明白 Hadoop 生态的三大部件
一篇讲明白 Hadoop 生态的三大部件 ================================================== 大数据技术的发展并不是偶然的,它的背后是对于成本的考量。集中式数据库或者基于MPP架构的分布数据库...
Doris数仓的4大特点,一篇讲明白(文末送Doris书籍)
Doris从设计上来说,融合了Google Mesa的数据存储模型、Apache的ORCFile存储格式、Apache Impala查询引擎和MySQL交互协议,是一个拥有先进技术和先进架构的领先设计产品,如图1所示。 ▲图1 Do...











