一、Spark 是什么 大规模数据处理的统一分析引擎，也可说是分布式内存迭代计算框架。 二、Spark 四大特点 三、Spark框架模块介绍 3.1、Spark Core的RDD详解 3.1.1、什么是RDD 不可变、可分区、...

'我们终于把数据孤岛打通了！集团所有系统的数据全接进来了，一万多张表！' 前阵子，一家传统制造企业的朋友打电话给我，声音里透着那种项目验收后的亢奋。 我心里咯噔一下，但还是问：'牛啊！...

第一章：深陷泥潭 第1幅：理想 VS 现实 第2幅：夺命连环Call 第3幅：疲于奔命的“救火队” 第4幅：推行规范的尝试（失败） 第5幅：教科书的困境 第6幅：溺水者如何造船？（关键隐喻页） 第7幅：...

正文开始 注：本故事基于多人的实际经历改编而成。 序：一条深夜的微信 2023年12月的最后一个工作日，凌晨两点，我收到了老王的微信：'老师，晋升结果出来了，我又没过...' 消息框上方显示着他...

排查顺序 1. 整体情况 top/htop/atop 命令查看进程/线程、CPU、内存使用情况，CPU使用情况； dstat 2 查看CPU、磁盘IO、网络IO、换页、中断、切换，系统I/O状态; vmstat 2 查看内存使用情况，内...

一、前言 1.1 背景 从而有以下问题： 1.直接从ods贴源层取数据，业务研发侧一改造则下游链路级联影响改动很大 2.各数据分析下游从源头贴源层就直接各自依赖计算，数据链路十分零散不好管理 3.贴...

本文分为两大节介绍，第一节是数仓建设，第二节是数据治理，内容较长，还请耐心阅读！ 在谈数仓之前，先来看下面几个问题： 数仓为什么要分层？ 用空间换时间，通过大量的预处理来提升应用系统...

致大数据工程师：站在数据洪流中的思考者与造物主 亲爱的同行者： 当你们在深夜的办公室里凝视着屏幕上跳动的数据流，当你们在凌晨三点的服务器警报声中调试着分布式计算节点，当你们在数据孤岛...

近日，中国科学院旗下权威媒体《互联网周刊》联合德本咨询等共同布“2024中国软件150强”榜单。榜单根据一套严格的评估体系评定出的结果，评定因素会涉及技术实力、市场地位、服务质量、发展前...

导读 文｜傅宇康 有赞数据报表中心为商家提供了丰富的数据指标，包括30+页面，100+数据报表以及400+不同类型的数据指标，它们帮助商家更合理、科学地运营店铺，同时也直接提供分析决策方法供商...