小米基于Spark3.1搭建数据开发平台实践

1. Multiple Catalog 落地与应用

2. Hive SQL 迁移 Spark SQL

3. 离线场景下 Spark 的稳定性与性能优化

4. 未来规划

5. 问答环节

01

2.Spark3的元数据管理

Hive SQL迁移 Spark SQL

2.语法检测与数据一致性校验

3.批量自动化升级

4.升级过程中的典型问题

离线场景下 Spark 的稳定性与性能优化

1.性能优化

2.稳定性优化

未来规划