备案控制台
探索云世界
开发者社区 > 大数据与机器学习 > 开源大数据平台 E-MapReduce > 视频 > 正文

基于 Spark 打造高效云原生数据分析引擎

发布者：开发者说 2019-11-25 19:25:37 1368
开发者说
+关注
视频介绍

由阿里巴巴 EMR 团队提交的 TPC-DS 成绩在九月份的榜单中取得了排名第一的成绩。这个成绩背后离不开 EMR 团队对 Spark 执行引擎持续不断的优化。
本次分享将选取一些有代表性的优化点，深入到技术细节做详细介绍，包括但不限于动态过滤、CBO增强、TopK排序等等。

嘉宾介绍

辛庸，阿里巴巴计算平台事业部 EMR 技术专家。Apache Hadoop，Apache Spark contributor。对 Hadoop、Spark、Hive、Druid 等大数据组件有深入研究。目前从事大数据云化相关工作，专注于计算引擎、存储结构、数据库事务等内容。

关键词：
云原生架构
云原生数字化转型
云原生构建
云原生关键作用
构建云原生
相关视频
大数据与机器学习
开源大数据平台 E-MapReduce
+关注
阿里云EMR是云原生开源大数据平台，为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎，计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。
热门文章
热门讨论
漫谈分布式计算框架
11042
Apache Spark 3.0 将内置支持 GPU 调度
10364
Apache Flink : Checkpoint 原理剖析与应用实践
7083
Presto实现原理（转）
7102
从数砖开源 Delta Lake 说起
6301
钉钉群直播【Delta Lake：一种新型的数据湖方案】
5432
使用Spark Streaming SQL进行PV/UV统计
6909
Spark Operator浅析
8931
Structured Streaming VS Flink
5157
使用spark-redis组件访问云数据库Redis
4254
展开全部
阿里云E-MapReduce导致的ECS监控告警。请问还有其他什么排查方式么？
50
阿里云E-MapReduce中在spark里使用jingdo访问oss， 是啥原因？
63
E-MapReduce由于某些未知错误、异常或失败，请求处理失败？
85
核桃编程是什么？
3078
有 E-MapReduce on ECS 的维护手册吗？ 除了官网的那个，有没有文档形式的那种呢？
52
请问hive 的hive-site.xml文件在哪啊
1479
EMR中如何申请开通doctor，添了表格好像没有打电话？
117
阿里云E-MapReduce这个CU用完啦 需要购买吗？
23
starRock 一定要 达到 8核，16核的要求 才能部署吗？4核 64G内存，行不行？
439
阿里云E-MapReduce中Nootbook什么时候可以上文件夹功能？
21
展开全部
+关注
开发者说
文章
问答
视频
来源圈子
更多
Apache Spark 中国技术社区
4459
邀请你加入钉钉群聊Apache Spark中国技术交流社区，点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,X7S/0/QcrLMkK7QZ5sw2oTvoYW49u0g5dvGu7PW+sm4=&_dt_no_comment=1&origin=11。</br> 微信公众号：Apache Spark技术交流社区 为 Spark 爱好者提供一个交流技术和传递资讯的平台，在这里你可以掌握大数据计算领域最前沿的资讯，可以与 Spark 技术大牛面对面交流，还有不定期社区福利领取哟～
+ 订阅

相关产品

  • 开源大数据平台 E-MapReduce
    文档详情 产品详情
    • 相关文章
    更多
    Spark DPP(动态分区裁剪)导致的DataSourceScanExec NullPointerException问题分析以及解决 【spark系列8】spark delta读数据实现分析 【spark系列7】spark delta写操作ACID事务实现分析 【spark系列6】spark delta写操作ACID事务前传--写文件基础类FileFormat/FileCommitProtocol分析 【spark系列3】spark 3.0.1 AQE(Adaptive Query Exection)分析（二） 【spark系列3】spark 3.0.1 AQE(Adaptive Query Exection)分析（一） 基于Spark Streaming对新闻网站项目案例分析 基于Spark对某移动APP流量访问日志分析（Java版） 使用Apache Spark和Apache Hudi构建分析数据湖 《循序渐进学Spark》一3.2　Spark调度机制


    http://www.vxiaotou.com