备案控制台

开发者社区

开发者社区 > 大数据与机器学习 > 开源大数据平台 E-MapReduce > 视频 > 正文

Spark on Kubernetes & YARN

发布者：开发者说 2019-11-12 16:51:16 998

开发者说

+关注

视频介绍

以Kubernetes为代表的云原生技术越来越流行起来，spark是如何跑在Kubernetes之上来享受云原生技术的红利？
Spark跑在Kubernetes之上和跑在Hadoop YARN上又有什么区别？以及Kubernetes 和YARN的差异点是什么。

讲师介绍

何剑，阿里巴巴高级技术专家，专注于Kubernetes容器云和大数据底层调度以及基础架构，负责阿里巴巴容器平台在线服务和离线计算任务混部。此前就职于Hortonworks, 是Hadoop 社区Committer和PMC成员

关键词：

容器服务Kubernetes版服务

容器服务Kubernetes版选型

Yarn cdc

Yarn flink

容器服务Kubernetes版环境日志采集

来源：

开发者社区 > 数据库 > NoSQL数据库 > 正文

相关视频

大数据与机器学习

开源大数据平台 E-MapReduce

+关注

阿里云EMR是云原生开源大数据平台，为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎，计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。

热门文章

热门讨论

梨视频：基于阿里云E-MapReduce搭建视频推荐系统的实践

如何在E-MapReduce中玩转OSS

阿里云大数据+AI技术沙龙上海站回顾 | ?揭秘TPC-DS 榜单第一名背后的强大引擎

Apache Spark中国技术交流社区历次直播回顾（持续更新）

开源大数据周刊-第12期

为什么选择ali-E-MapReduce

Spark Operator浅析

实时 OLAP 系统 Druid

使用Spark SQL进行流式机器学习计算（上）

Delta元数据解析

展开全部

阿里云E-MapReduce的 notebook 的工作空间莫名消失了大家有遇到的吗？

请问hive 的hive-site.xml文件在哪啊

怎么开通 EMR Doctor 呢？

阿里云E-MapReduce的Workflow 怎么和dataworks的调度做联动？

EMR中如何申请开通doctor，添了表格好像没有打电话？

阿里云E-MapReducef这个镜像难道要跟特定版本的jindo搭配吗？

阿里云E-MapReduce中Workflow内的阿里云监控告警插件怎么配置啊？

阿里云E-MapReduce读写 oss 文件时，api 的调用次数和文件层级有关系吗？

百度云备案可以转阿里来吗

阿里云E-MapReduce的jindodata写数据到oss，是单线程还是多线程阿？

展开全部

+关注

开发者说

文章

问答

视频

来源圈子

更多

Apache Spark 中国技术社区

4459

邀请你加入钉钉群聊Apache Spark中国技术交流社区，点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,X7S/0/QcrLMkK7QZ5sw2oTvoYW49u0g5dvGu7PW+sm4=&_dt_no_comment=1&origin=11。</br> 微信公众号：Apache Spark技术交流社区为 Spark 爱好者提供一个交流技术和传递资讯的平台，在这里你可以掌握大数据计算领域最前沿的资讯，可以与 Spark 技术大牛面对面交流，还有不定期社区福利领取哟～

+ 订阅

相关产品

开源大数据平台 E-MapReduce

文档详情产品详情

相关文章

更多

《Apache Spark on Kubernetes》电子版地址 Apache Spark 2.3 加入支持Native Kubernetes及新特性文档下载《从Spark到Kubernetes MaxCompute 的云原生开源生态实践之路》电子版地址【k8s系列2】spark on k8s(kubernetes) DynamicResourceAllocation(DRA) 如何实现Spark on Kubernetes？如何实现Spark on Kubernetes？在kubernetes上运行apache spark：最佳实践和陷阱在 kubernetes 中用 alluxio 加速 spark 数据访问在kubernetes中用alluxio加速spark数据访问（二） Adaptive Execution如何让Spark SQL更高效更好用？