Sparkonyarn

Spark on yarn

创新互联公司坚持“要么做到,要么别承诺”的工作理念,服务领域包括:成都网站制作、成都做网站、外贸营销网站建设、企业官网、英文网站、手机端网站、网站推广等服务,满足客户于互联网时代的岳阳县网站设计、移动媒体设计的需求,帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴!

ResourceManager  资源管理   只有一个(资源以Container表示)

ApplicationMaster  应用管理   用户每提交一个application都包含一个ApplicationMaster
NodeManager 每个节点对应一个

ApplicationMaster 启动后向ResourceManager要资源

Spark on yarn

每个Executor对应一个Container

每个SparkContext有一个ApplicationMaster

Spark on yarn

spark支持的两种模式区别 Spark Driver运行在哪儿

yarn-cluster(YarnClusterScheduler) (driverApplicationMaster运行在一起,client看不到运行结果)

yarn-client  (YarnClientClusterScheduler)(driver和client运行在一起,适用于终端返回结果)

Spark on yarn


当前标题:Sparkonyarn
文章位置:http://www.hxwzsj.com/article/ipshsj.html

其他资讯

Copyright © 2025 青羊区翔捷宏鑫字牌设计制作工作室(个体工商户) All Rights Reserved 蜀ICP备2025123194号-14
友情链接: 成都模版网站建设 宜宾网站设计 网站建设方案 响应式网站建设 成都响应式网站建设 成都网站设计 成都网站制作 网站制作 手机网站建设 成都网站建设 网站建设推广 成都网站建设公司 专业网站设计 成都网站建设 高端网站建设 四川成都网站设计 成都品牌网站设计 成都网站设计 企业手机网站建设 重庆网站设计 成都网站设计 成都商城网站制作