executor-cores参数是否对vcores生效的问题分析

executor-cores参数是否对vcores生效的问题分析

虽然目前大多数平台内置Application在提交时,只配置了–num-executors–executor-memory参数,但是其他APP的开发者可能会配置–executor-cores参数。

举个例子:

./Spark-submit –master yarn-client –executor-cores 4 –num-executors 6  –executor-memory 10g –driver-memory 2g –class xxxApp xxJar  –jars $SPARK_HOME/lib/postgresql-9.4-1201.jdbc41.jar

即有6executor,每个executorcores数目为4。不过当你提交任务时,你一定会非常吃惊,因为yarn 8088上展示的vcores会是7。看起来就像是参数设置并未生效一样。

其实这是因为我们的capacity schedule使用的是DefaultResourceCalculator,那么DefaultResourceCalculator它在加载Container时其实仅仅只会考虑内存而不考虑cores。所以,如果我们想让它既考虑内存也考虑cores的话,需要将$HADOOP_HOME/etc/Hadoop/capacity-scheduler.xml

中的:

<property>
<name>yarn.scheduler.capacity.resource-calculator</name>
<value>org.apache.hadoop.yarn.util.resource.DefaultResourceCalculator</value>
</property>

修改为:

<property>
<name>yarn.scheduler.capacity.resource-calculator</name>
<value>org.apache.hadoop.yarn.util.resource.DominantResourceCalculator</value>
</property>

请注意每个节点的配置文件都需要修改。并且重启hadoop

这是再提交spark applicationvcores use的数目就对了。

25=4*6+1

 

另外,如果不期望在命令中写executor-cores参数,可以在$SPARK_HOME/conf/spark-env.sh里配置:

export SPARK_EXECUTOR_CORES=4

这样默认executor-cores就为4了。