本文介绍了Spark源码中的相关脚本…
1 脚本说明
简要介绍下常用脚本,这里的重点是spark-class脚本,其他都比较简单。
1 | beeline |
2 spark-class
1 | !/usr/bin/env bash |
3 org.apache.spark.launcher.Main
这里完成不同模式下的命令拼接,最后由spark-class脚本拉起。
1 | public static void main(String[] argsArray) throws Exception { |
4 总结
pyspark,run-example,sparkR,spark-shell,spark-sql最终都会调用spark-submit。
spark-submit脚本(指定了执行主类 org.apache.spark.deploy.SparkSubmit),最后拉起程序的脚本是spark-class。
spark-class主要完成环境的校验,加载,shell命令的构建(通过org.apache.spark.launcher.Main来封装命令),并最终拉起spark任务。
本文作者:
Jeff.R
本文链接: https://stefanxiepj.github.io/archives/e33401c8.html
版权声明: 本作品采用 知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议 进行许可。转载请注明出处!
本文链接: https://stefanxiepj.github.io/archives/e33401c8.html
版权声明: 本作品采用 知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议 进行许可。转载请注明出处!
![知识共享许可协议](https://i.creativecommons.org/l/by-nc-sa/4.0/88x31.png)