第五章 Spark运行模式

PySpark实战之运行模式

官方submit文档:Submitting Applications
pyspark 与 spark-submit中的参数列表是一样的


local模式下执行py脚本流程


standalone下提交脚本流程


yarn,不需要启动worker和master
standalone需要启动worker和master


deploy-mode
启动在本地节点 client
启动在集群上worker节点 cluster

Spark的driver运行在application master里面


yarn不能够支持交互式的程序


查看已经运行完的yarn 程序的日志

总结:不管你的spark运行在哪个模式下,spark代码并不需要任何的修改