第五章 Spark运行模式
PySpark实战之运行模式
官方submit文档:Submitting Applications
pyspark 与 spark-submit中的参数列表是一样的
local模式下执行py脚本流程
standalone下提交脚本流程
yarn,不需要启动worker和master
standalone需要启动worker和master
deploy-mode
启动在本地节点 client
启动在集群上worker节点 cluster
Spark的driver运行在application master里面
yarn不能够支持交互式的程序
查看已经运行完的yarn 程序的日志
总结:不管你的spark运行在哪个模式下,spark代码并不需要任何的修改