spark运行架构 要背下来
http://spark.apache.org/docs/latest/cluster-overview.html

  • Spark Application： 1个driver + 多个executors
  • Application jar ： 打包时生成的jar包
  • Driver program ：运行main函数的进程，并且创建了一个sparkcontext
  • Cluster manager: 一个从cluster申请资源的外部服务
  • Deploy mode: 区分driver进程跑在哪里；client模式下，driver跑在本地; cluster模式下，driver跑在集群里
  • Executor： 启动应用程序的进程；它能够运行tasks,保存数据到memort/disk。每个application都有自己的executor;
  • Task：作业的基本单元，每个task都会被送到一个executor上去执行
  • Job： 众多task组成的并行计算，一个Spark的action算子产生一个Job