1、设置透明大页的数量 -->限制主机内存
echo 2048 > /proc/sys/vm/nr_hugepages。每个页大小为2M
2、单机模式下,运行sparkBench的时候会报错:
java.lang.OutOfMemoryError: Javaheap space
java.lang.OutOfMemoryError:GC overhead limit exceeded
办法:增大配置的SPARK_EXECUTOR_MEMORY 和SPARK_DRIVER_MEMORY
参考:http://www.cnblogs.com/wrencai/p/4231934.html
3、shell脚本中使用time指令的正确姿势:{ time cmd;} 2>out.txt
注意空格和分号的位置。参考:http://blog.chinaunix.net/uid-26557245-id-3782974.html