配置historyserver时:
因为端口被占用了
SparkStreaming updateStateByKeyde 使用时 --checkpoint报错
原因在使用的时候,并没有设置checkPoint 检测点
检测点的目的就是为了保存上一次的结果数据。如果没有检测点的话,那么将无法保存上一次结果
如果只是单机操作的话,不会存在问题
如果分布式操作就会存在问题?
如果要保证中间数据不丢失的话,可以借助其它的工具,如hdfs
ssc.checkpoint(“hdfs://kd0301:9000/spark_checkpoint/”)