mounike

spark

Hadoop(1) hive(6) kafka(1) MySQL(2) shell(2) spider(1) UserPortrait(1) VMware(1) Yarn(1) 资料汇总(1)

/ 注册

全部文章 / spark （共5篇）

spark程序远程连接mysql数据库报错

Exception in thread "main" java.sql.SQLException: null, message from server: "Host '192.168.1.121' is not allowed to connect to this M...

2020-07-13

0 657

SparkStreaming中WAL容错机制

1 什么是WAL？ wal（write ahead logging）预写日志系统。就是提前备份元数据信息和数据。总体上来看： WAL系统是一个存储系统，它可以存储和接受数据。有时间属性和索引属性。看源码介绍: 在sparkstreaming中冷备应用图示介绍表示接受数据，接受...

2020-07-13

0 637

spark远程运行找不到winutils

错误如下图所示：下载呢对应hadoop版本的地址： https://github.com/4ttty/winutils 改错：将hadoop添加进windows系统的环境变量如果还是报错，记得添加这句代码： System.setProperty("hadoop.home.dir...

2020-07-13

0 448

spark如何将数据一步步封装成RDD的

对于spark的研究离不开RDD，但是spark如何将磁盘文件一步步封装成RDD的计算模型的？记录一下这个问题：梳理一下Spark中关于并发度涉及的几个概念File，Block，Split，Task，Partition，RDD以及节点数、Executor数、core数目的关系。输入可能...

2020-07-13

0 473

Spark与MapReduce的区别是什么？

Spark和MapReduce都是可以处理海量数据，但是在处理方式和处理速度上存在着差异，总结如下： 1.spark处理数据是基于内存的，而MapReduce是基于磁盘处理数据的。 MapReduce是将中间结果保存到磁盘中，减少了内存占用，牺牲了计算性能。 Spark是将计算的中间结...

2020-07-13

0 3443