Aimmon

Spark

Ambari(1) CDH(1) Docker(1) Hadoop(5) Hbase(1) HDP(2) HUE(1) Java 不可不知(2) Java_环境变量(5) Java并发编程(1) JVM(10) Kafka(1) Linux(10) Mac_Vmware(3) Maven(2) MySQL(2) Presto(1) Python(77) Scala(5) Sqoop(1) Storm(4) Superset(3) TensorFlow(3) VM(2) Zabbix(1) zookeeper(4) 工作记录(16) 数据结构和算法(5) 未归档(1) 机器学习(1) 益智&DIY(5)

/ 注册

全部文章 / Spark （共12篇）

Spark学习笔记1. 伪分布式&全分布式环境搭建

安装Linux、JDK等等解压：tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz -C ~/training/ 由于Spark的脚本命令和Hadoop有冲突，只设置一个即可（不能同时设置）配置文件：/root/training/spark-2.1.0-bin-had...

2022-05-17

0 0

Spark学习笔记2. HA 环境搭建

Spark HA：两种方式参考讲义（1）基于文件目录：开发测试（单机环境）（*）将Worker和Application的状态信息写入一个目录（*）如果出现崩溃，从该目录进行恢复（*）在bigdata11上配置 (1) 创建一个恢复目录 mkdir ...

2022-05-17

0 0

Spark学习笔记4. IDEA开发WordCount 程序

1.Scala 版 package demo import org.apache.spark.{SparkConf, SparkContext} object SparkDemo { def main(args: Array[String]): Unit = { //配置 ...

2022-05-17

0 0

Spark 学习笔记3. spark-submit + spark-shell

spark-submit: 相当于 hadoop jar 命令 ---> 提交MapReduce任务（jar文件）提交Spark的任务（jar文件） Spark提供Example例子：/root/training/spark-2.1.0-bin-had...

2022-05-17

0 0

Spark学习笔记5. WordCount处理流程

2022-05-17

0 0

Spark学习笔记6. Spark提交任务的流程

2022-05-17

0 0

Spark coalesce 和repartitions 区别

源码包: org.apache.spark.rdd def coalesce(numPartitions: Int, shuffle: Boolean = false, partitionCoalescer: Option[PartitionCoalescer] = Option.empty)(...

2022-05-17

1 0

Spark core 编程案例1

测试数据: 192.168.88.1 - - [30/Jul/2017:12:53:43 +0800] "GET /MyDemoWeb/ HTTP/1.1" 200 259 192.168.88.1 - - [30/Jul/2017:12:53:43 +0800] "...

2022-05-17

0 0

scala > spark format jdbc java.sql.SQLException: No suitable driver

scala> val jd = spark.read.format("jdbc").option("url","jdbc:oracle:thin:@192.168.163.134:1521:orcl").option("d...

2022-05-17

0 0

Spark shell The specified datastore driver (“com.mysql.jdbc.Driver“) was not found in the CLASSPATH

个人电脑上spark HA 环境以前用完了之后一直没鼓捣，时隔N个月之后，重新spark-shell 的时候竟然异常了，信息如下 Caused by: org.datanucleus.exceptions.NucleusException: Attempt to invoke the "...

2022-05-17

0 0