Yanko24

Spark

Algorithm(1) C(4) CentOS(3) ElasticSearch(7) Git(1) Hadoop(1) Hbase(3) Hive(2) JavaWeb(1) Java学习笔记(20) JDBC(2) Kafka(3) Linux(1) MapReduce(2) Maven(1) MySQL(3) Redis(2) SBT(1) Scala(1) Shell(1) Spring(2) Sqoop(2) Tomcat(1) Ubuntu(1) ZooKeeper(1) 数据结构(1) 计算机基础(5) 设计模式(4) 软件安装(5)

/ 注册

全部文章 / Spark （共6篇）

Spark常见的Transformation算子（四）

Spark常见的Transformation算子（四）原始数据 println("======================= 原始数据 ===========================") val data1: RDD[String] = sc.paralleli...

2020-01-14

0 338

Spark常见的Transformation算子（三）

Spark常见的Transformation算子（三）初始化数据 println("======================= 原始数据 ===========================") val data1: RDD[Int] = sc.parallelize...

2020-01-13

0 387

Spark常见的Transformation算子（二）

Spark常见的Transformation算子（二）初始化数据 println("======================= 原始数组 ===========================") val data: RDD[String] = sc.textFile(...

2020-01-13

0 386

Spark常见的Transformation算子（一）

Spark常见的Transformation算子（一） parallelize 将一个存在的集合，转换成一个RDD /** Distribute a local Scala collection to form an RDD. * * @note Parallelize acts lazi...

2020-01-13

0 434

Spark的分区器（Partitioner）

Spark的分区器（Partitioner） HashPartitioner（默认的分区器） HashPartitioner分区原理是对于给定的key，计算其hashCode，并除以分区的个数取余，如果余数小于0，则余数+分区的个数，最后返回的值就是这个key所属的分区ID，当key为nul...

2020-01-12

0 448

使用IDEA和SBT构建Spark程序

使用IDEA和SBT构建Spark程序 1. 打开IDEA创建一个Scala项目，选择sbt 2. 选择合适的sbt版本和scala版本 3. 创建完成之后会从远程服务器拉取一些项目的信息，可能比较慢 4. 完成后的项目结构如图所示 5. 编辑build.sbt文件，导入s...

2020-01-08

0 586