Aimmon

分类

Ambari(1) CDH(1) Docker(1) Hadoop(5) Hbase(1) HDP(2) HUE(1) Java 不可不知(2) Java_环境变量(5) Java并发编程(1) JVM(10) Kafka(1) Linux(10) Mac_Vmware(3) Maven(2) MySQL(2) Presto(1) Python(77) Scala(5) Spark(12) Sqoop(1) Storm(4) Superset(3) TensorFlow(3) VM(2) Zabbix(1) zookeeper(4) 工作记录(16) 数据结构和算法(5) 未归档(1) 机器学习(1) 益智&DIY(5)

/ 注册

全部文章（共189篇）

Spark学习笔记1. 伪分布式&全分布式环境搭建

安装Linux、JDK等等解压：tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz -C ~/training/ 由于Spark的脚本命令和Hadoop有冲突，只设置一个即可（不能同时设置）配置文件：/root/training/spark-2.1.0-bin-had...

2022-05-17

0 0

Scala 柯里化

柯里化（Currying）将原来接受两个参数的函数变成新的接受一个参数的函数的过程。新的函数返回一个以原有第二个参数为参数的函数。实例首先我们定义一个函数: def sum(x:Int,y:Int)=x+y 那么我们应用的时候，应该是这样用：add(1,2) 现在我们把这...

2022-05-17

0 0

Spark学习笔记2. HA 环境搭建

Spark HA：两种方式参考讲义（1）基于文件目录：开发测试（单机环境）（*）将Worker和Application的状态信息写入一个目录（*）如果出现崩溃，从该目录进行恢复（*）在bigdata11上配置 (1) 创建一个恢复目录 mkdir ...

2022-05-17

0 0

IDEA 输出jar 包

1. File-->Project Structure 2.Artifacts--> + --> JAR -->Empty 3.name --> + -->Module OutPut 4.选择Module 点击OK 5.选择重命名的ja...

2022-05-17

0 0

Spark学习笔记4. IDEA开发WordCount 程序

1.Scala 版 package demo import org.apache.spark.{SparkConf, SparkContext} object SparkDemo { def main(args: Array[String]): Unit = { //配置 ...

2022-05-17

0 0

Spark 学习笔记3. spark-submit + spark-shell

spark-submit: 相当于 hadoop jar 命令 ---> 提交MapReduce任务（jar文件）提交Spark的任务（jar文件） Spark提供Example例子：/root/training/spark-2.1.0-bin-had...

2022-05-17

0 0

Spark学习笔记5. WordCount处理流程

2022-05-17

0 0

Spark学习笔记6. Spark提交任务的流程

2022-05-17

0 0

Linux CPU 线上过载

使用top查看进程维度的CPU负载步骤一、找到最耗CPU的进程工具：top 方法：执行top -c ，显示进程运行信息列表键入P (大写p)，进程按照CPU使用率排序方法2.（ps -eo pid,pcpu | sort -n -k 2 ）步骤二：找到...

2022-05-17

0 0

Spark coalesce 和repartitions 区别

源码包: org.apache.spark.rdd def coalesce(numPartitions: Int, shuffle: Boolean = false, partitionCoalescer: Option[PartitionCoalescer] = Option.empty)(...

2022-05-17

1 0