aud

分类

JAVA面试OFFER直通车(37) LeetCode(36) linux(2) mysql(3) 实习笔记(19) 错误记录(9) 面试中不会的(8) 面试基础知识准备(13) 面试复盘(2) 项目笔记(45)

/ 注册

全部文章（共182篇）

Java容器

Java中的集合，从ArrayList一直讲到ConcurrentHashMap，其中包括底层数据结构，扩容，并发问题。 HashMap是不是线程安全的，ConcurrentHashMap怎么实现线程安全 Collection 1. Set TreeSet：基于红黑树实现，支持有序性操...

2020-05-27

0 490

排序算法整理

时间复杂度为O(n^2)的：插入、选择（不稳定）、冒泡时间复杂度为O(nlogn)的：堆（不稳定），快速（不稳定），归并一、插入排序将数组中的所有元素依次跟前面已经排好的元素相比较，如果选择的元素比已排序的元素小，则交换，直到全部元素都比较过为止。 ...

2020-05-27

0 595

二叉树的遍历代码

https://www.jianshu.com/p/456af5480cee 一、先序遍历考察到一个节点后，即刻输出该节点的值，并继续遍历其左右子树。(根左右) public static void 先序非递归(TreeNode root) { Stack<TreeNode&...

2020-05-27

0 532

Shell编程

把shell命令堆积到一起，是一个文本 1.执行shell命令绝对路径执行，相对路径(要多加./) sh+ 路径 ' 2.变量相关变量可以定义时可以加 ‘’ "" 或者不加 3.传递参数 echo $1 echo $2 echo...

2020-05-27

0 516

IDEA+MAVEN开发Spark 词频统计

需要添加的依赖 <repositories> <repository> <id>cloudera</id> <name>cloudera</name> ...

2020-05-27

0 607

Spark SQL

为什么需要SQL？ SQL用于数据统计分析，关系型数据库存储的数量有限制。云化：关系型数据库 =》 Hadoop UDF支持原有关系型数据库内置的函数简单易用，无门槛转行支持sql的大数据框架: Hive: MapReduce/Tez/Spark 原理：hive把SQL 转成了对...

2020-05-27

0 833

Spark运行架构

spark运行架构要背下来 http://spark.apache.org/docs/latest/cluster-overview.html Spark Application： 1个driver + 多个executors Application jar ：打包时生成的jar包 ...

2020-05-27

0 526

Spark Core

窄依赖：一个父RDD的partition的RDD只能被子RDD的partition最多使用一次宽依赖：一个父RDD的partition的RDD会被子RDD的partition使用多次 coalesce vs repartition coalesce:用来减少分组 repartition：提高并行...

2020-05-27

0 411

Shuffle

WordCount 遇到shuffle的算子，就会拆stage

2020-05-27

0 416

项目第2节搭建开发环境

1. maven的安装：改阿里云的镜像仓库 maven in 5 minutes：http://maven.apache.org/guides/getting-started/maven-in-five-minutes.html maven在cmd里面编译: (1) cd 到项目下...

2020-05-27

0 418