牛客大数据入门菜鸡

读书笔记

杂烩(1) 算法(1) 面试题(5) 项目(1)

/ 注册

全部文章 / 读书笔记（共79篇）

Spark学习之路（二十）SparkSQL的元数据来自专栏

一、概述SparkSQL 的元数据的状态有两种： 1、in_memory,用完了元数据也就丢了 2、hive , 通过hive去保存的，也就是说，hive的元数据存在哪儿，它的元数据也就存在哪儿。　换句话说，SparkSQL的数据仓库在建立在Hive之上实现的。我们要用SparkSQL去构建数...

2020-11-27

0 457

Spark学习之路（十九）SparkSQL的自定义函数UDF 来自专栏

在Spark中，也支持Hive中的自定义函数。自定义函数大致可以分为三种： UDF(User-Defined-Function)，即最基本的自定义函数，类似to_char,to_date等 UDAF（User- Defined Aggregation Funcation），用户自定义聚合函数，类似在...

2020-11-27

0 709

Spark学习之路（十八）SparkSQL简单使用来自专栏

一、SparkSQL的进化之路1.0以前： Shark1.1.x开始： SparkSQL(只是测试性的) SQL1.3.x: SparkSQL(正式版本)+Dataframe1.5.x: SparkSQL 钨丝计划 1.6.x： SparkSQL+DataFrame+DataSet(测试...

2020-11-27

0 416

Spark学习之路（十七）Spark分区来自专栏

一、分区的概念　　分区是RDD内部并行计算的一个计算单元，RDD的数据集在逻辑上被划分为多个分片，每一个分片称为分区，分区的格式决定了并行计算的粒度，而每个分区的数值计算都是在一个任务中进行的，因此任务的个数，也是由RDD(准确来说是作业最后一个RDD)的分区数决定。二、为什么要进行分区　数据分...

2020-11-27

0 326

Spark学习之路（十六）SparkCore的源码解读（二）spark-submit提交脚本来自专栏

一、概述上一篇主要是介绍了spark启动的一些脚本，这篇主要分析一下Spark源码中提交任务脚本的处理逻辑，从spark-submit一步步深入进去看看任务提交的整体流程,首先看一下整体的流程概要图：二、源码解读2.1　spark-submit # -z是检查后面变量是否为空（空则真） she...

2020-11-27

0 452

Spark学习之路（十五）SparkCore的源码解读（一）启动脚本来自专栏

一、启动脚本分析独立部署模式下，主要由master和slaves组成，master可以利用zk实现高可用性，其driver，work，app等信息可以持久化到zk上；slaves由一台至多台主机构成。Driver通过向Master申请资源获取运行环境。启动master和slaves主要是执行/us...

2020-11-27

0 379

Spark学习之路（十四）SparkCore的调优之资源调优JVM的GC垃圾收集器来自专栏

一、概述垃圾收集 Garbage Collection 通常被称为“GC”，它诞生于1960年 MIT 的 Lisp 语言，经过半个多世纪，目前已经十分成熟了。 jvm 中，程序计数器、虚拟机栈、本地方法栈都是随线程而生随线程而灭，栈帧随着方法的进入和退出做入栈和出栈操作，实现了自动的内存清理，因此...

2020-11-27

0 280

Spark学习之路（十三）SparkCore的调优之资源调优JVM的基本架构来自专栏

一、JVM的结构图1.1　Java内存结构 JVM内存结构主要有三大块：堆内存、方法区和栈。堆内存是JVM中最大的一块由年轻代和老年代组成，而年轻代内存又被分成三部分，Eden空间、From Survivor空间、To Survivor空间,默认情况下年轻代按照8:1:1的比例来分配；方法区存...

2020-11-27

0 290

Spark学习之路（十二）SparkCore的调优之资源调优来自专栏

一、概述在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。资源参数设置的不合理，可能会导致没有充分利用...

2020-11-27

0 308

Spark学习之路（十一）SparkCore的调优之Spark内存模型来自专栏

一、概述Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络，抛砖引玉，引出读者对这个话题的深入探讨。本文中阐述的原理基于 ...

2020-11-27

0 387