牛客大数据入门菜鸡

读书笔记

杂烩(1) 算法(1) 面试题(5) 项目(1)

/ 注册

全部文章 / 读书笔记（共79篇）

Spark学习之路（十）SparkCore的调优之Shuffle调优来自专栏

一、概述大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对shuffle过程进行调优。但是也必须提醒大家的是，影响一个Spark作业性能的因素，主要还是代码开发、资源参数以及数据倾斜...

2020-11-27

0 0

Spark学习之路（九）SparkCore的调优之数据倾斜调优来自专栏

数据倾斜调优调优概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。数据倾斜发生时的现象绝大多数task执行得都非常快，但个别task执行极慢。比如...

2020-11-27

0 0

Flink 源码阅读笔记（3）- ExecutionGraph 的生成来自专栏

我们前面已经分析过 StreamGraph, JobGraph 的生成过程，这两个执行图都是在 client 端生成的。接下来我们将把目光头投向 Flink Job 运行时调度层核心的执行图 - ExecutionGraph。和 StreamGraph 以及 JobGraph 不同的是，Execu...

2020-11-27

0 0

Spark学习之路（八）SparkCore的调优之开发调优来自专栏

前言在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团•大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学（...

2020-11-26

0 347

Spark学习之路（七）Spark 运行流程来自专栏

一、Spark中的基本概念（1）Application：表示你的应用程序（2）Driver：表示main()函数，创建SparkContext。由SparkContext负责与ClusterManager通信，进行资源的申请，任务的分配和监控等。程序执行完毕后关闭SparkContext （3）E...

2020-11-26

0 0

Spark学习之路（六）Spark Transformation和Action 来自专栏

Transformation算子基本的初始化java static SparkConf conf = null; static JavaSparkContext sc = null; static { conf = new SparkConf(); ...

2020-11-26

0 0

Spark学习之路（五）Spark伪分布式安装来自专栏

一、JDK的安装JDK使用root用户安装 1.1　上传安装包并解压 [root@hadoop1 soft]# tar -zxvf jdk-8u73-linux-x64.tar.gz -C /usr/local/1.2　配置环境变量 [root@hadoop1 soft]# vi /etc/prof...

2020-11-26

0 0

Spark学习之路（四）Spark的广播变量和累加器来自专栏

一、概述在spark程序中，当一个传递给Spark操作(例如map和reduce)的函数在远程节点上面运行时，Spark操作实际上操作的是这个函数所用变量的一个独立副本。这些变量会被复制到每台机器上，并且这些变量在远程机器上的所有更新都不会传递回驱动程序。通常跨任务的读写变量是低效的，但是，Spar...

2020-11-26

0 0

Spark学习之路（三）Spark之RDD 来自专栏

一、RDD的概述1.1　什么是RDD？RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多...

2020-11-26

0 0

Spark学习之路（二）Spark2.3 HA集群的分布式安装来自专栏

一、下载Spark安装包1、从官网下载 http://spark.apache.org/downloads.html 2、从微软的镜像站下载http://mirrors.hust.edu.cn/apache/ 3、从清华的镜像站下载https://mirrors.tuna.tsinghua.edu...

2020-11-26

0 0