牛客大数据入门菜鸡

分类

杂烩(1) 算法(1) 读书笔记(79) 面试题(5) 项目(1)

/ 注册

TA的专栏 84篇文章 0人订阅

84篇文章 0人学习

Flink 源码阅读笔记（21）- Flink JobManager HA 机制的扩展与实现
Redis

全部文章（共86篇）

Spark学习之路（八）SparkCore的调优之开发调优来自专栏

前言在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团•大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学（...

2020-11-26

0 0

Spark学习之路（七）Spark 运行流程来自专栏

一、Spark中的基本概念（1）Application：表示你的应用程序（2）Driver：表示main()函数，创建SparkContext。由SparkContext负责与ClusterManager通信，进行资源的申请，任务的分配和监控等。程序执行完毕后关闭SparkContext （3）E...

2020-11-26

0 0

Spark学习之路（六）Spark Transformation和Action 来自专栏

Transformation算子基本的初始化java static SparkConf conf = null; static JavaSparkContext sc = null; static { conf = new SparkConf(); ...

2020-11-26

0 0

Spark学习之路（五）Spark伪分布式安装来自专栏

一、JDK的安装JDK使用root用户安装 1.1　上传安装包并解压 [root@hadoop1 soft]# tar -zxvf jdk-8u73-linux-x64.tar.gz -C /usr/local/1.2　配置环境变量 [root@hadoop1 soft]# vi /etc/prof...

2020-11-26

0 0

Spark学习之路（四）Spark的广播变量和累加器来自专栏

一、概述在spark程序中，当一个传递给Spark操作(例如map和reduce)的函数在远程节点上面运行时，Spark操作实际上操作的是这个函数所用变量的一个独立副本。这些变量会被复制到每台机器上，并且这些变量在远程机器上的所有更新都不会传递回驱动程序。通常跨任务的读写变量是低效的，但是，Spar...

2020-11-26

0 0

Spark学习之路（三）Spark之RDD 来自专栏

一、RDD的概述1.1　什么是RDD？RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多...

2020-11-26

0 0

Spark学习之路（二）Spark2.3 HA集群的分布式安装来自专栏

一、下载Spark安装包1、从官网下载 http://spark.apache.org/downloads.html 2、从微软的镜像站下载http://mirrors.hust.edu.cn/apache/ 3、从清华的镜像站下载https://mirrors.tuna.tsinghua.edu...

2020-11-26

0 0

Spark学习之路（一）Spark初识来自专栏

一、官网介绍1、什么是Spark官网地址：http://spark.apache.org/Apache Spark™是用于大规模数据处理的统一分析引擎。从右侧最后一条新闻看，Spark也用于AI人工智能 spark是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室开发的通用内...

2020-11-26

0 0

Flink 源码阅读笔记（2）- JobGraph 的生成来自专栏

前面的文章我们介绍了 StreamGraph 的生成，这个实际上只对应 Flink 作业在逻辑上的执行计划图。Flink 会进一步对 StreamGraph 进行转换，得到另一个执行计划图，即 JobGraph。 JobVertex 在 StreamGraph 中，每一个算子（Operator）对...

2020-11-26

0 0

JVM 完整深入解析来自专栏

Java运行时数据区： Java虚拟机在执行Java程序的过程中会将其管理的内存划分为若干个不同的数据区域，这些区域有各自的用途、创建和销毁的时间，有些区域随虚拟机进程的启动而存在，有些区域则是依赖用户线程的启动和结束来建立和销毁。Java虚拟机所管理的内存包括以下几个运行时数据区域，如图： ...

2020-11-26

0 0