牛客大数据入门菜鸡

读书笔记

杂烩(1) 算法(1) 面试题(5) 项目(1)

/ 注册

全部文章 / 读书笔记（共79篇）

Flink 源码阅读笔记（10）- State 管理来自专栏

状态 State 是 Flink 中用于构建复杂逻辑的重要组件。本文将从源码角度来分析 Flink 的状态管理是如何实现的。状态（State）需要配合检查点（Checkpoint）机制来保证 Flink 作业失败后能正确地进行错误恢复。由于Flink的 State 和 Checkpoint 机制相...

2020-12-08

0 0

Flink 的状态管理和检查点机制来自专栏

从状态说起状态 (State) 是 Flink 程序中构建复杂逻辑的基本组件。流处理中的状态可以视作算子上的记忆能力，可以保留和已经处理完的输入相关的信息，并对后续输入的处理造成影响。与之相反，流处理中的无状态操作只会考虑到当前处理的元素，不会受到处理完毕的元素的影响，也不会影响到后续待处理的元素。...

2020-12-08

0 0

Flink 源码阅读笔记（9）- Task 的生命周期来自专栏

一个 Flink Job 提交到集群中运行时，会被调度为不同的 Task。在前面的文章中，我们已经介绍了 Flink 如何根据用户的编写的程序生成调度用的执行图，如何为 Task 分配计算资源，以及 Task 之间如何进行数据交换。在这篇文章中，我们将跟踪一个 Task 的完整的生命周期，进一步加深...

2020-12-07

0 0

Flink 源码阅读笔记（8）- Task 之间的数据传输来自专栏

在这篇文章中，我们将探讨一个 Flink 作业在实际运行时，不同的 Task 之间是如何进行数据交换的。由于不同的 Task 可能并非运行在同一个 TaskManager 中，因而数据传输的过程中必然涉及到网络通信，文中也会对 Flink 的网络栈的实现，包括反压机制等，进行分析。概览Flink ...

2020-12-04

0 0

Flink 源码阅读笔记（7）- 内存管理来自专栏

基于 JVM 的大数据处理分析引擎面临的一个问题是，为了高效地处理数据，有大量的数据需要保存在内存中。直接使用 JVM 堆内存来管理这些数据对象是最简单的实现，但是这样会导致一系列问题：首先，在有大量的数据对象不停地创建和失效的情况下，要正常地管理和控制堆内存并非易事，很容易引发 OOM 问题；其次...

2020-12-03

0 0

Flink 源码阅读笔记（6）- 计算资源管理来自专栏

在 Flink 中，计算资源的是以 Slot 作为基本单位进行分配的。本文将对 Flink 中计算资源的管理机制加以分析。 Task Slot 的基本概念我们在前面的文章中了解了 Flink 集群的启动流程。在 Flink 集群中，每个 TaskManager 都是一个单独的 JVM 进程（非 Mi...

2020-12-02

0 0

Flink 源码阅读笔记（5）- 集群启动流程来自专栏

在 Flink 1.5.0 版本发布的时候，Flink 迎来了一个重要的改进：根据 FLIP-6 重构了 Flink 集群部署和任务处理模型，以便更好地和管理资源和调度任务，更优雅地和 Yarn、 Mesos、Kubernetes 等框架进行集成。在这篇文章中，我们将对 Flink 集群的启动流程...

2020-12-01

0 0

Flink 源码阅读笔记（4）- RPC 来自专栏

作为一个分布式系统，Flink 内部不同组件之间通信依赖于 RPC 机制。这篇文章将对 Flink 的 RPC 框架加以分析。例子先来看一个简单的例子，了解 Flink 内部的 RPC 框架是如何使用的。 public class RpcTest { private static fina...

2020-11-30

0 0

Spark学习之路（二十三）SparkStreaming的官方文档来自专栏

一、SparkCore、SparkSQL和SparkStreaming的类似之处二、SparkStreaming的运行流程2.1　图解说明 2.2　文字解说1、我们在集群中的其中一台机器上提交我们的Application Jar，然后就会产生一个Application，开启一个Driver，...

2020-11-27

0 0

Spark学习之路（二十一）Dataset实现原理分析-Dataframe原理介绍和Dataset的对比来自专栏

Dataframe原理要点 Spark SQL引入了一个名为DataFrame的表格函数数据抽象。设计它的目的在于：简化Spark应用程序的开发。这样就可以在Spark基础架构上处理大量结构化表格数据。 DataFrame是一种数据抽象或特定于域的语言（domain-specific lang...

2020-11-27

0 0