大数据左右手

分类

Flink(5) FlinkSQL(4) 大数据(11) 大数据面试(2) 操蛋的人生(1) 机器学习(6) 面试(6)

/ 注册

全部文章（共35篇）

10万字大数据框架面试整理，你还不拿去吗？

一. 前言经历几个月，框架总结已经进行了一个阶段。技术如同手中的水有了生命似的，汇聚在了一起。12篇原文，篇篇阅读量都挺高。为了方便大家面试于学习查询资料。现生成文档供大家参考。其中内容包含以下，具体框架会一一介绍。现在关注公众号【大数据左右手】，在公众号号中回复关键字【资料】...

大数据大数据面试 hadoop scala hive hbase flink kafka

2021-11-11

1 799

Hadoop面试8000字，收藏这一篇就够了

目录现在在脑海过一遍以下问题，是否能够回忆清楚（后附解析参考） HDFS读流程和写流程？ NameNode和Secondary NameNode工作机制？ HA NameNode如何工作？ DataNode工作机制？ DataNode数据损坏怎么办？压缩方式怎么选择？ MapReduce工作流...

大数据面试 hadoop 面试经验

2021-11-08

1 509

Spark-单value算子总结(图解和源码）

Spark-单value算子总结 1. map算子（改变结构就用map）先看map函数 /** * Return a new RDD by applying a function to all elements of this RDD. */ def map[U: Clas...

2021-09-16

0 576

Spark key-value类型算子总结(图解和源码)

Spark key-value类型算子 1. partitionBy()按照K重新分区先看partitionBy函数 def partitionBy(partitioner: Partitioner): RDD[(K, V)] = self.withScope { if (keyC...

2021-09-16

0 772

RDD任务切分之Stage任务划分(图解和源码)

RDD任务切分中间分为：Application、Job、Stage和Task （1）Application：初始化一个SparkContext即生成一个Application；（2）Job：一个Action算子就会生成一个Job；（3）Stage：Stage等于宽依赖的个数加1；（4）...

2021-09-16

0 1027

机器学习之线性模型详细手推公式与代码实现（篇一）

微信公众号：大数据左右手专注于大数据技术，人工智能和编程语言个人既可码代码也可以码文字。欢迎转发与关注关注我，在公众号回复 “机器学习” 可领取电子书线性回归模型在统计学中，线性回归（英语：linear regression）是利用称为线性回归方程的最小二乘函数对一个或多个自变量和...

2021-09-16

0 707

机器学习之多元线性回归模型梯度下降公式与代码实现（篇二）

微信公众号：大数据左右手专注于大数据技术，人工智能和编程语言个人既可码代码也可以码文字。欢迎转发与关注上一篇我们介绍了线性回归的概述和最小二乘的介绍,对简单的一元线性方程模型手推了公式和python代码的实现。机器学习之线性回归模型详细手推公式与代码实现(篇一) 今天这一篇来介绍多元...

2021-09-16

0 2703

半天轻轻松松入门python

微信公众号：大数据左右手专注于大数据技术，人工智能和编程语言个人既可码代码也可以码文字。欢迎转发与关注一天学会Python基础 Python崇尚优美、清晰、简单，是一个优秀并广泛使用的语言。应用领域 Web应用开发自动化运维科学计算桌面软件服务器软件（爬虫） ...

2021-09-16

0 572

读那么多书有什么用？这货人傻钱多？

微信公众号：大数据左右手人要去的地方，除了远方，还有未来个人既可码代码也可以码文字。欢迎转发与关注* 今天不讲技术，今天我们看看日常生活——"幸存者偏差" 今天有幸看到李永乐老师的视频《幸存者偏差——你所看到的，未必是真相》颇有感悟，所有有了此文什么是幸存者偏差?...

2021-09-16

0 632

Python怎么去提升工作效率的？小进阶

微信公众号：大数据左右手专注于大数据技术，人工智能和编程语言个人既可码代码也可以码文字。欢迎转发与关注 Python入门小进阶接着上一篇目继续学习python 上一篇链接：半天轻轻松松入门python 本篇主要学习内容函数文件操作文件夹操作面向对象...

2021-09-16

0 564