威本

分类

读书笔记(2)

/ 注册

全部文章（共2篇）

《Spark核心技术与高级应用》读书笔记

第四章编程模型本章主要讲解Spark抽象编程模型，第一个抽象是RDD（Resilient DIstributed Dataset）即弹性分布式数据集，他是一个特殊集合，支持多种来源，有容错机制，可以被缓存，支持并行操作，Spark的第二个抽象是两种共享变量，即支持并行计算的广播变量和累加器。基于Sp...

2019-09-22

0 0

《Spark核心技术与高级应用》读书笔记

第一章 Spark简介1.为什么和Hadoop相比会选择Spark？答：由于一些限制，Hadoop对一些工作的负载并不是最优选择，比如缺少对迭代的支持，中间数据需输出到硬盘存储，差生较高的延迟。Hadoop的约束更适合处理离线数据，在实时查询和迭代计算上存在着较大的不足。Spark是一个快速的，通用...

2019-09-06

0 0