七秒的鱼

Spark

ElasticSearch(1) Flink(6) Flume(2) Hadoop(7) HBase(4) Hive(2) Idea(1) Java(2) JVM(8) Kafka(4) Scala(1) VMwareWorkstation(1) Zeppelin(2) Zookeeper(3) 未归档(1)

/ 注册

全部文章 / Spark （共5篇）

SparkDemo(Serializable)

前言在本文中将介绍spark中Task执行序列化的开发问题开发环境准备本实验Spark运行在Windows上，为了开发Spark应用程序，在本地机器上需要有Jdk1.8和Maven环境。确保我们的环境配置正常，我们可以使用快捷键 Win+R 输入cmd：环境如下：程序开发工具我们使用IDEA#...

2019-10-29

0 470

Apache Spark简单构建一个应用程序

简单的构建一个Apache Spark应用程序开发环境准备：运行在Windowsjdk1.8和maven环境pom如下： <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://w...

2019-10-22

0 567

Error

配置historyserver时：因为端口被占用了 SparkStreaming updateStateByKeyde 使用时 --checkpoint报错原因在使用的时候，并没有设置checkPoint 检测点检测点的目的就是为了保存上一次的结果数据。如果没有检测点的话，那么将无法保存上一次结...

2019-10-16

0 579

Spark压缩文件性能分析

Spark压缩文件性能分析 HDFS上分布式文件存储，成为大数据平台首选存储平台。而Spark往往以HDFS文件为输入，为保持兼容性，Spark支持多种格式文件读取，大数据场景下，性能瓶颈往往是IO，而不是CPU算力，所以对文件的压缩处理成为了很必要的手段。Spark为提供兼容性，同时支持多种压缩包...

2019-10-03

0 2922

Spark

1.1 什么是Spark？ Spark最初由美国加州伯克利大学的AMP实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。2013年Spark加入Apache软件基金会最重要的三大分布式计算系统开源项目之一（hadoop、Spark、Storm）S...

2019-09-28

0 1568