流918

spark

Elasticsearch(1) hadoop(1) Hadoop权威指南(2) hbase(1) IDEA的使用(1) java基础知识(5) linux一些问题(2) scala(1) storm(2) zookeeper(3) 剑指offer(3) 未归档(81) 算法(24) 网络通信(3) 设计模式(2)

/ 注册

全部文章 / spark （共4篇）

sparkstreaming实时流处理项目（七）

1.搭建springboot 先选择spring initializr -> next 创建项目名称选择web版本选择目录因为自定义maven，删除了关于的文件目录结构编写一个helloworld： package com.qianliu.spark.web; impor...

2019-03-27

0 454

sparkstreaming实时流处理项目（四）

1.监控最新的日志使用命令检测日志: tail -200f access.log 2.编写flume的conf vi streaming_project.conf 添加conf内容 exec-memory-logger.sources = exec-source exec-me...

2019-03-09

0 423

sparkstreaming实时流处理项目（二）

1.log4j的日志采集到flume log4j.properties如下，这样可以将控制台的信息输出到flume中： #配置 log4j.rootLogger=INFO,stdout,flume #stdout log4j.appender.stdout = org.apache.log4j...

2019-03-03

0 648

从wordcount了解spark之RDD

1.什么是RDD RDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集...

2019-01-29

0 579