流918

未归档

Elasticsearch(1) hadoop(1) Hadoop权威指南(2) hbase(1) IDEA的使用(1) java基础知识(5) linux一些问题(2) scala(1) spark(4) storm(2) zookeeper(3) 剑指offer(3) 算法(24) 网络通信(3) 设计模式(2)

/ 注册

全部文章 / 未归档（共81篇）

有道云大数据学习笔记整理

(1)linux:http://note.youdao.com/noteshare?id=d1774b479933095c8c5f03b9b3ceb491 (2)linux2：http://note.youdao.com/noteshare?id=a95a6b16bf1f1e6fd63aa1eb5e...

2019-03-22

0 7795

有道云笔记的java后台开发部分笔记整理归纳

1.jsp (1)jsp的九大内置对象：http://note.youdao.com/noteshare?id=6c024325c6498481c42e79d4392a03c7 (2)jsp的使用：http://note.youdao.com/noteshare?id=13b458b9f9a3de...

2019-03-22

0 7764

sparkstreaming实时流处理项目（六）

1.需求增加将有些是从搜索引擎中过来的url，做一个统计并且写入hbase create 'imooc_course_search_clickcount','info' scan 'imooc_course_search_clickcount' 编写一个访问程序： package ...

2019-03-09

0 449

sparkstreaming实时流处理项目（五）

1.写入数据到hbase 首先要保证： hadoop，zookeeper，hbase，flume，kafka都启动了（1）进入hadoop的sbin目录启动hdfs ./start-dfs.sh jps查看：进入到hbase的bin目录下： start-hbase.sh jps查...

2019-03-09

0 473

sparkstreaming实时流处理项目（三）

1.产生日志编写一段py脚本模拟数据的产生： #!/usr/bin/env python # -*- coding:utf-8 -*- #@Time : 2019/3/3 21:01 #@Author: qianliu #@File : __init__.py.py import random...

2019-03-03

0 501

sparkstreaming实时流处理项目（一）

1.项目流程 2.CentOS上的一些文件目录为/home/hadoop 3.环境配置 cat ~/.bash_profile # .bash_profile #Get the aliases and functions if [ -f ~/.bashrc ]; then ...

2019-03-03

0 453

hive报错SemanticException org.apache.hadoop.hive.ql.metadata.HiveException

启动hive没有问题，但是当执行show tables或者create database xxx时，报错 hive> create database spark; FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.Hiv...

2019-02-17

0 2020

spark提交任务的流程

1.spark任务提交阶段划分 spark提交任务分为五个状态，五个状态之间的有四个转换过程：（1）根据代码中的Transformations确定RDD。（2）根据RDD确定RDD的类型和它们之间的血统关系，生成一个DAG。（3）将DAG提交给DAGScheduler来划分出不同的task...

2019-02-15

0 678

跟踪wordcount源码了解spark的每个RDD执行过程

1.wordcount中的RDD关系执行wordcount： #初始化入参数 scala> val rdd1 = sc.parallelize(List(List("2","3,4","8,7"),List("1&qu...

2019-02-11

0 798

spark之combineByKey函数源码

1.源码： /** * Simplified version of combineByKeyWithClassTag that hash-partitions the output RDD. * This method is here for backward compatibility. It ...

2019-02-01

0 575