流918

未归档

Elasticsearch(1) hadoop(1) Hadoop权威指南(2) hbase(1) IDEA的使用(1) java基础知识(5) linux一些问题(2) scala(1) spark(4) storm(2) zookeeper(3) 剑指offer(3) 算法(24) 网络通信(3) 设计模式(2)

/ 注册

全部文章 / 未归档（共81篇）

Flink流处理过程的部分原理分析

前言在分布式领域，计算和存储一直是两大子领域。很多分布式理念在计算和存储的实现中会有着完全不同的逻辑，比如我们快照，计算框架中的快照和我们平常说的存储快照实现不同点在于哪里呢？笔者做为一个研究存储模块出身的人，最近在研读Flink流处理的部分原理，小小作番总结。很多时候，以存储的眼光来看待计算过...

2018-12-30

0 508

Spark2.1.0——ContextCleaner的工作原理分析

ContextCleaner是SparkContext中的组件之一。ContextCleaner用于清理那些超出应用范围的RDD、Shuffle对应的map任务状态、Shuffle元数据、Broadcast对象以及RDD的Checkpoint数据。创建ContextCleaner 创建Con...

2018-12-30

0 587

org.apache.flume.ChannelFullException: Space for commit to queue couldn't be acquired.问题

flume报错代码： ERROR source.ExecSource: Failed while running command: tail -F /root/apps/flume_source/1.log org.apache.flume.ChannelException: Unable to...

2018-12-24

0 1173

kafka的topic删除

删除kafka的topic，出现如下提示 [root@mini1 ~]#kafka-topics.sh --delete --zookeeper mini1:2181 --topic test Topic test is marked for deletion. Note: This will h...

2018-12-21

0 538

关于storm的一直网页加载问题

在更换了一次storm的版本之后：访问 http://mini1:8080/index.html 来查看storm的运行情况，但是出现了网页一直出现提示 loading summary，但是通过透明的弹窗可以看出，实际上storm的内容已经加载出来，然后看到下面的评论，大概的意思是chrome可...

2018-12-19

0 440

docker安装cloudera

环境：ContOS6.7 安装docker 1.虚拟机安装CentOS6.7 2.安装docker yum install -y epel-release yum install docker-io 如果安装失败,确保yum库是最新的： yum -y updata 如果出现No pa...

2018-12-16

0 748

微服务是什么

1.微服务原理图图片来自于网络，如有侵权，请联系博主，立即删除图片从右向左来看：（1）为服务最主要的目的就是实现，如果说软件a使用了购物车程序作为后台，同时软件b也使用了购物车作为后台，那么如果软件a和b都是同一家公司开发的，那么他们就不需要写相同的代码，为软件a和b同时都写一个后台，它...

2018-12-09

0 737

Hbase启动以后自动关闭

参考文献：https://blog.csdn.net/embracejava/article/details/53189123 搭建好hbase集群并启动集群后发现，HMaster在启动后几秒内自动关闭，HRegionServer运行正常。使用jps，刚开始正常出现Hmaster，再...

2018-12-04

0 948

sqoop因为连接数据写了localhost而报错

1.问题最开始执行sqoop： bin/sqoop import \ --connect jdbc:mysql://localhost:3306/sqoop \ --username root \ --password root \ --table emp --m 1 报错 Caused...

2018-11-30

0 460

azkaban奇怪的报错

1.问题启动azkaban的web服务，发现azkaban的报错，大概是：javac：无效的标记XXXXX 2.解决大概是说，jre没有配置，只配置了jdk的path export JAVA_HOME=/root/apps/jdk1.8.0_181 export JRE_HOME=/r...

2018-11-30

0 457