流918

分类

Elasticsearch(1) hadoop(1) Hadoop权威指南(2) hbase(1) IDEA的使用(1) java基础知识(5) linux一些问题(2) scala(1) spark(4) storm(2) zookeeper(3) 剑指offer(3) 未归档(81) 算法(24) 网络通信(3) 设计模式(2)

/ 注册

全部文章（共136篇）

关于scala中的class和object

1.伴生对象（object）为class实现单例在 Scala 中，是没有 static 这个东西的，但是它也为我们提供了单例模式的实现方法，那就是使用关键字 object。 Scala 中使用单例模式时，除了定义的类之外，还要定义一个同名的 object 对象，它和类的区别是，object对...

2019-01-14

0 709

scala中函数与方法的区别

Scala中既有函数也有方法，大多数情况下我们都可以不去理会他们之间的区别。但是有时候我们必须要了解他们之间的不同。 Scala 中的方法跟 Java 的方法一样，方法是组成类的一部分。方法有名字、类型签名，有时方法上还有注解，以及方法的功能实现代码（字节码）。 Scala 中的函数是一个完整的...

2019-01-13

0 556

Flink流处理过程的部分原理分析

前言在分布式领域，计算和存储一直是两大子领域。很多分布式理念在计算和存储的实现中会有着完全不同的逻辑，比如我们快照，计算框架中的快照和我们平常说的存储快照实现不同点在于哪里呢？笔者做为一个研究存储模块出身的人，最近在研读Flink流处理的部分原理，小小作番总结。很多时候，以存储的眼光来看待计算过...

2018-12-30

0 511

Spark2.1.0——ContextCleaner的工作原理分析

ContextCleaner是SparkContext中的组件之一。ContextCleaner用于清理那些超出应用范围的RDD、Shuffle对应的map任务状态、Shuffle元数据、Broadcast对象以及RDD的Checkpoint数据。创建ContextCleaner 创建Con...

2018-12-30

0 593

让Elasticsearch飞起来!——性能优化实践干货

0、题记 Elasticsearch性能优化的最终目的：用户体验爽。关于爽的定义——著名产品人梁宁曾经说过“人在满足时候的状态叫做愉悦，人不被满足就会难受，就会开始寻求。如果这个人在寻求中，能立刻得到即时满足，这种感觉就是爽！”。 Elasticsearch的爽点就是：快、准、全! 关于Elas...

2018-12-30

0 604

手撕：线性回归

1.一元线性回归 2.多元线性回归

2018-12-30

0 457

org.apache.flume.ChannelFullException: Space for commit to queue couldn't be acquired.问题

flume报错代码： ERROR source.ExecSource: Failed while running command: tail -F /root/apps/flume_source/1.log org.apache.flume.ChannelException: Unable to...

2018-12-24

0 1186

kafka的topic删除

删除kafka的topic，出现如下提示 [root@mini1 ~]#kafka-topics.sh --delete --zookeeper mini1:2181 --topic test Topic test is marked for deletion. Note: This will h...

2018-12-21

0 540

关于storm的一直网页加载问题

在更换了一次storm的版本之后：访问 http://mini1:8080/index.html 来查看storm的运行情况，但是出现了网页一直出现提示 loading summary，但是通过透明的弹窗可以看出，实际上storm的内容已经加载出来，然后看到下面的评论，大概的意思是chrome可...

2018-12-19

0 446

docker安装cloudera

环境：ContOS6.7 安装docker 1.虚拟机安装CentOS6.7 2.安装docker yum install -y epel-release yum install docker-io 如果安装失败,确保yum库是最新的： yum -y updata 如果出现No pa...

2018-12-16

0 751