七秒的鱼

分类

ElasticSearch(1) Flink(6) Flume(2) Hadoop(7) HBase(4) Hive(2) Idea(1) Java(2) JVM(8) Kafka(4) Scala(1) Spark(5) VMwareWorkstation(1) Zeppelin(2) Zookeeper(3) 未归档(1)

/ 注册

全部文章（共50篇）

垃圾收集器

前言如果说收集算法是内存回收的方法论，那么垃圾收集就是内存回收的具体实现。Java虚拟机规范中对垃圾收集器应该如何实现并没有任何规定，因此不同的厂商、不同版本的虚拟机所提供的垃圾收集器可能会有很大差别，并且一般都会提供参数供用户根据自己的应用特点和要求组合出各个年代所使用的收集器。这里讨论的收集器...

2019-11-08

0 473

HotSpot虚拟机对象探秘

引言我们以常用的虚拟机HotSpot和常用的内存区域Java堆为例，深入了解HotSpot虚拟机在Java堆中对象分配、布局和访问的全过程。对象的创建虚拟机遇到一条new指令时，首先将去检查这个指令的参数是否能在常量池中定位到一个类的符号引用，并且检查这个符号引用代表的类是否已被加载、解析和初...

2019-11-07

0 693

垃圾收集算法

标记清除算法最基础的收集算法是“标记清除”算法，如同它的名字一样，算法分为“标记”和“清除”两个阶段：首先标记出所有需要回收的对象，在标记完成后统一回收所有被标记的对象，它的标记过程其实在前一节讲述对象标记判定时已经介绍过了。之所以说他是最基础的收集算法，是因为后续的收集算法都是基于这种思路并对其...

2019-11-06

0 539

如何判断对象是否死亡？

前言在堆里面存放着Java世界中几乎所有的对象实例，垃圾收集器在对堆进行回收前，第一件事情就是要确定这些对象之中哪些还“存活”着，哪些已经“死去”，判断对象的生死存活都有那些算法？引用计数算法实现原理：给对象中添加一个引用计数器，每当一个地方引用它是，计数器值就加1；任何时刻计数器为0的对象就...

2019-11-04

0 644

Flume+Kafka集成

Flume Apache Flume是一个分布式的、可靠的、可用的系统，用于有效地收集、聚合和将大量日志数据从许多不同的源转移到一个集中的数据存储区。ApacheFlume的使用不仅限于记录数据聚合。由于数据源是可定制的，Flume可以用来传输大量事件数据，包括但不限于网络流量数据、社交媒体生成的数...

2019-10-31

0 2770

SparkDemo(Serializable)

前言在本文中将介绍spark中Task执行序列化的开发问题开发环境准备本实验Spark运行在Windows上，为了开发Spark应用程序，在本地机器上需要有Jdk1.8和Maven环境。确保我们的环境配置正常，我们可以使用快捷键 Win+R 输入cmd：环境如下：程序开发工具我们使用IDEA#...

2019-10-29

0 456

读书笔记（JVM内存模型）

概述对于从事C、C++程序开发人员来说，在内存管理领域，他们既是拥有最高权力的“皇帝”又是从事最基础工作的“劳动人民”-既拥有每一个对象的“所有权”，又担负着每一个对象生命开始到终结的维护责任。对于Java 程序员来说，在虚拟机自动内存管理机制的帮助下，不在需要为每一个new操作去写配对的de...

2019-10-27

0 457

Idea 快速自动生成测试类

前言我们在写一些方法时需要测试其正确性，这就用到了我们的单元测试。这里介绍一下Idea如何快速生成测试Junit单元测试类。自动生成在需要生成测试类里，ctrl+shift+t --> Create New Test... 点击创建Create New Test 弹出下面界面 ...

2019-10-24

0 1177

Apache Spark简单构建一个应用程序

简单的构建一个Apache Spark应用程序开发环境准备：运行在Windowsjdk1.8和maven环境pom如下： <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://w...

2019-10-22

0 551

Error

配置historyserver时：因为端口被占用了 SparkStreaming updateStateByKeyde 使用时 --checkpoint报错原因在使用的时候，并没有设置checkPoint 检测点检测点的目的就是为了保存上一次的结果数据。如果没有检测点的话，那么将无法保存上一次结...

2019-10-16

0 570