老胖鱼头

分类

Java工程师面试1000题(15) Java面试1000题(19) Leetcode(5) Spark(2) Spring(1) Spring系列(3) 大数据相关(18) 未归档(29) 经验记录(2)

/ 注册

全部文章（共94篇）

SparkSQL实战5——综合实战完成日志分析1

1、离线处理架构图： 2、数据处理流程：数据采集：使用Flume采集web日志信息到HDFS中去数据清洗：将脏数据清理，使用Spark、hive、MapReduce等分布式计算框架数据处理：按照我们的需要进行相应业务的统计和分析，使用Spark、hive、MapReduce...

2019-03-11

0 581

Java工程师面试1000题91-100

91、JVM的类加载机制是什么？有哪些实现方式？类加载机制：类的加载指的是将类的.class文件中的二进制数据读入到内存中，将其放在运行时数据区的方法去内，然后在堆区创建一个java.lang.Class对象，用来封装在方法区内的数据结构。类的加载最终是在堆区内的Class对象，Class对象封...

2019-03-10

0 359

Java工程师面试1000题81-90

81、说一说你知道的JVM的垃圾收集算法。标记-清除算法复制算法标记-整理算法分代收集算法 82、再说说标记-清除算法。标记-清除算法分为“标记”和清除两个阶段；首先需要标记出所有需要回收的对象，在标记完成后统一回收所有被标记的对象，它是最基础的收集算法，效率也很高...

2019-03-10

1 506

Java工程师面试1000题71-80

71、什么是线程安全和线程不安全？线程安全就是多线程访问时，采用了加锁机制，当一个线程访问该类的某个数据时，进行保护隔离，使其他线程不能进行访问，直到该线程读取完，其他线程才可以使用，不会出现数据不一致或者数据污染。线程不安全就是不提供数据访问保护，有可能出现多个线程先后更改数据造成得到的数...

2019-03-09

0 371

Java工程师面试1000题61-70

61、Map中的key和value可以为null吗？ HashMap对象的key和value均可以为null； HashTable对象的key和value均不可以为null。且两者的key值均不能重复，若添加key相同的键值对后，后面的value会自动覆盖前面的value，但是不会报错。 ...

2019-03-08

0 493

Java工程师面试1000题51-60

51、讲一讲ArrayList的内部实现。回答这样的问题，不要光回答个皮毛，可以详细介绍一下ArrayList内部是如何实现数组的增加和删除的，要知道，数组在创建的时候长度是固定的，那么我们往ArrayList中不断添加对象的时候，它是如何管理的呢？ ArrayList内部是使用Object[...

2019-03-07

0 481

SparkSQL实战4——外部数据源API

1、产生背景每一个Spark应用程序往往都会以加载一个数据源开始，保存数据结束。为了让用户可以方便地从不同的数据源（json、parquet、rdbms），经过混合处理（json join parquet）再将处理结果以特定的格式（json、parquet）写回到指定的系统（HDFS、S3等）上...

2019-03-07

0 544

Java工程师面试1000题41-50

41、什么是Java序列化？如何实现Java序列化？序列化就是一种用来处理对象流的机制，所谓对象流也就是将对象的内容进行流化，可以对流化后的对象进行读写操作，也可以将流化后的对象传输与网络之间。序列化是为了解决在对对象流进行读写操作时所引发的问题。序列化就是把Java对象转为字节序列的过程；...

2019-03-06

1 344

SparkSQL实战3——DataFrame和Dataset

1、前言 DataFrame并不是Spark最新提出使用的，DataFrame最早是在R、Python语言中使用的。 Dataset是一个分布式的数据集；而DataFrame是一个以列（包括列名、列的类型、列值）的形式构成的分布式数据集，并且按照列赋予不同的名称。在概念层次上，我们可以把Data...

2019-03-06

0 502

记一次使用Jedis客户端获取不到资源（Could not get a resource from the pool）的填坑经历

经历描述：本人联合一狗蛋开发一个小APP，本人负责服务器的开发，狗蛋负责APP的开发。登录验证使用到了Redis做Token缓存，于是使用了Jedis库来操作阿里云服务器上的Redis。项目一开始，我便随便从网上找了别人封装好了的Jedis的工具类，想着无非就是往Redis中做一些增删查操作，网上关...

2019-03-06

0 4859