流918

分类

Elasticsearch(1) hadoop(1) Hadoop权威指南(2) hbase(1) IDEA的使用(1) java基础知识(5) linux一些问题(2) scala(1) spark(4) storm(2) zookeeper(3) 剑指offer(3) 未归档(81) 算法(24) 网络通信(3) 设计模式(2)

/ 注册

全部文章（共136篇）

（8）跳台阶

1.问题一只青蛙一次可以跳上1级台阶，也可以跳上2级。求该青蛙跳上一个n级的台阶总共有多少种跳法（先后次序不同算不同的结果）。 2.思路 1:第一个阶台阶：return JumpFloor(0)表示从第0阶台阶跳上来 2.第二阶台阶：return JumpFloor(0)+JumpFloor...

2019-04-21

0 524

（7）斐波那契数列

1.问题大家都知道斐波那契数列，现在要求输入一个整数n，请你输出斐波那契数列的第n项（从0开始，第0项为0）。 n<=39 2.思路当前的数据等于前两个数据值和。即return Fibonacci(n-1) + Fibonacci(n-2)即可 3.代码 package test...

2019-04-20

0 477

（6）旋转数组最小数字

1.问题把一个数组最开始的若干个元素搬到数组的末尾，我们称之为数组的旋转。输入一个非减排序的数组的一个旋转，输出旋转数组的最小元素。例如数组{3,4,5,1,2}为{1,2,3,4,5}的一个旋转，该数组的最小值为1。 NOTE：给出的所有元素都大于0，若数组大小为0，请返回0。 2.思路...

2019-04-20

0 524

大数据之路——阿里巴巴大数据实践：离线数据开发

1.MaxCompute离线数据开发（1）在逻辑层有 Worker Sc heduler Executor 三个角色： Worker 处理所有的阻STful 请求，包括用户空间（ Project ）管理操作、资源（ Resource 管理操作、作业管理等，对于 SQLDML MR ...

2019-04-20

0 958

hadoop中mapreduce的shuffle过程详细解释

1.mapreduce整体执行流程 input – split切片 – map – map shuffle – 分成多个partition – reduce shuffle – reduce拉去对应的partition 到相应的reduce上 – reduce 2.map shuffle ...

2019-04-20

1 823

腾讯Oceanus实时计算平台架构设计---学习总结

一、背景实时计算应用主要分为以下四类：（1）ETL：ETL应该是目前实时计算最普遍的应用场景。例如在TDBank的数据链路中，TDSort读取消息缓存系统Tube中的消息，通过流数据处理系统将消息队列中的数据进行实时分拣，并落地到HDFS接口机集群，并将最终分拣后的数据由加载到TDW中。...

2019-04-16

0 1298

spark操作hbase详细讲解

1.java API实现对hbase的操作 package testhbase; import java.util.ArrayList; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.Ce...

2019-04-14

0 774

内部类和外部类

外部类：最普通的，我们平时见到的那种类，就是在一个后缀为.java的文件中，直接定义的类，比如 public class Student { private String name; private int age; } 内部类：内部类，顾名思义，就是包含在外部类中的类，就叫做...

2019-04-10

0 426

单例模式

饿汉式： public class Singleton{ private static Singleton singleton = new Singleton (); private Singleton (){} public Singleton getInst...

2019-04-10

0 531

Hadoop的IO处理

1.HDFS数据完整性 HDFS会写入所有数据的计算校验和，并对正在读取的数据进行校验，默认校验方式是RCR-32。不只是读写数据时会进行校验，datanode也会在后台线程中运行DataBlockScanner进行校验，定期检查数据的缺失情况。客户端读写数据时，发现数据损坏了，向name...

2019-04-09

0 568