流918

分类

Elasticsearch(1) hadoop(1) Hadoop权威指南(2) hbase(1) IDEA的使用(1) java基础知识(5) linux一些问题(2) scala(1) spark(4) storm(2) zookeeper(3) 剑指offer(3) 未归档(81) 算法(24) 网络通信(3) 设计模式(2)

/ 注册

全部文章（共136篇）

spark之combineByKey函数源码

1.源码： /** * Simplified version of combineByKeyWithClassTag that hash-partitions the output RDD. * This method is here for backward compatibility. It ...

2019-02-01

0 572

从saprk的wordcount解析groupBykey与RudeceByKey的源码

1.引出问题有两个wordcount的书写方式： 1.这是个官方教程的书写wordcount scala> sc.parallelize(List(List("who am i"),List("where you want to go","...

2019-02-01

0 417

调试spark出现java.lang.BootstrapMethodError: java.lang.NoClassDefFoundError: scala/runtime/java8/JFuncti

调试： Exception in thread "main" java.lang.BootstrapMethodError: java.lang.NoClassDefFoundError: scala/runtime/java8/JFunction2$mcIII$sp ...

2019-01-31

0 1231

从wordcount了解spark之RDD

1.什么是RDD RDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集...

2019-01-29

0 579

继承，装饰模式，动态代理

继承，装饰模式，动态代理都是实现了对方法得扩展。 1.猫定义接口： public interface Cat { public void run(); public void eat(); } 实现普通得猫： public class Mycat implements ...

2019-01-27

0 489

scala中的符号问题

1.集合操作原文：https://blog.csdn.net/datadev_sh/article/details/79854273 val a = List(1,2,3) val b = List(4,5,6) 符号操作结果位...

2019-01-26

0 554

java中的Callable和Future创建线程

1.Callable类似于Runnable，但是它有返回值，Runnable没有。 2.new Thread(futureTask);的方式来创建FuntureTask任务，FuntureTask是一个实现了Runnable和Future接口的类 3.call方法可以抛出异常，run方法不可以。 4...

2019-01-24

0 668

brent算法为什么比floyd算法快

问题：用一个算法，实现判断是否会出现如下的有环的单链表一、floyd 以龟兔赛跑来解释这一算法，寻找单链表中是否含有一个圈。一、思想：龟和兔子同时出发，龟走一步，兔子走两步，兔子比龟快，所以兔子一定可以追上龟，就好像在环形跑道中跑的快的运动员会从后面超过跑得慢的运动员。 //头...

2019-01-21

0 810

大数据之路——阿里巴巴大数据实践：数据同步要点

1.数据同步分为DB数据同步和日志数据同步：如下是DB数据同步机制：数据库按照规定的格式，将数据发给数据文件管理系统。日志同步解析：如下是日志文件，通过数据的日志解析模块，将有用的数据过滤出来，然后按照一定的格式发给数据文件管理系统。（数据的过滤是通过日志的方式，可能里面对user...

2019-01-21

0 645

大数据之路——阿里巴巴大数据实践：日志采集要点

1.基于UT（user visit）采集的“透传参数功能” 透传参数功能，即把当前页面的某些信息，传到下个页面，甚至是下下个页面的日志中。比如：访问淘宝，搜索“连衣裙”->list页面->商品A，分析商品A的时候，顺带着，list页面和“连衣裙”关键字都会被放入A的日志中了，给以...

2019-01-20

0 658