流918

未归档

Elasticsearch(1) hadoop(1) Hadoop权威指南(2) hbase(1) IDEA的使用(1) java基础知识(5) linux一些问题(2) scala(1) spark(4) storm(2) zookeeper(3) 剑指offer(3) 算法(24) 网络通信(3) 设计模式(2)

/ 注册

全部文章 / 未归档（共81篇）

从saprk的wordcount解析groupBykey与RudeceByKey的源码

1.引出问题有两个wordcount的书写方式： 1.这是个官方教程的书写wordcount scala> sc.parallelize(List(List("who am i"),List("where you want to go","...

2019-02-01

0 417

调试spark出现java.lang.BootstrapMethodError: java.lang.NoClassDefFoundError: scala/runtime/java8/JFuncti

调试： Exception in thread "main" java.lang.BootstrapMethodError: java.lang.NoClassDefFoundError: scala/runtime/java8/JFunction2$mcIII$sp ...

2019-01-31

0 1231

scala中的符号问题

1.集合操作原文：https://blog.csdn.net/datadev_sh/article/details/79854273 val a = List(1,2,3) val b = List(4,5,6) 符号操作结果位...

2019-01-26

0 554

java中的Callable和Future创建线程

1.Callable类似于Runnable，但是它有返回值，Runnable没有。 2.new Thread(futureTask);的方式来创建FuntureTask任务，FuntureTask是一个实现了Runnable和Future接口的类 3.call方法可以抛出异常，run方法不可以。 4...

2019-01-24

0 668

大数据之路——阿里巴巴大数据实践：数据同步要点

1.数据同步分为DB数据同步和日志数据同步：如下是DB数据同步机制：数据库按照规定的格式，将数据发给数据文件管理系统。日志同步解析：如下是日志文件，通过数据的日志解析模块，将有用的数据过滤出来，然后按照一定的格式发给数据文件管理系统。（数据的过滤是通过日志的方式，可能里面对user...

2019-01-21

0 645

大数据之路——阿里巴巴大数据实践：日志采集要点

1.基于UT（user visit）采集的“透传参数功能” 透传参数功能，即把当前页面的某些信息，传到下个页面，甚至是下下个页面的日志中。比如：访问淘宝，搜索“连衣裙”->list页面->商品A，分析商品A的时候，顺带着，list页面和“连衣裙”关键字都会被放入A的日志中了，给以...

2019-01-20

0 658

大数据之路——阿里巴巴大数据实践：总述

阿里巴巴大数据系统架构图： Aplus.JS是web端日志采集技术 UserTask是APP端日志采集技术 TimeTunel（TT）是一个实时消息处理平台，类似于kafka+storm DataX是一个数据同步工具，将下层的不同的DB兼容在一起4. DataX是一个数据同步工...

2019-01-20

0 754

HBase数据库相关知识补充

一、HBase中的<K,V> 在HBase中我们可以把<行键，列.列族1，列.列族2，列.列族3>看作是一个<K,V>类型,如下所示：键值 [“2015001”,“info1”,“emai...

2019-01-20

0 700

HBase版本控制

在HBase的操作更新时，不会直接删除原来的数据，而是生成一个新的版本，HBase语寻对保留的版本数量进行设置，一是保存数据的最后的n个版本，而是保存最近的一段时间的版本。要存储的最大行版本数是通过HColumnDescriptor按列系列配置的。为最大版本默认值为1。不建议将最大版本的数量...

2019-01-20

0 524

scala中函数与方法的区别

Scala中既有函数也有方法，大多数情况下我们都可以不去理会他们之间的区别。但是有时候我们必须要了解他们之间的不同。 Scala 中的方法跟 Java 的方法一样，方法是组成类的一部分。方法有名字、类型签名，有时方法上还有注解，以及方法的功能实现代码（字节码）。 Scala 中的函数是一个完整的...

2019-01-13

0 551