流918

分类

Elasticsearch(1) hadoop(1) Hadoop权威指南(2) hbase(1) IDEA的使用(1) java基础知识(5) linux一些问题(2) scala(1) spark(4) storm(2) zookeeper(3) 剑指offer(3) 未归档(81) 算法(24) 网络通信(3) 设计模式(2)

/ 注册

全部文章（共136篇）

大数据之路——阿里巴巴大数据实践：总述

阿里巴巴大数据系统架构图： Aplus.JS是web端日志采集技术 UserTask是APP端日志采集技术 TimeTunel（TT）是一个实时消息处理平台，类似于kafka+storm DataX是一个数据同步工具，将下层的不同的DB兼容在一起4. DataX是一个数据同步工...

2019-01-20

0 753

HBase数据库相关知识补充

一、HBase中的<K,V> 在HBase中我们可以把<行键，列.列族1，列.列族2，列.列族3>看作是一个<K,V>类型,如下所示：键值 [“2015001”,“info1”,“emai...

2019-01-20

0 700

HBase版本控制

在HBase的操作更新时，不会直接删除原来的数据，而是生成一个新的版本，HBase语寻对保留的版本数量进行设置，一是保存数据的最后的n个版本，而是保存最近的一段时间的版本。要存储的最大行版本数是通过HColumnDescriptor按列系列配置的。为最大版本默认值为1。不建议将最大版本的数量...

2019-01-20

0 524

HBase 性能优化

1.修改Linux最大文件数 Linux系统最大可打开文件数一般默认的参数值是1024，如果你不进行修改并发量上来的时候会出现“Too Many Open Files”的错误，导致整个HBase不可运行查看： ulimit -a 结果：open files (-n) 1024 临时修改：ulim...

2019-01-20

0 479

运维linux命令

原文：https://blog.csdn.net/xindoo/article/details/85193744 感谢博主的文章！之前做过两年的运维，用过很多命令，深切体会到某些linux命令熟练掌握后对效率提升有多大。举个简单的例子，在做了研发后经常会有跑一些数据，对于结果数据的处理，我们...

2019-01-15

0 546

关于hdfs分片和分块

1.分块从2.7.3版本开始，block size由64 MB变成了128 MB的。在分布式的HDFS集群上，Hadoop系统保证一个块存储在一个datanode上。 HDFS的namenode只存储整个文件系统的元数据镜像，这个镜像由配置dfs.name.dir指定，datanode则存...

2019-01-15

0 1024

初识协同过滤算法，以及hadoop中Mahout实现

1.推荐系统简介推荐系统广泛存在于各类网站中，作为一个应用为用户提供个性化的推荐。它需要一些用户的历史数据，一般由三个部分组成：基础数据、推荐算法系统、前台展示。基础数据包括很多维度，包括用户的访问、浏览、下单、收藏，用户的历史订单信息，评价信息等很多信息；推荐算法系统主要是根据不同的推荐诉求...

2019-01-15

0 987

关于消息队列的入门到框架的综合整理

声明：本文收集多方资料整理而成，因为是很久以前做的成的文档，现在才发上来，所有相关资源的来源没有做好保存，对提供资料的作者表示感谢！ 1.两种消息队列的模型 1.2共享模型共享内存这种方式比较常见，我们经常会设置一个共享变量。然后多个线程去操作同一个共享变量。从而达到线程通讯的目的。例如...

2019-01-15

0 1630

关于常见大数据算法以及思考

给定a、b两个文件，每个文件中有海量的数据，内存不足，让你找出a、b文件共同数据? 思考：（1）布隆过滤器：在输入数据时就将a文件的所有的数据的hashcode映射到一个集合（这里假设是一个数组arr[max]），此时b文件每次读取一条数据就计算出它的hashcode，加入此时为i，去数...

2019-01-15

0 472

a[i]=a[i+1]+a[i-1]-a[i]求最大值

题目：有一个长度为n的实数数组a，可以进行任意轮的操作，每一轮选择一个i（0<i<n-1），操作为a[i]=a[i+1]+a[i-1]-a[i],最终a[0]+a[2]+…+a[n-1]最大可以是多少？分析：题目的难点不是编码的问题，而是数据证明怎么样可以得到这样a[0]+a[2]+...

2019-01-15

0 426