流918

未归档

Elasticsearch(1) hadoop(1) Hadoop权威指南(2) hbase(1) IDEA的使用(1) java基础知识(5) linux一些问题(2) scala(1) spark(4) storm(2) zookeeper(3) 剑指offer(3) 算法(24) 网络通信(3) 设计模式(2)

/ 注册

全部文章 / 未归档（共81篇）

storm热力分布图项目（五）

一、搭建springboot 目录结构如下：中间有一个page标签可以解决jsp乱码情况 <!doctype html>  <%@page language="java" contentType="tex...

2019-05-01

0 750

storm热力分布图项目（三）

一、编写python脚本产生日志编写一个python脚本向/home/hadoop/app/data/logs/test.log写入对应的日志 #!/usr/bin/env python # -*- coding:utf-8 -*- #@Time : 2019/4/29 12:50 #@Aut...

2019-04-29

0 451

storm热力分布图项目（一）

一、前置需要 jdk，zookeeper，storm1.1.1版本二、安装logstash2.4.1 进入 https://www.elastic.co/cn/downloads/past-releases/logstash-2-4-1 下载tar.gz格式的文件即可。三、简单使用log...

2019-04-28

0 675

udf,udaf,udtf之间的区别

1、UDF：用户定义（普通）函数，只对单行数值产生作用；继承UDF类，添加方法 evaluate() /** * @function 自定义UDF统计最小值 * @author John * */ public class Min extends UDF { pub...

2019-04-27

0 1704

大数据之路——阿里巴巴大数据实践：离线数据开发

1.MaxCompute离线数据开发（1）在逻辑层有 Worker Sc heduler Executor 三个角色： Worker 处理所有的阻STful 请求，包括用户空间（ Project ）管理操作、资源（ Resource 管理操作、作业管理等，对于 SQLDML MR ...

2019-04-20

0 958

hadoop中mapreduce的shuffle过程详细解释

1.mapreduce整体执行流程 input – split切片 – map – map shuffle – 分成多个partition – reduce shuffle – reduce拉去对应的partition 到相应的reduce上 – reduce 2.map shuffle ...

2019-04-20

1 823

腾讯Oceanus实时计算平台架构设计---学习总结

一、背景实时计算应用主要分为以下四类：（1）ETL：ETL应该是目前实时计算最普遍的应用场景。例如在TDBank的数据链路中，TDSort读取消息缓存系统Tube中的消息，通过流数据处理系统将消息队列中的数据进行实时分拣，并落地到HDFS接口机集群，并将最终分拣后的数据由加载到TDW中。...

2019-04-16

0 1298

spark操作hbase详细讲解

1.java API实现对hbase的操作 package testhbase; import java.util.ArrayList; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.Ce...

2019-04-14

0 774

Hadoop的IO处理

1.HDFS数据完整性 HDFS会写入所有数据的计算校验和，并对正在读取的数据进行校验，默认校验方式是RCR-32。不只是读写数据时会进行校验，datanode也会在后台线程中运行DataBlockScanner进行校验，定期检查数据的缺失情况。客户端读写数据时，发现数据损坏了，向name...

2019-04-09

0 568

关于spark任务提交的几种方式

1.Spark当前支持三种集群管理方式 Standalone—Spark自带的一种集群管理方式，易于构建集群。 Apache Mesos—通用的集群管理，可以在其上运行Hadoop MapReduce和一些服务应用。 Hadoop YARN—Hadoop2中的资源管理器。 ...

2019-04-08

0 1311