七秒的鱼

分类

ElasticSearch(1) Flink(6) Flume(2) Hadoop(7) HBase(4) Hive(2) Idea(1) Java(2) JVM(8) Kafka(4) Scala(1) Spark(5) VMwareWorkstation(1) Zeppelin(2) Zookeeper(3) 未归档(1)

/ 注册

全部文章（共50篇）

Spark

1.1 什么是Spark？ Spark最初由美国加州伯克利大学的AMP实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。2013年Spark加入Apache软件基金会最重要的三大分布式计算系统开源项目之一（hadoop、Spark、Storm）S...

2019-09-28

0 1545

Kafka工作流程分析

3.1 Kafka生产过程分析 3.1.1 写入方式 producer采用推（push）模式将消息发布到broker，每条消息都被追加（append）到分区（patition）中，属于顺序写磁盘（顺序写磁盘效率比随机写内存要高，保障kafka吞吐率）。 3.1.2 分区（Partition） K...

2019-09-26

0 539

Flume

1.1、Flume 定义 ApacheFlume是一个分布式的、可靠的、可用的系统，用于有效地收集、聚合和将大量日志数据从许多不同的源转移到一个集中的数据存储区。ApacheFlume的使用不仅限于记录数据聚合。由于数据源是可定制的，Flume可以用来传输大量事件数据，包括但不限于网络流量数据、社交...

2019-09-25

0 718

Kafka

1.1 Kafka是什么在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。1）Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。2）Kafka最初是由LinkedIn公司开发，并于 2011...

2019-09-20

0 1014

HBase

HBase的起源 HBase的原型是Google的BigTable论文，受到了该论文思想的启发，目前作为Hadoop的子项目来开发维护，BigTable是一个管理结构化数据的分布式存储系统，它可以扩展到非常大：如在成千上万的商用服务器上存储PB级的数据..…一个稀疏的、分布式的、持久的多维排序映射。...

2019-09-18

0 777

Hive

一 Hive 基本概念 1.1 什么是 Hive Hive：由 Facebook 开源用于解决海量结构化日志的数据统计。Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。本质是：将 HQL 转化成 MapReduce 程序1）Hive...

2019-09-16

0 576

Hadoop（MapReduce）

MapReduce 入门 1.1 MapReduce 定义 Mapreduce 是一个分布式运算程序的编程框架，是用户开发“基于 hadoop 的数据分析应用”的核心框架。Mapreduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个 hadoop...

2019-09-15

0 592

Hadoop（HDFS）

一 HDFS 概述 1.1HDFS 产生背景随着数据量越来越大，在一个操作系统管辖的范围内存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 1.2 HDFS 概念 HD...

2019-09-08

0 779

Hadoop安装

一、单机（伪分布式） 1.1、环境系统环境为Centos作为系统环境，这里不再叙述系统的安***r>基于原生Hadoop 2 ，可以适合任何Hadoop 2.x.y版本，例如 Hadoop 2.7.1, Hadoop 2.4.1等。 Hadoop运行环境搭建虚拟机网络模式设置为NAT 修...

2019-09-04

0 569

Hadoop

一、 Hadoop 1.1、Hadoop的概念 Hadoop是一个由Apache基金会所开发的分布式系统及基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。主要解决海量数据的存储和海量数据的分析计算。广义来说HADOOP通常是指一个更广泛的概念,...

2019-09-03

0 2807