代号:希望

Hadoop

Beautiful Code(3) Design Patterns(13) ElasticSearch(3) InfluxDB(1) Java性能调优(1) JVM(7) Linux(1) Mysql(12) Redis(1) RESTful API(1) Shell小例子(8) Spring(5) Struts2(4) 技术探究及感悟(1) 未归档(7) 架构篇(2) 由感而发(4) 程序设计(28) 算法(4) 网络(1) 计算机原理(2) 读书笔记(2) 面试题(4)

/ 注册

全部文章 / Hadoop （共7篇）

Hive笔记二

HiveQL的增删改查: 增：在MYSQL中，我们使用INSERT语句插入数据。但在Hive中，可以使用LOAD DATA语句插入数据。（Insert也可以哦）同时将数据插入到Hive，最好是使用LOAD DATA来存储大量记录。有两种方法用来加载数据：一种是从本地文件系统，第二种是从Ha...

2018-12-06

0 591

Hive笔记一

Hive是一个构建在hadoop上的数据仓库框架，其目的是让精通SQL但Java编程技能相对较弱的分析师能够对存放在HDFS中的大规模数据进行执行查询。 Hive安装：下载地址:http://hive.apache.org/downloads.html Hive配置： ⑴使用XML配置文件进行...

2018-12-05

0 591

MapReduce笔记一

MapReduce前提：配置文件 Hadoop的配置通过配置文件来完成，配置文件的目录在/hadoopxx/etc/hadoop/目录下有各种有关hadoop生态系统组件的配置，在代码层面，可以通过Configuration类的实例来获取配置的信息以及代表相关的配置。配置文件的信息以键，值的...

2018-12-03

0 477

YARN中的调度

YARN调度： YARN应用发出资源请求通过调度器来分配资源。YARN提供了多种调度器和可配置策略。 YARN中三种调度器，⑴FIFO调度器⑵容量调度器⑵公平调度器。 1.FIFO调度器 FIFO调度器将应用放置在一个队列中，然后按照提交的顺序运行应用，为队列中的第一个应用的请求分配资源，第...

2018-12-01

0 595

Hadoop常见问题一

1.在使用Hadoop的有关命令的时候，出现Warnning ...等提示时？这是因为JDK内部的原因而导致的，所以提示建议选用不同版本的JDK。本人刚开始使用的是：JDK11,Centos操作系统，hadoop2.9.2,在进行hadoop命令操作时，出现Warnning，之后将JDK11改为...

2018-12-01

0 358

Hadoop数据流原理+实例代码

从HDFS中读取文件test.txt 前提：启动Hadoop的所有组件 ⑴准备test.txt 查询tetst.txt文件是否存在：hadoop fs -ls hdfs://localhost/test/ 注意：本人的test.txt文件在/test目录下，根据自己的实际查找，如果没有则...

2018-12-01

0 669

Hadoop笔记系列一

Hadoop hadoop起源： Hadoop起源于开源网络搜索引擎Apache Nutch。Apache Nutch是Lucene项目的一部分，Lucene是文本搜索系统库，Nutch是一个运行的网页爬取工具和搜索引擎系统。2003年的论文，描述谷歌产品架构，GFS（Google File S...

2018-11-27

0 370