💎串串💎

大数据基础

=====语言=====(1) c(1) java(12) Java学习·(8) linux基础(8) linux运维(3) Redis(1) SpringBoot(6) web前端(3) 开发工具(1) 数据库(7) 未归档(51) 生活(1) 算法(9) 网络(4) 软件设计师-软考(5) 软件设计师考试(7) 面经(5) 高并发(7)

/ 注册

全部文章 / 大数据基础（共20篇）

Mapreduce踩坑

1.先把4个配置文件导入src下 2.把hadoop的4类jar包导入 3.如果使用java调试跑hadoop数据需要注意权限！ public static void main(String[] args) throws Exception { System.setProperty(&...

2019-04-04

0 453

hdfs-javaAPI

1.新建普通java项目 2.导入hadoop包导包步骤 3.导入两个核心配置文件注意hdfs-site.xml文件中配置权限信息，否则一会容易发生权限不够，拒绝写入。 4.编写从hdfs读取数据和上传数据 public static void main(String[] args) ...

2019-03-20

0 437

hadoop集群单点故障排除方案

sbin/hadoop-daemon.sh start namenode sbin/hadoop-daemon.sh start datanode sbin/yarn-daemon.sh start resourcemanager sbin/yarn-daemon.sh start nodem...

2019-03-18

0 466

hive安装及踩坑

1.解压安装Hive 2.安装并配置mysql`` 参考这篇文章 https://blog.csdn.net/jmkmlm123456/article/details/84583263 在mysql下创建hadoop用户，root不允许外连。 3.配置 Hive 进入 hive 安装目录...

2019-03-18

0 395

mysql安装

安装 1、通过 yum 命令安***r> 可以先通过 yum list |grep mysql 方式查看有哪些版本的 mysql #yum install mysql-server mysql-devel mysql #service mysql start/service mysql s...

2018-11-28

0 422

outputFormat

2018-08-14

0 373

InputFormat

1 概述 Hadoop内置的输入文件格式类有： 1）FileInputFormat

2018-08-14

0 352

Yarn架构

hadoop 现在的架构

2018-08-14

0 356

MRv1架构

MR是指MangerResource

2018-08-14

0 369

hadoop fs

hadoop shell非常轻量的封装在HDFS FileSystem API之上。在执行hadoop命令时，如果穿进去的是fs，实际上执行的是org.apache.hadoop.fs.FsShell 这个类。在0.20.2版本中FsShell实例化了一个org.apache.hadoop.fs...

2018-08-13

0 389