HDFS其他功能

集群间数据拷贝

1）scp工具可实现两个远程主机之间的文件复制，但不支持软链接的复制

       scp -r hello.txt bduser@node103:/user/bduser/hello.txt       // 推 push

       scp -r bduser@node103:/user/bduser/hello.txt  hello.txt           // 拉 pull

       scp -r bduser@node103:/user/bduser/hello.txt bduser@node104:/user/bduser   //是通过本地主机中转实现两个远程主机的文件复制；如果在两个远程主机之间ssh没有配置的情况下可以使用该方式。

2）如果集群中的每个节点都安装了rsync同步传输工具也可以实现两个远程主机之间的文件复制，而且rsync工具支持软链接的远程复制

       rsync -rvl hello.txt bduser@node103:/user/bduser/hello.txt        // 推 push

       rsync -rvl bduser@node103:/user/bduser/hello.txt  hello.txt             // 拉 pull

       rsync -rvl  bduser@node103:/user/bduser/hello.txt bduser@node104:/user/bduser   //是通过本地主机中转实现两个远程主机的文件复制；如果在两个远程主机之间ssh没有配置的情况下可以使用该方式。

3）采用discp命令实现两个hadoop集群之间的递归数据复制

bin/hadoop discp hdfs://haoop102:8020/user/bduser/hello.txt hdfs://node103:8020/user/bduser/hello.txt

Hadoop存档(小文件管理的解决方案)

1）理论概述

每个文件均按块存储，每个块的元数据存储在namenode的内存中，因此hadoop存储小文件会非常低效。因为大量的小文件会耗尽namenode中的大部分内存。但注意，存储小文件所需要的磁盘容量和存储这些文件原始内容所需要的磁盘空间相比也不会增多。例如，一个1MB的文件以大小为128MB的块存储，使用的是1MB的磁盘空间，而不是128MB。

Hadoop存档文件或HAR文件，是一个更高效的文件存档工具，它将文件存入HDFS块，在减少namenode内存使用的同时，允许对文件进行透明的访问。具体说来，Hadoop存档文件可以用作MapReduce的输入。

2）案例实操

（1）需要启动yarn进程

       start-yarn.sh

（2）归档文件

       归档成一个叫做xxx.har的文件夹，该文件夹下有相应的数据文件。Xx.har目录是一个整体，该目录看成是一个归档文件即可。

bin/hadoop archive -archiveName myhar.har -p /user/bduser /user/my

（3）查看归档

       hadoop fs -lsr /user/my/myhar.har

hadoop fs -lsr har:///user/bduser/wordcount/myhar.har

hadoop fs -cat har:///user/bduser/wordcount/myhar.har/abcd.txt

（4）解归档文件

hadoop fs -cp har:/// user/my/myhar.har /* /user/bduser

配额管理

配额可以设定存储个数或容量上限。

1）基本语法

       （1）hdfs dfsadmin –setQuota 个数 路径1 路径2   （功能描述：开启指定目录存储文件或文件夹的个数配额上限，包括文件夹自己）

       （2）hdfs dfsadmin –clrQuota路径1 路径2 （功能描述：清除指定目录存储文件或文件夹的个数配额上限）

    （3）hdfs dfsadmin -setSpaceQuota 容量 路径1 路径2   （功能描述：开启指定目录存储空间的容量配额上限，注意副本也占空间配额。当“目录已经写入的容量+当前blocksize*3”与 “目录空间配额” 进行比较，如果前者大于后者，就会报错。即0+384MB > 设定配额数时报错，所以配额应设置为大于384的数字）

       （4）hdfs dfsadmin –clrSpaceQuota 容量 路径1 路径2   （功能描述：清除指定目录的空间配额上限）

2）案例实操

       （1）开启/禁用指定目录的数量配额功能

hdfs dfsadmin -setQuota 1 /user/bduser/test

hdfs dfsadmin -clrQuota /user/bduser/test   

       （2）开启/禁用指定目录的数量配额功能

hdfs dfsadmin -setSpaceQuota 387M  /user/bduser/test

hdfs dfsadmin -clrSpaceQuota /user/bduser/test

快照管理

快照相当于对目录做一个备份。并不会立即复制所有文件，而是指向同一个文件。当写入发生时，才会产生新文件。

1）基本语法

       （1）hdfs dfsadmin -allowSnapshot 路径   （功能描述：开启指定目录的快照功能）

       （2）hdfs dfsadmin -disallowSnapshot 路径 （功能描述：禁用指定目录的快照功能，默认是禁用）

       （3）hdfs dfs -createSnapshot 路径        （功能描述：对目录创建快照）

       （4）hdfs dfs -createSnapshot 路径 名称   （功能描述：指定名称创建快照）

       （5）hdfs dfs -renameSnapshot 路径 旧名称 新名称 （功能描述：重命名快照）

       （6）hdfs lsSnapshottableDir         （功能描述：列出当前用户所有可快照目录）

       （7）hdfs snapshotDiff 路径1 路径2 （功能描述：比较两个快照目录的不同之处）

       （8）hdfs dfs -deleteSnapshot <path> <snapshotName>  （功能描述：删除快照）

2）案例实操

       （1）开启/禁用指定目录的快照功能

hdfs dfsadmin -allowSnapshot /user/bduser/data        

hdfs dfsadmin -disallowSnapshot /user/bduser/data    

       （2）对目录创建快照

hdfs dfs -createSnapshot /user/bduser/data          // 对目录创建快照

通过web访问hdfs://node102:8020/user/bduser/data/.snapshot/s…..// 快照和源文件使用相同数据块

hdfs dfs -lsr /user/bduser/data/.snapshot/

       （3）指定名称创建快照

hdfs dfs -createSnapshot /user/bduser/data miao170508            

       （4）重命名快照

hdfs dfs -renameSnapshot /user/bduser/data/ miao170508 bduser170508         

       （5）列出当前用户所有可快照目录

hdfs lsSnapshottableDir

       （6）比较两个快照目录的不同之处

hdfs snapshotDiff /user/bduser/data/  .  .snapshot/bduser170508    

       （7）恢复快照

hdfs dfs -cp /user/bduser/input/.snapshot/s20170708-134303.027 /user

回收站

1）默认回收站

默认值fs.trash.interval=0，0表示禁用回收站，可以设置删除文件的存活时间。

默认值fs.trash.checkpoint.interval=0，检查回收站的间隔时间。

2）启用回收站

修改core-site.xml，配置垃圾回收时间为1分钟。

3）查看回收站

回收站在集群中的；路径：/user/bduser/.Trash/….

4）修改访问垃圾回收站用户名称

       进入垃圾回收站用户名称，默认是dr.who，修改为bduser用户

       [core-site.xml]

5）通过程序删除的文件不会经过回收站，需要调用moveToTrash()才进入回收站

Trash trash = New Trash(conf);

trash.moveToTrash(path);

6）恢复回收站数据

hadoop fs -mv /user/bduser/.Trash/Current/user/bduser/input /user/bduser/input

7）清空回收站

hdfs dfs -expunge