💎串串💎

大数据基础

=====语言=====(1) c(1) java(12) Java学习·(8) linux基础(8) linux运维(3) Redis(1) SpringBoot(6) web前端(3) 开发工具(1) 数据库(7) 未归档(51) 生活(1) 算法(9) 网络(4) 软件设计师-软考(5) 软件设计师考试(7) 面经(5) 高并发(7)

/ 注册

全部文章 / 大数据基础（共20篇）

hadoop脚本分析

目录/opt/soft/hadoop/sbin可设置为变量path 1.start.all.sh： a.hadoop-config.sh b.start-dfs.sh 1)libexec/hadoop-config.sh 2)sbi...

2018-08-12

0 454

MapReduce思维导图

源码详见：github：图片中例子源码

2018-08-03

0 451

MapReduce经典案例wordcount

Driver package MapReducer.wordcount; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; ...

2018-07-28

0 338

hadoop错误_WARN util.NativeCodeLoader

1、下载hadoop-native-64-2.6.0.tar http://download.csdn.net/detail/u013310025/9657359 2、解压安装即可 cd /opt/soft/hadoop-2.6.0-cdh5.5.0/lib/native rm -rf * t...

2018-07-25

0 472

Hdfs四大原理

Hdfs运行原理分布式存储数据。文件节点数据块！ HDFS的主节点，主要有两大作用： NameNode：一是管理文件目录结构：一块元数据是文件与数据块之间的信息 /opt/workspace/hadoop/hdfs/name/current —hads-defaults.xml ...

2018-07-25

0 417

hadoop流_读取_追删

读取流 @Test public void run2() throws IOException{//写入数据 Configuration conf = new Configuration(); FileSystem fs = null; Bu...

2018-07-25

0 392

hadoop中java占用cpu如何解决

1.top命令检查下cpu占用情况，如果有java进程占用大量cpu，kill -9 pid 2.检查linux系统 /tmp,/var/tmp,将异常文件删掉，留下java,将java进程x权限去掉，chmod a-x java 3.检查定时器，crontab -l ,删掉可疑定时器任务， ...

2018-07-25

0 616

hadoop常用命令

hadoop命令所有的Hadoop命令都通过bin/hadoop脚本调用。在没有任何参数的情况下，运行Hadoop脚本将打印该命令描述。 HDFS 调用文件系统(FS)Shell命令应使用 bin/hadoop fs 或新版的bin/hdfs dfs 的形式。所有的的FS shell...

2018-07-25

0 393

hadoop2.6部署

1.免密码（自己也配） #ssh-keygen -t rsa #cd /root/.ssh/ #scp id_rsa.pub root@ip:/ ----------- 在另一台机子上 #cat id_rsa.pub >> /etc/.ssh/auth.. 2./etc/hosts...

2018-07-24

0 358

shell

expect自动登录操作 #!/usr/bin/expect set ip [lindex $argv 0] set username [lindex $argv 1] set passwd [lindex $argv 2] set cmd [lindex $argv 3] spawn ssh ...

2018-07-22

0 362