在搬砖中努力寻找快乐的小张

未归档

docker(1) Elastic Search 7.8 学习笔记(6) HADOOP学习笔记(2) Java面经(7) Kafka(3) MySQL(1) 年度总结(1) 爬虫(2)

/ 注册

全部文章 / 未归档（共28篇）

Zookeeper集群环境搭建

准备工作准备3个节点，要求配置好主机名称，服务器之间系统时间保持一致注意配置主机名及hosts vi /etc/hostname vi /etc/hosts 192.168.147.102 bigdata01 192.168.147.103 bigdata02 192.16...

2021-05-17

0 294

SpringBoot整合Swagger2

SpringBoot整合Swagger2 引入Swagger2依赖  <dependency> <groupId>io.springfox</groupId> <artifactId&g...

2021-05-15

0 314

Cent os7 安装Maria DB 步骤

下载安装包 [root@java_tools MariaDB-10.4.8.stable-CentOS7.x]# ls -ll total 50912 -rw-r--r--. 1 root root 9837920 Nov 19 2019 galera-4-26.4.2-1.rhel7.el7...

2021-05-14

0 383

Kettle

同源情况（源表与目标表在同一个DB下） commitSize(1000) transMeta方式数据库ip 源表目标表数据规模开始时间结束时间耗时 192.168...

Kettle

2021-05-13

0 427

MapReduce小试牛刀-WordCount实战

MapReduce是一种分布式计算模式，由Google提出，主要用于搜索领域，解决海量数据的计算问题，mapRedcure是分布式运行的，分为map阶段和Reduce阶段。 Map阶段是一个独立的程序，可在多个节点同时运行，每个节点处理一部分数据。 Reduce阶段也是一个独立的程序，可以再一个或者...

2021-04-03

0 233

HDFS回收站

hdfs会为每一个用户创建一个回收站目录:/usr用户名/.Trash/,每一个用户在Shell命令行删除的文件/目录，会进入到对应的回收站目录中，在回收站中的数据都有一个生命周期，也就是说当回收站中的文件/目录在一段时间之内没有被用户恢复的话，HDFS就会自动将这个文件/目录彻底删除。默认情况下...

2021-04-03

0 386

HDFS体系结构

HDFS支持主从结构，主节点称为NameNode,是因为主节点上运行的有NameNode的进程，<mark>NameNode支持多个</mark>。从节点称为DataNode,是因为从节点上运行的有DataNode进程。 HDFS还包含一个SecondaryNameNode...

2021-04-03

0 330

HDFS 简介及HDFS shell常见命令

HDFS（Hadoop Distribute File Ststem） HDFS全程是Hadoop Distribute File System,Hadoop分布式文件系统。它是一种允许文件通过在多台主机上分享的文件系统，可以让多台机器上的多个用户分享文件和存储空间。类似的分布式文件管理系统还有很...

2021-03-31

0 376