Minio分布式文件系统

1.介绍

简介

minio是一个非常轻量的服务，适合存储大容量非结构化的数据，例如图片，视频，日志文件，备份数据等
它的特点就是轻量，使用简单，功能强大，支持各种平台，单个文件最大5TB，提供了Java，Python，GO等多版本SDK支持
官网：https://min.io
minio集群采用去中心化共享架构，每个结点是对等关系，通过Nginx可对MinIO进行负载均衡访问。

去中心化有什么好处？

在大数据领域，通常的设计理念都是无中心和分布式。Minio分布式模式可以帮助你搭建一个高可用的对象存储服务，你可以使用这些存储设备，而不用考虑其真实物理位置
它将分布在不同服务器上的多块硬盘组成一个对象存储服务。由于硬盘分布在不同的结点上，分布式Minio避免了单点故障，如下图：在这里插入图片描述
Minio使用纠删码技术来保护数据，它是一种恢复丢失和损坏数据的数学算法，它将数据分块冗余的分散存储在各各节点的磁盘上，所有的可用磁盘组成一个集合，上图由8块硬盘组成一个集合，当上传一个文件时会通过纠删码算法计算对文件进行分块存储，除了将文件本身分成4个数据块，还会生成4个校验块，数据块和校验块会分散的存储在这8块硬盘上。
使用纠删码的好处是即便丢失一半数量（N/2）的硬盘，仍然可以恢复数据。比如上边集合中有4个以内的硬盘损害仍可保证数据恢复，不影响上传和下载，如果多于一半的硬盘坏了则无法恢复。

2.使用

在windows上运行：下载minio，下载地址在https://dl.min.io/server/minio/release/，CMD进入有minio.exe的目录，运行下边的命令：

minio.exe server ？

server后面跟的是存储的磁盘位置

在Linux上运行：在虚拟机中安装Minio的镜像和容器，执行sh /data/soft /restart.sh启动Docker下的MinIO，启动完成登录MinIO查看是否正常。

账号和密码默认为minioadmin,minioadmin，可以在环境变量中通过’MINIO_ROOT_USER‘和’MINIO_ROOT_PASSWORD’进行设置
输入http://localhost:9000进行登录，账号和密码为minioadmin/minioadmin
登录成功会显示在这里插入图片描述
下一步创建bucket桶，它相当于存储文件的目录，可以创建若干个桶
输入bucket的名称，点击“CreateBucket”，创建成功
点击“upload”上传文件

3.通过Java进行文件上传

MinIO提供多个语言版本SDK支持，下边是Java的用法
最低需求Java 1.8或更高版本：
maven依赖如下：

<dependency>
    <groupId>io.minio</groupId>
    <artifactId>minio</artifactId>
    <version>8.4.3</version>
</dependency>
<dependency>
    <groupId>com.squareup.okhttp3</groupId>
    <artifactId>okhttp</artifactId>
    <version>4.8.1</version>
</dependency>

参数说明：
需要三个参数才能连接到minio服务。Endpoint（对象存储服务的URL）,Access Key（Access key就是用户ID，可以唯一标识你的账户）,Secret Key（Secret Key是你账户的密码）
官方的示例代码如下：

上传文件

import io.minio.BucketExistsArgs;
import io.minio.MakeBucketArgs;
import io.minio.MinioClient;
import io.minio.UploadObjectArgs;
import io.minio.errors.MinioException;
import java.io.IOException;
import java.security.InvalidKeyException;
import java.security.NoSuchAlgorithmException;
public class FileUploader {
   
  public static void main(String[] args)throws IOException, NoSuchAlgorithmException, InvalidKeyException {
   
    try {
   
      // Create a minioClient with the MinIO server playground, its access key and secret key.
      MinioClient minioClient =
          MinioClient.builder()
              .endpoint("https://play.min.io")
              .credentials("Q3AM3UQ867SPQQA43P2F", "zuf+tfteSlswRu7BJ86wekitnifILbZam1KYY3TG")
              .build();
      // Make 'asiatrip' bucket if not exist.
      boolean found =
          minioClient.bucketExists(BucketExistsArgs.builder().bucket("asiatrip").build());
      if (!found) {
   
        // Make a new bucket called 'asiatrip'.
        minioClient.makeBucket(MakeBucketArgs.builder().bucket("asiatrip").build());
      } else {
   
        System.out.println("Bucket 'asiatrip' already exists.");
      }
      // Upload '/home/user/Photos/asiaphotos.zip' as object name 'asiaphotos-2015.zip' to bucket
      // 'asiatrip'.
      minioClient.uploadObject(
          UploadObjectArgs.builder()
              .bucket("asiatrip")
              .object("asiaphotos-2015.zip")
              .filename("/home/user/Photos/asiaphotos.zip")
              .build());
      System.out.println(
          "'/home/user/Photos/asiaphotos.zip' is successfully uploaded as "
              + "object 'asiaphotos-2015.zip' to bucket 'asiatrip'.");
    } catch (MinioException e) {
   
      System.out.println("Error occurred: " + e);
      System.out.println("HTTP trace: " + e.httpTrace());
    }
  }
}

删除文件

@Test
public void delete(){
   
    try {
   
        minioClient.removeObject(
               RemoveObjectArgs.builder().bucket("testbucket").object("001/test001.mp4").build());
        System.out.println("删除成功");
    } catch (Exception e) {
   
       e.printStackTrace();
        System.out.println("删除失败");
    }
}

查询文件

//查询文件
@Test
public void getFile() {
   
    GetObjectArgs getObjectArgs = GetObjectArgs.builder().bucket("testbucket").object("test001.mp4").build();
    try(
        FilterInputStream inputStream = minioClient.getObject(getObjectArgs);
        FileOutputStream outputStream = new FileOutputStream(new File("D:\\develop\\upload\\1_2.mp4"));
     ) {
   
        IOUtils.copy(inputStream,outputStream);
     } catch (Exception e) {
   
        e.printStackTrace();
     }
}