Elasticsearch+kibana+filebeat安装与配置(单节点)
1.背景:
Elasticsearch基于Java语言开发,所以在安装Elasticsearch之前必须先安装JDK,Elasticsearch7要求安装JDK1.8以上版本;
kibnan在ELK家族中主要起到数据可视化的作用,通过表,图,统计等不同的方式将数据以更加直观的方式显示,同时kibana必须运行于Elasticsearch的基础上,即kibana就是Elasticsearch的可视化GUI;
Filebeat是beat组件的一种类型,filebeat一般安装在宿主机,用于收集文本类型的日志文件,然后把日志文件内容存储在es中。
2.版本说明:7.7.0(三个组件必须使用同一个版本)
3.软件下载源:
Elaticsearch下载url:
https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.7.0-linux-x86_64.tar.gz
kibana下载url:
https://www.elastic.co/downloads/past-releases/kibana-7-7-0
filebeat下载url:
https://www.elastic.co/downloads/past-releases/filebeat-7-7-0
4.安装:安装方法简单,解压即可用
5.Elasticsearch的简单配置
配置文件名称:elasticsearch.yml
配置文件字段说明:
cluster.name:Elasticsearch集群的名称,用于服务的发现,其他节点加入集群是要通过集群的名称加入相应的集群
node.name:当前机器在集群中的节点名称
node.master: true是否成为master节点
node.data:指定该节点是否存储索引数据,为true时允许
network.host: 指定能访问该服务的IP地址,默认是环回地址,配置为0.0.0.0允许所有网络的访问
http.port: 服务的打开的端口,默认是9200
6.kibana的简单配置
elasticsearch.hosts: 指定elasticsearch所在的机器的ip server.port: 指定服务的端口,默认是5601
server.host: 指定能访问服务的IP来源,0.0.0.0允许所有
7.filebeat的简单配置
配置文件名称:filebeat.yml
处理日志文件时的配置参数:
#================Filebeatinputs============
filebeat.inputs:
-type: log #指定类型为log
enabled: true
paths:
-/app/applogs/info.log #指定监控要监控的日志文件的路径
#===========Kibana ==================
setup.kibana:
host: "10.206.196.84:5601" #指定kibana所在主机的ip和服务监听的端口
#===============Outputs==================
#------------ Elasticsearch output ------------------------------
output.elasticsearch:
hosts: ["10.206.196.84:9200"] #指定es所在主机的ip以及服务监听的端口
7.es的启动:
启动方法:直接执行其启动脚本启动,启动脚本位于安装目录下的bin目录中的elasticseach
注意点:es5以后为了安全,root用户无法启动es
es启动常见错:max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
解决方法:使用root用户需改内核参数,在/etc/sysctl.conf中添加vm.max_map_count=262144,保存后执行sysctl -p使配置立即生效
查看es的健康状态:curl http://ip:port/_cat/health
查看es上的所有索引:curl http:/ip:port/_cat/indices
8.启动kibana:直接执行启动脚本,位于安装目录下的bin目录中的kibana脚本
9.启动filebeat:直接执行启动脚本,位于安装目录下的bin目录下的filebeat脚本,在启动filebeat后filebeat会把收集到的日志信息存储在es中的默认索引filebeat-*中