ELK安装

一、准备安装包

Elasticsearch 6.4.0

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.0.tar.gz

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.0.tar.gz.sha512
# 当shasum命令不存在时，可执行命令安装 yum install perl-Digest-SHA

shasum -a 512 -c elasticsearch-6.4.0.tar.gz.sha512 
tar -xzf elasticsearch-6.4.0.tar.gz
cd elasticsearch-6.4.0/

kibana-6.4.0

wget https://artifacts.elastic.co/downloads/kibana/kibana-6.4.0-linux-x86_64.tar.gzhttps://artifacts.elastic.co/downloads/kibana/kibana-6.4.0-linux-x86_64.tar.gz.sha512
shasum -a 512 kibana-6.4.0-linux-x86_64.tar.gz.sha512
tar -xzf kibana-6.4.0-linux-x86_64.tar.gz mv kibana-6.4.0-linux-x86_64/ kibana-6.4.0 cd kibana-6.4.0/

Logstash和Filebeat

 Logstash

wget https://artifacts.elastic.co/downloads/logstash/logstash-6.4.0.tar.gzwget https://artifacts.elastic.co/downloads/logstash/logstash-6.4.0.tar.gz.sha512shasum -a 512 logstash-6.4.0.tar.gz.sha512
tar -xzf logstash-6.4.0.tar.gzcd logstash-6.4.0

 Filebeat

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.4.0-linux-x86_64.tar.gzwget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.4.0-linux-x86_64.tar.gz.sha512
shasum -a 512 filebeat-6.4.0-linux-x86_64.tar.gz.sha512tar -xzf filebeat-6.4.0-linux-x86_64.tar.gzmv filebeat-6.4.0-linux-x86_64 filebeat-6.4.0cd filebeat-6.4.0

grafana

wget https://dl.grafana.com/oss/release/grafana-6.1.3-1.x86_64.rpm

二、虚拟机准备

ES01  192.168.60.128 elasticsearch-6.4.0.tar.gz
ES02  192.168.60.129 elasticsearch-6.4.0.tar.gz
ES03  192.168.60.130 elasticsearch-6.4.0.tar.gz
Logstash 192.168.60.131 logstash-6.4.0.tar.gz  filebeat-6.4.0-linux-x86_64.tar.gz
Kibana 192.168.60.132 kibana-6.4.0-linux-x86_64.tar.gz
Grafana 192.168.60.133 grafana-6.1.3-1.x86_64.rpm

三、安装

es安装

3.1配置服务器hosts

192.168.60.128 es01

192.168.60.129 es02

192.168.60.130 es03

3.2添加es用户

groupadd es              #增加es组
useradd es –g es –p pwd  #增加es用户并附加到es组
chown -R es:es elasticsearch-6.4.0 #分配es的目录访问权限
su –es                  #切换es用户

3.3修改limits.conf 限制，vm线程数限制

#切换到root用户修改
vi /etc/security/limits.conf
#在最后面追加
es hard nofile 65536
es soft nofile 65536
 
#修改后，使用命令查看上面设置是否成功,结果为65536则成功
ulimit -Hn
 
vi /etc/sysctl.conf
#在最后追加
vm.max_map_count=262144
#使用 sysctl -p 查看修改结果
sysctl -p

3.4配置节点 config/elasticsearch.yml

es01节点

cluster.name: zkl_es_cluster
node.name: es01
 
path.data: /data/elk/es/data
path.logs: /data/elk/es/logs
 
http.cors.enabled: true
http.cors.allow-origin: "*"
node.master: true
node.data: true
# 配置白名单 0.0.0.0表示其他机器都可访问
network.host: 0.0.0.0
transport.tcp.port: 9300
# tcp 传输压缩
transport.tcp.compress: true
http.port: 9200
discovery.zen.ping.unicast.hosts: ["es01","es02","es03"]

es02节点

cluster.name: zkl_es_cluster
node.name: es02
 
path.data: /data/elk/es/data
path.logs: /data/elk/es/logs
 
http.cors.enabled: true
http.cors.allow-origin: "*"
node.master: false
node.data: true

# 配置白名单 0.0.0.0表示其他机器都可访问

network.host: 0.0.0.0
transport.tcp.port: 9300
# tcp 传输压缩
transport.tcp.compress: true
http.port: 9200
discovery.zen.ping.unicast.hosts: ["es01","es02","es03"]

es03节点

cluster.name: zkl_es_cluster
node.name: es03
 
path.data: /data/elk/es/data
path.logs: /data/elk/es/logs
 
http.cors.enabled: true
http.cors.allow-origin: "*"
node.master: false
node.data: true

# 配置白名单 0.0.0.0表示其他机器都可访问

network.host: 0.0.0.0
transport.tcp.port: 9300
# tcp 传输压缩
transport.tcp.compress: true
http.port: 9200
discovery.zen.ping.unicast.hosts: ["es01","es02","es03"]

3.5启动命令

/home/soft/elasticsearch-6.4.0
./bin/elasticsearch

kibana安装

1配置kibana

vi ./config/kibana.yml
 
server.host: "192.168.60.132"

2 启动kibana

./bin/kibana
后台启动
sh /home/soft/kibana-6.4.0/bin/kibana >/dev/null 2>&1 &

Logstash安装

后台启动命令

nohup ./bin/logstash -f logstash-test.conf &

logstash配置输入、输出及过滤、创建索引

input {
    beats {
        port => "5044"
    }
}
 filter {
    grok {
        match => { "message" => "%{COMBINEDAPACHELOG}"}
    }
    geoip {
        source => "clientip"
    }
}
output {
    elasticsearch {
        hosts => [ "192.168.60.28:9200" ]
  #index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
    #user => "elastic"
    #password => "changeme"
    }
}

安装grafana

Yum安装方式：

配置repository

Add the following to a new file at /etc/yum.repos.d/grafana.repo

[grafana]
name=grafana
baseurl=https://packages.grafana.com/oss/rpm
repo_gpgcheck=1
enabled=1
gpgcheck=1
gpgkey=https://packages.grafana.com/gpg.key
sslverify=1
sslcacert=/etc/pki/tls/certs/ca-bundle.crt

命令

yum install grafana

yum –y install grafana

自行下载rpm安装包。网不好没办法

启动Grafana，然后在系统启动时自动运行它。

systemctl start grafana-server
systemctl enable grafana-server

自家电脑上安装时发现会出现没法启动的情况，tail -f /var/log/grafana/grafana.log 发现error="open /var/run/grafana/grafana-server.pid: permission denied"错误

解决方法：

# cd /var/run/

# chmod 777 grafana/

# rpm -e --nodeps

更改Grafana管理员密码

在您的服务器上安装Grafanais之后，打开您的Web浏览器并按以下方式输入grafana服务器IP地址（端口3000）。

http://192.168.1.11:3000/

使用默认用户“admin”和密码“admin”登录到Grafana仪表板。

安装插件

有三种我们需要知道的Grafana插件：

1. 面板插件 - 这些允许将新的数据可视化添加到Grafana。

2. 数据源 - 这些是Grafana数据源插件。

3. 应用程序 - 这是一组面板，数据源，仪表板与新的用户界面。

1.对于插件安装，Grafana提供了一个名为“grafana-cli”的命令行工具。 运行它来查看指令。

grafana-cli

2.要获取存储库中所有可用插件的列表，请使用以下命令。

grafana-cli plugins list-remote

3．要安装插件，请使用'plugins install'选项，如下所示。

grafana-cli plugins install grafana-clock-panel

4.安装插件后，重新启动Grafana服务。

systemctl restart grafana-server

5.要获取系统中所有已安装插件的列表，请使用以下命令。

grafana-cli plugins ls