图片 1

ELK安装

应用 ELK系统一分配析Nginx日志并对数码举行可视化体现,elknginx

笔者:飞走不行

一、写在前方

ELK 简介

Elasticsearch是个开源布满式搜索引擎,它的特征有:布满式,零配置,自动发掘,索引自动分片,索引副本机制,restful风格接口,大多据源,自动寻觅负载等。

Logstash是多少个截然开源的工具,他能够对你的日志实行访问、过滤,并将其累积供之后选取(如,搜索)。

Kibana 也是多少个开源和无需付费的工具,它Kibana可以为 Logstash 和
ElasticSearch 提供的日记深入分析本人的 Web
界面,能够扶助你汇总、解析和寻觅主要数据日志。

一、写在最近

结缘从前写的一篇小说:Centos7 之安装Logstash ELK stack
日志管理种类,上篇小说首要讲了监察和控制软件的作用以及配备方法。而那篇小说介绍的是单身监察和控制nginx
日志解析再举办可视化图形浮现,并在顾客前端选择nginx
来代劳kibana的央求响应,访谈权限方濒有时使用HTTP
基本评释加密客商登陆。(关于elk权限调整,小编所驾驭的还会有一种方法-Shield),等现在不时光了去搞下。上边开头正文吧。。。

注意:环境默认和上一篇大致一样,默认安装好了E、L、K、3个软件即可。当然了,还有必需的java环境JDK

伊始此前,请允许本身插入一张图,来自线上笔者的测验图:(假若有须要的童鞋,能够私信笔者,小编能够把登入帐号给您。。)

备考:由于Ali云主机已经去除,不或然提供试看了哈。

nginx日志文件之中一行:

218.75.177.193 - - [03/Sep/2016:03:34:06 +0800] "POST /newRelease/everyoneLearnAjax HTTP/1.1" 200 370 "http://www.xxxxx.com/" 
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36" "36.22.6.130"

nginx 服务器日志的log_format格式:

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

重组从前写的一篇小说:CentOS 7 之安装Logstash ELK stack
日志管理体系,上篇文章首要讲了监督检查软件的效果以及配备方法。而那篇小说介绍的是独立监察和控制nginx
日志剖析再拓宽可视化图形展示,并在顾客前端选取nginx 来代理kibana的乞请响应,访谈权限方面近来使用HTTP
基本申明加密顾客登入。(关于elk权限调整,笔者所掌握的还大概有一种方法-Shield),等随后不常光了去搞下。下边初步正文吧。。。

ELK下载

下载地址:https://www.elastic.co/downloads/

下载Elasticsearch、Logstash、Kibana多个照望的安装包文件

二、配置logstash

1.修改配置文件,/etc/logstash/conf.d下。成立二个新的布置文件,内容如下:

 View Code

文件内容大意解释:

Logstash\ 分为\ Input、Output、Filter、Codec\ 等多种plugins。
Input:数据的输入源也支持多种插件,如elk官网的beats、file、graphite、http、kafka、redis、exec等等等、、、
Output:数据的输出目的也支持多种插件,如本文的elasticsearch,当然这可能也是最常用的一种输出。以及exec、stdout终端、graphite、http、zabbix、nagios、redmine等等、、、
Filter:使用过滤器根据日志事件的特征,对数据事件进行处理过滤后,在输出。支持grok、date、geoip、mutate、ruby、json、kv、csv、checksum、dns、drop、xml等等、、
Codec:编码插件,改变事件数据的表示方式,它可以作为对输入或输出运行该过滤。和其它产品结合,如rubydebug、graphite、fluent、nmap等等。
具体以上插件的细节可以去官网,介绍的挺详细的。下面说下该篇中的配置文件的含义:

来源:飞走不可-原文http://www.cnblogs.com/hanyifeng/p/5857875.html

input段:
file:使用file\ 作为输入源
path:\ 日志的路径,支持/var/log\*.log,及\[\ “/var/log/messages”,\ “/var/log/\*.log”\ \]\ 格式
start\_position:\ 从文件的开始读取事件。另外还有end参数
ignore\_older:\ 忽略早于24小时(默认值86400)的日志,设为0,即关闭该功能,以防止文件中的事件由于是早期的被logstash所忽略。

filter段:
grok:数据结构化转换工具
match:匹配条件格式,将nginx日志作为message变量,并应用grok条件NGINXACCESS进行转换
geoip:该过滤器从geoip中匹配ip字段,显示该ip的地理位置
source:ip来源字段,这里我们选择的是日志文件中的最后一个字段,如果你的是默认的nginx日志,选择第一个字段即可(注:这里写的字段是/opt/logstash/patterns/nginx\ 里面定义转换后的)
target:指定插入的logstash字断目标存储为geoip
database:geoip数据库的存放路径
add\_field:\ 增加的字段,坐标经度
add\_field:\ 增加的字段,坐标纬度
mutate:\ 数据的修改、删除、类型转换
convert:\ 将坐标转为float类型
convert:\ http的响应代码字段转换成\ int
convert:\ http的传输字节转换成int
replace:\ 替换一个字段
remove\_field:\ 移除message\ 的内容,因为数据已经过滤了一份,这里不必在用到该字段了。不然会相当于存两份
date:\ 时间处理,该插件很实用,主要是用你日志文件中事件的事件来对timestamp进行转换,导入老的数据必备!在这里曾让我困惑了很久哦。别再掉坑了
match:匹配到timestamp字段后,修改格式为dd/MMM/yyyy:HH:mm:ss\ Z
mutate:数据修改
remove\_field:\ 移除timestamp字段。

output段:
elasticsearch:输出到es中
host:\ es的主机ip+端口或者es\ 的FQDN+端口
index:\ 为日志创建索引logstash-nginx-access-*,这里也就是kibana那里添加索引时的名称

2.创办logstash配置文件之后,大家还要去创设grok使用的表明式,因为logstash
的布署文件里定义的使用转换格式语法,先去logstash的安装目录,私下认可安装地点:/opt/logstash/下,在该岗位成立多个目录patterns:

[email protected] ~]# mkdir -pv /opt/logstash/patterns
mkdir: created directory ‘/opt/logstash/patterns’

在该目录下创办格式文件,内容如下:

[[email protected] ~]# cat /opt/logstash/patterns/nginx
NGUSERNAME [a-zA-Z\.\@\-\+_%]+
NGUSER %{NGUSERNAME}
NGINXACCESS %{IPORHOST:clientip} - %{NOTSPACE:remote_user} \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})\" %{NUMBER:response} (?:%{NUMBER:bytes}|-) %{QS:referrer} %{QS:agent} \"%{IPV4:http_x_forwarded_for}\"

注:该格式的末尾有贰个http_x_forwarded_for,因为大家日志是启用了cdn代理的。日志的第一段都以cdn的,最终一段才是当真客商的ip。

必要深入分析的nginx日志路线不在私下认可的地点,所以作者依据logstash
的安插,建个目录先,并将日志文件拷贝进去:

[[email protected] ~]# mkdir -pv /data/nginx-logs/
[[email protected] ~]# ll /data/nginx-logs/
total 123476
-rw-r--r-- 1 nginx adm  126430102 Sep  9 16:02 access.log

3.然后正是logstash中布置的吉优IP的数据库解析ip了,这里是用了开源的ip数据源,用来深入分析顾客端的ip归属地。官方网站在此间:MAXMIND

先把库下载到本地:

[[email protected] ~]# wget http://geolite.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz

解压到当前路径,并将它移动到上述大家布署的不二法门下,当然另外门路也是能够的,可是logstash
的安排文件也急需转移,如下:

[[email protected] ~]# gzip -d GeoLiteCity.dat.gz
[[email protected] ~]# mv GeoLiteCity.dat /etc/logstash/.

测试下logstash 的安排文件呢,使用它自带的授命去测验,如下:

[[email protected] ~]# /opt/logstash/bin/logstash -t -f /etc/logstash/conf.d/nginx_access.conf
Configuration OK

注:-t -f 参数顺序无法乱,格式正是定死的,-f
前面要跟配置文件;还应该有正是该测验只好测量检验语法,标点符号。假诺逻辑上有错误的话,还是能够运维的。这里就须要在正儿八经开发银行运转时,多关切日志文件,地点:/var/log/logstash/logstash.log

  *注意:环境默认和上一篇大致一样,默认安装好了E、L、K、3个软件即可。当然了,还有必需的java环境JDK*

设置前提

安装JDK8环境

设置基础参数

/etc/sysctl.conf

#扩大以下参数

vm.max_map_count=655360

#进行以下命令,确认保障生效配置生效:

/sbin/sysctl –p

设置财富参数

/etc/security/limits.conf

#修改

* soft nofile 65536

* hard nofile 131072

* soft nproc 65536

* hard nproc 131072

设置elk顾客参数

/etc/security/limits.d/20-nproc.conf

#扩展(注意elk为后文成立的客户)

elk soft nproc 65536

成立ELK相关文书夹 

mkdir /usr/local/elk       #elk系统任务

mkdir /usr/local/elk/es   # es日志及数据存放文件夹

创造elasticsearch实施顾客及权限

groupadd elk    #创建elk用户组

useradd elk -g elk -p 密码

改换elasticsearch文件夹及内部文件的所属客户及组为elsearch:elsearch:

chown -R elk:elk /usr/local/elk          # 
“/usr/local/elk”为elk等的设置及日志、数据文件存放地方

三、配置Elasticsearch

1.先修改es的布置文件如下(寄存路线:/etc/elasticsearch/elasticsearch.yml):

[[email protected] ~]# egrep -v '^#|^$' /etc/elasticsearch/elasticsearch.yml
node.name: es-1
path.data: /data/elasticsearch/
network.host: 127.0.0.1
http.port: 9200

另外内容都保持暗中认可。主要修改了es的数目寄放路径,它暗中同意的门道在根目录下,由于容积太小,而/data体积大。
依据你的实际上景况考虑而定。

始建数量存放目录:

[[email protected] ~]# mkdir -pv /data/elasticsearch

修改该文件的权位所属者:

[[email protected] ~]# chown -R elasticsearch.elasticsearch /data/elasticsearch/

之后重启es,重启logstash。

[[email protected] ~]# systemctl restart elasticsearch
[[email protected] ~]# systemctl restart logstash

检查运维状态:

[[email protected] ~]# netstat -ulntp | grep java
tcp6       0      0 127.0.0.1:9200          :::*                    LISTEN      25988/java
tcp6       0      0 127.0.0.1:9300          :::*                    LISTEN      25988/java

[[email protected] ~]# systemctl status logstash
● logstash.service - LSB: Starts Logstash as a daemon.
   Loaded: loaded (/etc/rc.d/init.d/logstash)
   Active: active (running) since Fri 2016-09-09 16:14:17 CST; 38s ago
     Docs: man:systemd-sysv-generator(8)
  Process: 27195 ExecStart=/etc/rc.d/init.d/logstash start (code=exited, status=0/SUCCESS)
   CGroup: /system.slice/logstash.service
           └─27201 /bin/java -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -Djava.awt.headless=true -XX:CMSInitiatingOccupancyFraction=75 -XX...

Sep 09 16:14:17 log-monitor systemd[1]: Starting LSB: Starts Logstash as a daemon....
Sep 09 16:14:17 log-monitor logstash[27195]: logstash started.
Sep 09 16:14:17 log-monitor systemd[1]: Started LSB: Starts Logstash as a daemon..

logstash 的日志查看:

[[email protected] ~]# tail -f /var/log/logstash/logstash.log
{:timestamp=>"2016-09-09T16:14:26.732000+0800", :message=>"Pipeline main started"}

从地方可以看到运转是例行的,我们在去看下es里的目录,应该早已在倒入数据了。

[[email protected] ~]# curl 'localhost:9200/_cat/indices?v'
health status index                            pri rep docs.count docs.deleted store.size pri.store.size
yellow open   .kibana                            1   1          1            0      3.1kb          3.1kb
yellow open   logstash-nginx-access-2016.09.08   5   1      69893            0     24.2mb         24.2mb
yellow open   logstash-nginx-access-2016.09.09   5   1        339            0    273.8kb        273.8kb

从地点看到数据现已在逐步的导入了。大约需求一段时间,因为关乎到日志的过滤写入等。不过也相当慢呀。大家一时不去安顿kibana。先去安装nginx做个代理。

  开头从前,请允许小编插入一张图,来自线上自身的测验图:(假设有亟待的童鞋,可以私信小编,小编得以把登入帐号给你。。)

安装Elasticsearch

解压elasticsearch

cd /usr/local/elk

tar -zxvf elasticsearch-6.1.1.tar.gz

mv elasticsearch-6.1.1 elasticsearch

修改配置文件

vim elasticsearch/config/elasticsearch.yml

#这里钦定的是集群名称,要求修改为相应的,开启了自开掘效果后,ES会依照此集群名称进行集群开采

cluster.name:es_dev

#数码目录

path.data:/usr/local/elk/es/data

# log目录

path.logs:/usr/local/elk/es/logs

# 节点名称

node.name: es-node1

#修改一下ES的监听地址,那样别的机器也足以访谈

network.host:0.0.0.0

#默许的端口号

http.port:9200

进入elasticsearch的bin目录,使用./bin/elasticsearch
-d命令运行elasticsearch。

使用

ps -ef|grep elasticsearch

翻看进程

使用

curl -X
GET http://localhost:9200

四、安装nginx 配置kibana代理

1.下载牢固版的nginx,这里使用yum安装。可能也能够挑选编写翻译,个人以为rpm包已经够用能够运用。

[[email protected] ~]# wget https://nginx.org/packages/rhel/7/x86_64/RPMS/nginx-1.10.0-1.el7.ngx.x86_64.rpm

2.安装,并修改私下认可的布局文件

[[email protected] ~]# yum localinstall nginx-1.10.0-1.el7.ngx.x86_64.rpm –y

先将暗中认可的default.conf
移动到别的目录中,恐怕直接删除也足以。笔者是直接删除了。然后新建贰个elk.conf配置文件,内容如下:

[[email protected] ~]# cat /etc/nginx/conf.d/elk.conf
upstream elk {
    ip_hash;
    server 172.17.0.1:5601 max_fails=3 fail_timeout=30s;
    server 172.17.0.1:5601 max_fails=3 fail_timeout=30s;
}

server {
    listen 80;
    server_name localhost;
    server_tokens off;

    #close slow conn
    client_body_timeout 5s;
    client_header_timeout 5s;

    location / {
        proxy_pass http://elk/;
        index index.html index.htm;
        #auth
        auth_basic "ELK Private,Don't try GJ!";
        auth_basic_user_file /etc/nginx/.htpasswd;
    }


}

文本内容几乎解释:

此地省略500字

3.新建贰个http基本申明客商,使用的是httpd的一个工具组件,叫httpd-tools,用于转移加密的客户数据库

[[email protected] ~]# yum install httpd-tools –y

新建顾客:

[[email protected] ~]# htpasswd -cm /etc/nginx/.htpasswd elk
New password:
Re-type new password:
Adding password for user elk

重启nginx,并检讨意况

[[email protected] ~]# systemctl start nginx
[[email protected] ~]# systemctl status nginx
● nginx.service - nginx - high performance web server
   Loaded: loaded (/usr/lib/systemd/system/nginx.service; disabled; vendor preset: disabled)
   Active: active (running) since Fri 2016-09-09 12:02:41 CST; 47s ago
     Docs: http://nginx.org/en/docs/
  Process: 26422 ExecStart=/usr/sbin/nginx -c /etc/nginx/nginx.conf (code=exited, status=0/SUCCESS)
  Process: 26420 ExecStartPre=/usr/sbin/nginx -t -c /etc/nginx/nginx.conf (code=exited, status=0/SUCCESS)
 Main PID: 26424 (nginx)
   CGroup: /system.slice/nginx.service
           ├─26424 nginx: master process /usr/sbin/nginx -c /etc/nginx/nginx.conf
           └─26425 nginx: worker process

Sep 09 12:02:41 log-monitor systemd[1]: Starting nginx - high performance web server...
Sep 09 12:02:41 log-monitor nginx[26420]: nginx: the configuration file /etc/nginx/nginx.conf syntax is ok
Sep 09 12:02:41 log-monitor nginx[26420]: nginx: configuration file /etc/nginx/nginx.conf test is successful
Sep 09 12:02:41 log-monitor systemd[1]: Started nginx - high performance web server.
Sep 09 12:03:13 log-monitor systemd[1]: Started nginx - high performance web server.
Sep 09 12:03:26 log-monitor systemd[1]: Started nginx - high performance web server.

反省监听端口:

[[email protected] ~]# netstat -ultpn | grep :8888
tcp        0      0 0.0.0.0:8888            0.0.0.0:*               LISTEN      26424/nginx: master

修改iptables防火墙,插入以下准则,允许外面访谈8888端口。由于大家最后是接纳8888端口对外提供服务的,所以kibana的5601,以及es的9200、9300端口都无需对外

[[email protected] ~]# iptables -I INPUT -p tcp -m state --state NEW --dport 8888 -j ACCEPT

4.拜访一下网站,验证下:

来源:飞走不可-原文http://www.cnblogs.com/hanyifeng/p/5857875.html

输入大家树立的elk顾客,登陆后,能够健康的拜访kibana分界面就能够,如下图:

增加三个索引,那些目录名字就是大家事先在logstash配置文件中程导弹入es中的那多少个,本文中是logstash-nginx-access-*,如下图:

翻开索引,近来随意二个,设置为加星,正是discover私下认可出色体现的。

下一场大家点击Discover,就能够知到大家倒入的多少了。如下图:

来源:飞走不可-原文http://www.cnblogs.com/hanyifeng/p/5857875.html

最后那是本人的dashboard,主要总计了web站点的顾客端ip地址归属地、总的http传输次数、top10
来源ip、top10 诉求点击页面、错误乞求趋势、等等,如下,上几张图:

图片 1

安装Logstash

下载及解压

cd到安装目录:cd /usr/local/elk

tar -zxvf  logstash-6.1.1.tar.gz

在logstash的config目录成立logstash.conf文件

内容(备注:elasticsearch 集成es)

input{

   stdin { }

}

output {

elasticsearch {

  hosts => “192.168.102.139:9200”

  index => “logstash-test”

 }

   stdout {

      codec => rubydebug {}

   }

}

启动logstash

进去logstash安装目录

施行命令:./bin/logstash -f config/logstash.conf

后台运营:nohup ./bin/logstash -f config/logstash.conf &

五、小结

ELK优势:

  • 针对互连网攻击事件时,方便运转职员检索溯源。
  • 日记聚集搜聚存款和储蓄,方便后续剖析
  • 优化工作、系统时,做到有据可依
    ——> 来自虎神’s总括

搭建的经过中真的蛮费劲的(终归都以法文),出了难题不得不google,从不精晓到熟知,也好不轻便种经历啦。不发牢骚了。。

画图轻巧,就如虎大牌所说:“先学会了什么查,画图任天由命就回顾多了。当然还要领会里面每一种字段的含义”。笔者的下篇小说将会入眼说下什么样画图(满含地点那些图中样式哈)。有未有一点小福利的以为?

End.

转发请评释来源36大数量(36dsj.com):36大数据 » 利用
ELK系统一分配析Nginx日志并对数码进行可视化呈现

nginx日志文件之中一行:

安装kibana

解压包文件

tar -zxvf kibana-6.1.1-linux-x86_64.tar.gz

陈设文件

vmi config/kibana.yml

安顿内容:

server.port:5601

server.host:192.168.102.139  #kibana服务器地址

elasticsearch.url: “” 
#elasticsearch服务器地址

启动kibana

 ./bin/kibana

后台运转情势 

nohup ./bin/kibana &

218.75.177.193 - - [03/Sep/2016:03:34:06 +0800] "POST /newRelease/everyoneLearnAjax HTTP/1.1" 200 370 "http://www.xxxxx.com/" 
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36" "36.22.6.130"

Redis集成

redis作为输入端

编写制定logstash的logstash.conf文件,输入端修改为redis

配备内容

input {

        redis {

                data_type => “list”

                type => “redis-input”

                key => “logstash:redis”

                host => “192.168.102.140”

                port => 6379

                threads => 5

                codec => “json”

        }

}

output {

        elasticsearch {

                hosts => “192.168.102.139:9200”

                index => “logstash-test”

        }

        stdout {

                codec => rubydebug {}

        }

}

再次开动logstash,有redis注册音信日志表达成功:能够查看logstash中的日志文件

nginx 服务器日志的log_format格式:

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

二、配置logstash

1.改造配置文件,/etc/logstash/conf.d下。创造叁个新的布局文件,内容如下:

图片 2

[root@log-monitor ~]# cat /etc/logstash/conf.d/nginx_access.conf
input {
    file {
        path => [ "/data/nginx-logs/access.log" ]
        start_position => "beginning"
        ignore_older => 0
    }
}

filter {
    grok {
        match => { "message" => "%{NGINXACCESS}" }

    }
    geoip {
      source => "http_x_forwarded_for"
      target => "geoip"
      database => "/etc/logstash/GeoLiteCity.dat"
      add_field => [ "[geoip][coordinates]", "%{[geoip][longitude]}" ]
      add_field => [ "[geoip][coordinates]", "%{[geoip][latitude]}" ]
    }

    mutate {
      convert => [ "[geoip][coordinates]", "float" ]
      convert => [ "response","integer" ]
      convert => [ "bytes","integer" ]
      replace => { "type" => "nginx_access" }
      remove_field => "message"
    }

    date {
      match => [ "timestamp","dd/MMM/yyyy:HH:mm:ss Z"]

    }
    mutate {
      remove_field => "timestamp"

    }


}
output {
    elasticsearch {
        hosts => ["127.0.0.1:9200"]
        index => "logstash-nginx-access-%{+YYYY.MM.dd}"
    }
    stdout {codec => rubydebug}
}

View Code

文件内容大约解释:


*Logstash\ 分为\ Input、Output、Filter、Codec\ 等多种plugins。*
*Input:数据的输入源也支持多种插件,如elk官网的beats、file、graphite、http、kafka、redis、exec等等等、、、*
*Output:数据的输出目的也支持多种插件,如本文的elasticsearch,当然这可能也是最常用的一种输出。以及exec、stdout终端、graphite、http、zabbix、nagios、redmine等等、、、*
*Filter:使用过滤器根据日志事件的特征,对数据事件进行处理过滤后,在输出。支持grok、date、geoip、mutate、ruby、json、kv、csv、checksum、dns、drop、xml等等、、*
*Codec:编码插件,改变事件数据的表示方式,它可以作为对输入或输出运行该过滤。和其它产品结合,如rubydebug、graphite、fluent、nmap等等。*
*具体以上插件的细节可以去官网,介绍的挺详细的。下面说下该篇中的配置文件的含义:*

*input段:*
* file:使用file\ 作为输入源*
*  path:\ 日志的路径,支持/var/log\*.log,及\[\ “/var/log/messages”,\ “/var/log/\*.log”\ \]\ 格式*
*  start\_position:\ 从文件的开始读取事件。另外还有end参数*
*  ignore\_older:\ 忽略早于24小时(默认值86400)的日志,设为0,即关闭该功能,以防止文件中的事件由于是早期的被logstash所忽略。*

*filter段:*
* grok:数据结构化转换工具*
*  match:匹配条件格式,将nginx日志作为message变量,并应用grok条件NGINXACCESS进行转换*
* geoip:该过滤器从geoip中匹配ip字段,显示该ip的地理位置*
*  source:ip来源字段,这里我们选择的是日志文件中的最后一个字段,如果你的是默认的nginx日志,选择第一个字段即可*
*  target:指定插入的logstash字断目标存储为geoip*
*  database:geoip数据库的存放路径*
*  add\_field:\ 增加的字段,坐标经度*
*  add\_field:\ 增加的字段,坐标纬度*
* mutate:\ 数据的修改、删除、类型转换*
*  convert:\ 将坐标转为float类型*
*  convert:\ http的响应代码字段转换成\ int*
*  convert:\ http的传输字节转换成int*
*  replace:\ 替换一个字段*
*  remove\_field:\ 移除message\ 的内容,因为数据已经过滤了一份,这里不必在用到该字段了。不然会相当于存两份*
* date:\ 时间处理,该插件很实用,主要是用你日志文件中事件的事件来对timestamp进行转换,导入老的数据必备!在这里曾让我困惑了很久哦。别再掉坑了*
*  match:匹配到timestamp字段后,修改格式为dd/MMM/yyyy:HH:mm:ss\ Z*
* mutate:数据修改*
*  remove\_field:\ 移除timestamp字段。*

*output段:*
* elasticsearch:输出到es中*
*  host:\ es的主机ip+端口或者es\ 的FQDN+端口*
*  index:\ 为日志创建索引logstash-nginx-access-*,这里也就是kibana那里添加索引时的名称*


2.成立logstash配置文件从此,大家还要去建设构造grok使用的表达式,因为logstash
的配备文件里定义的施用调换格式语法,先去logstash的设置目录,默许安装地点:/opt/logstash/下,在该岗位制造叁个目录patterns:

root@log-monitor ~]# mkdir -pv /opt/logstash/patterns
mkdir: created directory ‘/opt/logstash/patterns’

在该目录下开创格式文件,内容如下:

[root@log-monitor ~]# cat /opt/logstash/patterns/nginx
NGUSERNAME [a-zA-Z\.\@\-\+_%]+
NGUSER %{NGUSERNAME}
NGINXACCESS %{IPORHOST:clientip} - %{NOTSPACE:remote_user} \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})\" %{NUMBER:response} (?:%{NUMBER:bytes}|-) %{QS:referrer} %{QS:agent} \"%{IPV4:http_x_forwarded_for}\"

*  注:该格式的最终有一个http_x_forwarded_for,因为我们日志是启用了cdn代理的。日志的率先段都以cdn的,最终一段才是真的顾客的ip。*

*
*要求解析的nginx日志路线不在暗许的地点,所以本人依照logstash
的配备,建个目录先,并将日志文件拷贝进去:

[root@log-monitor ~]# mkdir -pv /data/nginx-logs/
[root@log-monitor ~]# ll /data/nginx-logs/
total 123476
-rw-r--r-- 1 nginx adm  126430102 Sep  9 16:02 access.log

3.然后就是logstash中陈设的GeoIP的数据库剖判ip了,这里是用了开源的ip数据源,用来剖析客商端的ip归属地。官方网址在此间:MAXMIND

先把库下载到本地:

[root@log-monitor ~]# wget http://geolite.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz

解压到当下路径,并将它移动到上述我们布署的门道下,当然其余门路也是能够的,可是logstash
的布局文件也亟需改换,如下: