ELK环境搭建

Hanrea 发表于 2016-12-23 15:10:49 | 显示全部楼层 [复制链接]
5 715
本帖最后由 Hanrea 于 2016-12-23 15:26 编辑
EngineBUS enginebus EngineBUS enginebus
EngineBUS enginebus EngineBUS enginebus
ELK环境搭建
排版混乱,具体请参考f:链接: https://pan.baidu.com/s/1pLwF9zX 密码: j8dg
EngineBUS enginebus EngineBUS enginebus
环境:
Vagrant1.8.1
CentOS7.2 192.168.0.228
Elasticsearch2.3.2
logstash2.2.4
Kibana4.4.2
filebeat1.2.2
topbeat1.2.2
1.  Virtualbox/Vagrant安装
此部分内容不是必须,已有linux环境可跳过该步骤。
1.1. Virtualbox安装1.2. Vagrant安装1.2.1.  简述
VagrantDocker很像。Vagrant是一个基于Ruby的开源工具,用于创建和部署虚拟化开发环境。非常适合 php/python/ruby/java 这类语言开发 web 应用。它使用Oracle的开源VirtualBox虚拟化系统。可以通过 Vagrant 封装一个 Linux 的开发环境,分发给团队成员。成员可以在自己喜欢的桌面系统(Mac/Windows/Linux)上开发程序,代码却能统一在封装好的环境里运行,非常霸气。

EngineBUS enginebus EngineBUS enginebus1.2.2.  Vagrant box
file:///C:/Users/0x70/AppData/Local/Temp/msohtmlclip1/01/clip_image002.jpg
1.2.3.  安装配置
这里我们使用CentOS官方提供的vagrant box
下载该box到本地,假若放在F:\目录下
添加本地box
vagrant box add CentOS/7 F:\CentOS-7.box                    # 添加本地box名称为CentOS/7
vagrant box list                                                                        #查看box列表
vagrant init CentOS/7                                                             #使用已添加的box创建虚拟机
vagrant up                                                                                 #启动vagrant
最终会在目录下生成一个名为Vagrantfile的文件。
修改或编辑该文件内容如下
  1. Vagrant.configure(2) do |config|
    EngineBUS enginebus EngineBUS enginebus
  2.   
    EngineBUS enginebus EngineBUS enginebus
  3.    config.vm.box = "CentOS/7"
    EngineBUS enginebus EngineBUS enginebus
  4.   
    EngineBUS enginebus EngineBUS enginebus
  5.    config.vm.network "public_network", ip:  "192.168.0.228"
    EngineBUS enginebus EngineBUS enginebus
  6.   
    EngineBUS enginebus EngineBUS enginebus
  7.    config.vm.hostname = "c1"
    EngineBUS enginebus EngineBUS enginebus
  8.   
    EngineBUS enginebus EngineBUS enginebus
  9.    config.vm.provider "virtualbox" do |vb|
    EngineBUS enginebus EngineBUS enginebus
  10.   
    EngineBUS enginebus EngineBUS enginebus
  11.       vb.name = "c1"
    EngineBUS enginebus EngineBUS enginebus
  12.   
    EngineBUS enginebus EngineBUS enginebus
  13.       vb.memory = "2048"
    EngineBUS enginebus EngineBUS enginebus
  14.   
    EngineBUS enginebus EngineBUS enginebus
  15.    end
    EngineBUS enginebus EngineBUS enginebus
  16.   
    EngineBUS enginebus EngineBUS enginebus
  17. end
复制代码

EngineBUS enginebus EngineBUS enginebusconfig.vm.network 配置网络及ip注:其中config.vm.box表示使用哪个box
config.vm.hostname设置主机名称,
config.vm.provider设置使用virtualbox当然你还可以使用vmware
Vb.name设置主机名,
vb.memory设置内存大小。

EngineBUS enginebus EngineBUS enginebus
使用vagrant up启动虚拟机。
1.2.4.  常用命令
  1. $ vagrant init  # 初始化
    EngineBUS enginebus EngineBUS enginebus
  2. $ vagrant up  # 启动虚拟机
    EngineBUS enginebus EngineBUS enginebus
  3. $ vagrant halt  # 关闭虚拟机
    EngineBUS enginebus EngineBUS enginebus
  4. $ vagrant reload  # 重启虚拟机
    EngineBUS enginebus EngineBUS enginebus
  5. $ vagrant ssh  # SSH 至虚拟机
    EngineBUS enginebus EngineBUS enginebus
  6. $ vagrant status  # 查看虚拟机运行状态
    EngineBUS enginebus EngineBUS enginebus
  7. $ vagrant destroy  # 销毁当前虚拟机
复制代码
关于vagrant的详细使用请参考https://github.com/ameizi/DevArticles/issues/36。此处不做赘述。
2.  ELK安装2.1. CentOS7系统配置
在开始安装elk之前,我们需要对CentOS7做一系列配置。CentOS7安装后默认没有安装ifconfigiptables等命令。
2.1.1.  安装iptables
  1. $ systemctl stop firewalld
    EngineBUS enginebus EngineBUS enginebus
  2. $ systemctl mask firewalld
    EngineBUS enginebus EngineBUS enginebus
  3. $ yum install iptables-services
    EngineBUS enginebus EngineBUS enginebus
  4. $ systemctl enable iptables
    EngineBUS enginebus EngineBUS enginebus
  5. $ systemctl [stop|start|restart] iptables
    EngineBUS enginebus EngineBUS enginebus
  6. $ service iptables save
复制代码

EngineBUS enginebus EngineBUS enginebus2.1.2.  安装ifconfig
EngineBUS enginebus EngineBUS enginebus
  1. $ ip addr
    EngineBUS enginebus EngineBUS enginebus
  2. $ ip link
    EngineBUS enginebus EngineBUS enginebus
  3. $ ip -s link
    EngineBUS enginebus EngineBUS enginebus
  4. $ yum provides ifconfig
    EngineBUS enginebus EngineBUS enginebus
  5. $ yum whatprovides ifconfig
    EngineBUS enginebus EngineBUS enginebus
  6. $ yum install net-tools
    EngineBUS enginebus EngineBUS enginebus
  7. $ ifconfig -a
复制代码
2.1.3.  禁用IPV6
方法一:
  1. $ vi /etc/sysctl.conf
    EngineBUS enginebus EngineBUS enginebus
  2. net.ipv6.conf.all.disable_ipv6 = 1
    EngineBUS enginebus EngineBUS enginebus
  3. net.ipv6.conf.eth1.disable_ipv6 = 1
    EngineBUS enginebus EngineBUS enginebus
  4. $ sysctl -p
复制代码
方法二:
  1. $ vi /etc/sysctl.d/disableipv6.conf
    EngineBUS enginebus EngineBUS enginebus

  2. EngineBUS enginebus EngineBUS enginebus
  3. net.ipv6.conf.all.disable_ipv6 = 1
    EngineBUS enginebus EngineBUS enginebus
  4. net.ipv6.conf.eth1.disable_ipv6 = 1
    EngineBUS enginebus EngineBUS enginebus

  5. EngineBUS enginebus EngineBUS enginebus
  6. $ reboot
复制代码

EngineBUS enginebus EngineBUS enginebus
EngineBUS enginebus EngineBUS enginebus2.2. 安装Java并配置环境变量
EngineBUS enginebus EngineBUS enginebus
  1. $ cd ~
    EngineBUS enginebus EngineBUS enginebus
  2.   
    EngineBUS enginebus EngineBUS enginebus
  3. $ wget --no-cookies  --no-check-certificate --header "Cookie:  gpw_e24=http%3A%2F%2Fwww.oracle.com%2F;  oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u73-b02/jdk-8u73-linux-x64.rpm"
    EngineBUS enginebus EngineBUS enginebus
  4. $ sudo yum -y localinstall  jdk-8u73-linux-x64.rpm
    EngineBUS enginebus EngineBUS enginebus
  5. $ sudo vim /etc/profile
    EngineBUS enginebus EngineBUS enginebus
  6. export JAVA_HOME=/usr/java/jdk1.8.0_73
    EngineBUS enginebus EngineBUS enginebus
  7. export  CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    EngineBUS enginebus EngineBUS enginebus
  8. export PATH=$JAVA_HOME/bin:$PATH
    EngineBUS enginebus EngineBUS enginebus
  9. $ source /etc/profile
复制代码
2.3. 安装Elasticsearch2.3.1.  导入elasticsearch公钥2.3.2.  创建elasticsearch.repo
$ echo '[elasticsearch-2.x]
name=Elasticsearch repository for 2.xpackages
baseurl=http://packages.elastic.co/elasticsearch/2.x/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1
' | sudo tee/etc/yum.repos.d/elasticsearch.repo
2.3.3.  使用yum install安装
$ sudo yum -y install elasticsearch
2.3.4.  修改elasticsearch配置(修改主机ip
$ sudo vim /etc/elasticsearch/elasticsearch.yml
network.host: 192.168.0.228
2.3.5.  启动elasticsearch
$ sudo systemctl start elasticsearch
2.3.6.  elasticsearch添加到开机自启动
$ sudo systemctl enable elasticsearch
2.3.7.  访问elasticsearch rest服务
使用http://192.168.0.228:9200/出现如下内容表示elasticsearch安装成功。
注:
1、Elasticsearch默认http端口为9200,节点端口为9300
2、Elasticsearchrest服务访问不到则记得查看防火墙配置。
3、Elasticsearch默认安装到/usr/share/elasticsearch目录下
4、Elasticsearch配置文件默认在/etc/elasticsearch/目录下。可以使用rpm-qc命令查看。如下所示:
$ rpm -qc elasticsearch
/etc/elasticsearch/elasticsearch.yml
/etc/elasticsearch/logging.yml
/etc/init.d/elasticsearch
/etc/sysconfig/elasticsearch
/usr/lib/sysctl.d/elasticsearch.conf
/usr/lib/systemd/system/elasticsearch.service
/usr/lib/tmpfiles.d/elasticsearch.conf

EngineBUS enginebus EngineBUS enginebus

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?Sign Up

x
发表于 2016-12-23 14:57:41 | 显示全部楼层
1.1. 安装Kibana1.1.1.  创建kibana.repo
$ sudo vim /etc/yum.repos.d/kibana.repo
[kibana-4.4]
name=Kibana repository for 4.4.x packages
baseurl=http://packages.elastic.co/kibana/4.4/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1
1.1.2.  使用yum install安装kibana
$ sudo yum -y install kibana
注:
1、Kibana默认端口为5601
2、kibana默认安装在/opt/kibana目录下
3、Kibana配置文件路径为/opt/kibana/config/kibana.yml
$ rpm -qc kibana
/opt/kibana/config/kibana.yml
1.1.3.  修改kibana配置
$ sudo vim /opt/kibana/config/kibana.yml
server.host: "192.168.0.228"
elasticsearch.url:"http://192.168.0.228:9200"
1.1.4.  启动kibana并添加为开机自启动服务
$ sudo systemctl start kibana
$ sudo chkconfig kibana on
1.2. 安装Nginx(此部分内容不是必须)
由于elasticsearchkibana自身均没有提供访问权限安全问题,这里使用nginx代理来验证用户身份。
1.2.1.  安装nginx
$ sudo yum -y install epel-release
$ sudo yum -y install nginx httpd-tools
1.2.2.  创建用户并设定密码
$ sudo htpasswd -c/etc/nginx/htpasswd.users kibanaadmin #创建kibanaadmin用户
注:
这里创建的用户为kibanaadmin/kibanaadmin(用户密码均为kibanaadmin
1.2.3.  修改/etc/nginx/nginx.conf
$ sudo vim /etc/nginx/nginx.conf
  
user nginx;
  
worker_processes auto;
  
error_log /var/log/nginx/error.log;
  
pid /run/nginx.pid;
  
  
events {
  
     worker_connections 1024;
  
}
  
  
http {
  
     log_format  main  '$remote_addr - $remote_user [$time_local]  "$request" '
  
                      '$status  $body_bytes_sent "$http_referer" '
  
                       '"$http_user_agent" "$http_x_forwarded_for"';
  
  
     access_log   /var/log/nginx/access.log  main;
  
  
     sendfile            on;
  
     tcp_nopush          on;
  
     tcp_nodelay         on;
  
     keepalive_timeout   65;
  
     types_hash_max_size 2048;
  
  
     include              /etc/nginx/mime.types;
  
     default_type         application/octet-stream;
  
  
     include /etc/nginx/conf.d/*.conf;
  
}
  
1.2.4.  创建/etc/nginx/conf.d/kibana.conf文件
sudo vim /etc/nginx/conf.d/kibana.conf
  
server {
  
     listen 80;
  
  
     server_name 192.168.0.228;
  
  
     auth_basic "Restricted Access";
  
     auth_basic_user_file /etc/nginx/htpasswd.users;
  
  
     location / {
  
         proxy_pass http://192.168.0.228:5601;
  
         proxy_http_version 1.1;
  
         proxy_set_header Upgrade $http_upgrade;
  
         proxy_set_header Connection 'upgrade';
  
         proxy_set_header Host $host;
  
         proxy_cache_bypass $http_upgrade;        
  
     }
  
}
  
注:
1、以上配置使用http basic认证用户身份。
2、使用nginx反向代理到kibana所在服务器(http://192.168.0.228:5601
为了使上述配置生效并能成功代理,需做如下操作
$ sudo setsebool -Phttpd_can_network_connect 1
至此,访问nginx时则会要求输入用户名密码(kibanaadmin/kibanaadmin)。输入正确后请求会请求代理到kibana
1.2.5.  启动nginx并添加到开启自启动服务
$ sudo systemctl start nginx
$ sudo systemctl enable nginx
1.3. 安装Logstash1.3.1.  创建logstash.repo
$ sudo vim /etc/yum.repos.d/logstash.repo
[logstash-2.2]
name=logstash repository for 2.2 packages
baseurl=http://packages.elasticsearch.org/logstash/2.2/centos
gpgcheck=1
gpgkey=http://packages.elasticsearch.org/GPG-KEY-elasticsearch
enabled=1
1.3.2.  使用yum install安装logstash
$ sudo yum -y install logstash
注:
1、logstash默认安装在/opt/logstash目录
2、Logstash默认配置文件目录rpm-qc logstash
/etc/init.d/logstash
/etc/logrotate.d/logstash
/etc/sysconfig/logstash
1.3.3.  生成ssl证书1.3.3.1.      根据ip生成
修改/etc/pki/tls/openssl.cnf文件,找到[ v3_ca ]节点。修改subjectAltNameIP:ELK安装机器IP
sudo vim /etc/pki/tls/openssl.cnf
内容如下:
[ v3_ca ]
subjectAltName = IP: 192.168.0.228
切换到/etc/pki/tls目录,生成证书
$ cd /etc/pki/tls
$ sudo openssl req -config/etc/pki/tls/openssl.cnf -x509 -days 3650 -batch -nodes -newkey rsa:2048-keyout private/logstash-forwarder.key -out certs/logstash-forwarder.crt
发表于 2016-12-23 15:03:21 | 显示全部楼层
.1.1.1.      根据域名生成
$ cd /etc/pki/tls
$ sudo openssl req -subj '/CN=www.elk.com/'-x509 -days 3650 -batch -nodes -newkey rsa:2048 -keyoutprivate/logstash-forwarder.key -out certs/logstash-forwarder.crt
1.1.2.  Logstash配置
这里所有的配置均在/etc/logstash/conf.d目录下。
1.1.2.1.      Input
创建一个beats input
$ sudo vim/etc/logstash/conf.d/02-beats-input.conf
input {
beats {
   port => 5044
   ssl => true
   ssl_certificate =>"/etc/pki/tls/certs/logstash-forwarder.crt"
   ssl_key => "/etc/pki/tls/private/logstash-forwarder.key"
  }
}
这里使用beats input,监听在5044端口上,使用之前生成的证书文件。
1.1.2.2.      Filter
syslog创建一个filter
$ sudo vim/etc/logstash/conf.d/10-syslog-filter.conf
filter {
  if[type] == "syslog" {
   grok {
     match => { "message" =>"%{SYSLOGTIMESTAMP:syslog_timestamp} %{SYSLOGHOST:syslog_hostname}%{DATA:syslog_program}(?:\[%{POSINT:syslog_pid}\])?:%{GREEDYDATA:syslog_message}" }
     add_field => [ "received_at", "%{@timestamp}" ]
     add_field => [ "received_from", "%{host}" ]
    }
   syslog_pri { }
   date {
     match => [ "syslog_timestamp", "MMM  d HH:mm:ss", "MMM dd HH:mm:ss"]
    }
  }
}
1.1.2.3.      Output
beat输入输出到elasticsearch
$ sudo vim/etc/logstash/conf.d/30-elasticsearch-output.conf
output {
elasticsearch {
    hosts => ["192.168.0.228:9200"]
   sniffing => true
   manage_template => false
   index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"
   document_type => "%{[@metadata][type]}"
  }
}
1.1.3.  测试配置是否正确
$ sudo service logstash configtest
如果显示Configuration OK则表示没有任何语法错误。
1.1.4.  启动logstash并添加为开机自启动服务
$ sudo systemctl restart logstash
$ sudo chkconfig logstash on
1.1.5.  安装 Kibana Dashboards
$ unzip beats-dashboards-1.2.2.zip
$ cd beats-dashboards-1.2.2/
$ vim ./load.sh
ELASTICSEARCH=http://192.168.0.228:9200
$ ./load.sh
执行完后会创建如下index pattern
[packetbeat-]YYYY.MM.DD
[topbeat-]YYYY.MM.DD
[filebeat-]YYYY.MM.DD
[winlogbeat-]YYYY.MM.DD
使用kibana时,选择filebeat模式
1.2. 安装Filebeat1.2.1.  导入elasticsearch公钥1.2.2.  创建elastic-beats.repo
$ sudo vim/etc/yum.repos.d/elastic-beats.repo
[beats]
name=Elastic Beats Repository
baseurl=https://packages.elastic.co/beats/yum/el/$basearch
enabled=1
gpgkey=https://packages.elastic.co/GPG-KEY-elasticsearch
gpgcheck=1
1.2.3.  安装filebeat
$ sudo yum -y install filebeat
或者
$ sudo rpm -vi filebeat-1.2.2-x86_64.rpm
注:rpm -qc filebeat查找filebeat核心配置文件为/etc/filebeat/filebeat.yml
1.2.4.  配置Filebeat
Filebeat默认安装后其配置文件为/etc/filebeat/filebeat.yml。该配置文件遵从yaml语法格式。有较强的缩进等语法。可使用下列网站进行校验
1.2.4.1.      一个简单的配置1.2.4.1.1.     使用elasticsearch作为输出1.2.4.1.2.     使用logstash作为输出

发表于 2016-12-23 15:04:46 | 显示全部楼层
1.2.5.   load filebeat template1.2.6.   启动filebeat并添加为系统开机自启动服务1.2.7.   测试filebeat1.2.8.   Connect to Kibana


1.3. 安装topbeat1.3.1.   导入elasticsearch公钥1.3.2.   创建elastic-beats.repo1.3.3.   安装topbeat1.3.4.   配置Topbeat1.3.5.   load topbeat template
发表于 2016-12-23 15:07:39 | 显示全部楼层

$ curl -XPUT 'http://192.168.0.228:9200/_template/topbeat' -d@/etc/topbeat/topbeat.template.json
1.3.6.   启动topbeat并添加为系统开机自启动服务1.3.7.   测试topbeat
  1. $ curl -XGET 'http://192.168.0.228:9200/topbeat-*/_search?pretty'
  2. {
  3.   "took" : 8,
  4.   "timed_out" : false,
  5.   "_shards" : {
  6.     "total" : 5,
  7.     "successful" : 5,
  8.     "failed" : 0
  9.   },
  10.   "hits" : {
  11.     "total" : 277442,
  12.     "max_score" : 1.0,
  13.     "hits" : [ {
  14.       "_index" : "topbeat-2016.05.17",
  15.       "_type" : "system",
  16.       "_id" : "AVS8XHQPMXchSyg0mTFD",
  17.       "_score" : 1.0,
  18.       "_source" : {
  19.         "@timestamp" : "2016-05-17T01:37:26.228Z",
  20.         "type" : "system",
  21.         "load" : {
  22.           "load1" : 4.07,
  23.           "load5" : 1.8,
  24.           "load15" : 0.68
  25.         },
  26.         "cpu" : {
  27.           "user" : 3126,
  28.           "user_p" : 0.0293,
  29.           "nice" : 3190,
  30.           "system" : 2627,
  31.           "system_p" : 0.0984,
  32.           "idle" : 156,
  33.           "iowait" : 2322,
  34.           "irq" : 0,
  35.           "softirq" : 485,
  36.           "steal" : 0
  37.         },
  38.         "mem" : {
  39.           "total" : 3009445888,
  40.           "used" : 948916224,
  41.           "free" : 2060529664,
  42.           "used_p" : 0.32,
  43.           "actual_used" : 664776704,
  44.           "actual_free" : 2344669184,
  45.           "actual_used_p" : 0.22
  46.         },
  47.         "swap" : {
  48.           "total" : 1610608640,
  49.           "used" : 0,
  50.           "free" : 1610608640,
  51.           "used_p" : 0
  52.         },
  53.         "count" : 1,
  54.         "beat" : {
  55.           "hostname" : "c1",
  56.           "name" : "c1"
  57.         },
  58.         "@version" : "1",
  59.         "host" : "c1",
  60.         "tags" : [ "beats_input_raw_event" ]
  61.       }
  62.     }]
  63.   }
  64. }
复制代码

1.3.8.   Connect to Kibana

1.4. logstash扩展配置

  1. filebeat:
  2.   prospectors:
  3.     -
  4.       document_type: syslog
  5.       paths:
  6.         - /var/log/secure
  7.         - /var/log/messages
  8.     -
  9.       document_type: sys-log
  10.       input_type: log
  11.       paths:
  12.         - /var/log/*.log
  13.   registry_file: /var/lib/filebeat/registry
  14. logging:
  15.   files:
  16.     rotateeverybytes: 10485760
  17. output:
  18.   logstash:
  19.     bulk_max_size: 1024
  20.     hosts:
  21.       - "192.168.0.228:5044"
  22.     tls:
  23.       certificate_authorities:
  24.         - /etc/pki/tls/certs/logstash-forwarder.crt
  25. shipper: ~
复制代码


1.4.1.   Nginx日志配置1.4.1.1.       Logstash Patterns: Nginx1.4.1.2.       Logstash Filter: Nginx1.4.1.3.       重启logstash1.4.1.4.       Filebeat Prospector: Nginx
  1. $ sudo vim /etc/filebeat/filebeat.yml
  2. filebeat:
  3.   prospectors:
  4.     -
  5.       document_type: nginx-access
  6.       paths:
  7.         - /var/log/nginx/access.log
  8.   registry_file: /var/lib/filebeat/registry
  9. logging:
  10.   files:
  11.     rotateeverybytes: 10485760
  12. output:
  13.   logstash:
  14.     bulk_max_size: 1024
  15.     hosts:
  16.       - "192.168.0.228:5044"
  17.     tls:
  18.       certificate_authorities:
  19.         - /etc/pki/tls/certs/logstash-forwarder.crt
  20. shipper: ~
复制代码

1.4.1.5.       重启filebeat1.4.1.6.       kibana搜索效果图
1.4.2.   Apache HTTP Web Server日志配置1.4.2.1.       Logstash Filter: Apache1.4.2.2.       重启logstash1.4.2.3.       Filebeat Prospector: Apache
  1. $ sudo vim /etc/filebeat/filebeat.yml
  2. filebeat:
  3.   prospectors:
  4.     -
  5.       document_type: apache-access
  6.       input_type: log
  7.       paths:
  8.         - /var/log/apache2/access.log
  9.   registry_file: /var/lib/filebeat/registry
  10. logging:
  11.   files:
  12.     rotateeverybytes: 10485760
  13. output:
  14.   logstash:
  15.     bulk_max_size: 1024
  16.     hosts:
  17.       - "192.168.0.228:5044"
  18.     tls:
  19.       certificate_authorities:
  20.         - /etc/pki/tls/certs/logstash-forwarder.crt
  21. shipper: ~
复制代码

发表于 2016-12-23 15:10:49 | 显示全部楼层

1.4.2.4.       重启filebeat1.4.3.   Tomcat日志配置






1.4.3.1.       定义Logstash Patterns: Tomcat1.4.3.2.       定义Logstash Filter: Tomcat1.4.3.3.       重启logstash1.4.3.4.       Filebeat Prospector: Tomcat
  1. $ sudo vim /etc/filebeat/filebeat.yml
  2. filebeat:
  3.   prospectors:
  4.     -
  5.       document_type: tomcat-access
  6.       input_type: log
  7.       paths:
  8.         - /home/vagrant/tomcat-7.0.69/logs/*.log
  9.   registry_file: /var/lib/filebeat/registry
  10. logging:
  11.   files:
  12.     rotateeverybytes: 10485760
  13. output:
  14.   logstash:
  15.     bulk_max_size: 1024
  16.     hosts:
  17.       - "192.168.0.228:5044"
  18.     tls:
  19.       certificate_authorities:
  20.         - /etc/pki/tls/certs/logstash-forwarder.crt
  21. shipper: ~
复制代码

1.4.3.5.       重启filebeat
1.4.3.6.       kibana搜索效果图
1.4.4.   最终配置

  1. filebeat:
  2.   prospectors:
  3.     -
  4.       document_type: syslog
  5.       paths:
  6.         - /var/log/secure
  7.         - /var/log/messages
  8.     -
  9.       document_type: sys-log
  10.       input_type: log
  11.       paths:
  12.         - /var/log/*.log
  13.     -
  14.       document_type: nginx-access
  15.       paths:
  16.         - /var/log/nginx/access.log
  17.     -
  18.       document_type: apache-access
  19.       input_type: log
  20.       paths:
  21.         - /var/log/apache2/access.log
  22.     -
  23.       document_type: tomcat-access
  24.       input_type: log
  25.       paths:
  26.         - /home/vagrant/tomcat-7.0.69/logs/*.log
  27.   registry_file: /var/lib/filebeat/registry
  28. logging:
  29.   files:
  30.     rotateeverybytes: 10485760
  31. output:
  32.   logstash:
  33.     bulk_max_size: 1024
  34.     hosts:
  35.       - "192.168.0.228:5044"
  36.     tls:
  37.       certificate_authorities:
  38.         - /etc/pki/tls/certs/logstash-forwarder.crt
  39. shipper: ~
复制代码
1.1. 使用Kibana查询分析日志
这里注意涉及DiscoverVisualizeDashboardSettings面板的使用。具体用法请结合官方文档。这里不再赘述。


您需要登录后才可以回帖 登录 | Sign Up

本版积分规则

推荐阅读

QQ| Archiver|手机版|小黑屋| 引擎巴士 EngineBUS  

Powered by Discuz! X3.2© 2001-2013 Comsenz Inc.  

返回顶部 返回列表