本文记录了一次日志平台的搭建。主要场景如下:
  1. 应用将日志发送给RabbitMQ
  2. Logstash连接到RabbitMQ抽取日志
  3. Logstash将抽取的日志内容做一些加工,然后存入到Elasticsearch中
  4. Kibana连接到Elasticsearch,提供日志查询、展现等功能。

整个过程图形表示如下:

1.先下载要用到的Docker镜像文件

[root@14-28 pipeline]# docker images
REPOSITORY                                      TAG                   IMAGE ID            CREATED             SIZE
rabbitmq                                        3.6-management        f2e38e79371c        2 months ago        149MB
docker.elastic.co/logstash/logstash             6.2.4                 00a38ba5444c        3 months ago        657MB
docker.elastic.co/kibana/kibana                 6.2.4                 327c6538ba4c        3 months ago        933MB
docker.elastic.co/elasticsearch/elasticsearch   6.2.4                 7cb69da7148d        3 months ago        515MB
注意,rabbitmq是从docker官方镜像仓库拉取的:https://store.docker.com/images/rabbitmq
Elasticsearch相关的3个镜像是从Elasticsearch官网拉取的:https://www.docker.elastic.co/

2.准备容器编排文件

这里用到的docker-compose来编排容器,文件如下:

root@Ubuntusvr1:~/elk# cat docker-compose.yml
version: '2'
services:
  rabbitmq:
    image: rabbitmq:3.6-management
    ports:
      - "5672:5672"
      - "15672:15672"
    container_name:
      rabbitmq-ichub
    hostname:
      rabbitmq-ichub
    environment:
      - "RABBITMQ_DEFAULT_USER=dev"
      - "RABBITMQ_DEFAULT_PASS=123456"

  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:6.2.4
    ports:
      - "9200:9200"
      - "9300:9300"
    container_name:
      elasticsearch
    environment:
      - "xpack.security.enabled=false"
      - "discovery.type=single-node"
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"

  kibana:
    image: docker.elastic.co/kibana/kibana:6.2.4
    container_name:
      kibana
    depends_on:
      - elasticsearch
    ports:
      - "5601:5601"
    links:
      - elasticsearch
    environment:
      - "xpack.security.enabled=false"

  logstash:
    image: docker.elastic.co/logstash/logstash:6.2.4
    container_name:
      logstash
    depends_on:
      - elasticsearch
      - rabbitmq
    ports:
      - "25826:25826"
    links:
      - elasticsearch
      - rabbitmq
    volumes:
      - $PWD/logstashpipeline:/usr/share/logstash/pipeline
这里要注意的是,创建rabbitmq容器必须指定hostname参数,因为此镜像是基于NodeName(默认等于hostname)来存储数据的。
loastash容器,我们通过卷指定了配置文件的路径,从而控制容器使用我们的管道配置文件。
另外,这里也指定了depends_on参数,因为容器之间存在依赖项,比如要等RabbitMQ容器起来之后,Logstash容器才能连接到队列上。所以Logstash容器需要依赖RabbitMQ容器。

3.配置logstash从rabbitmq抽取数据。

root@Ubuntusvr1:~/elk# cat logstashpipeline/rabbitmq.conf
input{
    rabbitmq {
        host => "rabbitmq"
        exchange => "ichub_log_exchange"
        exchange_type => "topic"
        key => "#"
        queue => "ichub_log"
        heartbeat => 30
        durable => true
        password => "123456"
        user => "dev"
        codec => "plain"
    }
}

filter {
    grok{
        match => {"message" => "%{TIMESTAMP_ISO8601:logtime} %{NUMBER:pid} %{WORD:level} (?<dbname>\S*) %{USERNAME:modul}: %{GREEDYDATA:msgbody}"}
    }
    date {
        match => [ "logtime", "YYYY-MM-dd HH:mm:ss,SSS" ]
        target => "@timestamp"
    }
}

output
{
    elasticsearch {
        hosts => "elasticsearch:9200"
        index => "ichub_prod-%{+YYYY.MM.dd}"
    }
}

其实主要的工作就在这里,分为三块。input配置数据来源,filter过滤数据,output将数据传输给Elasticsearch。

input
这里用到了logstash的rabbitmq的输入插件,其详细的配置文件在这里
值得注意的是,这个插件默认的解码器用的是JSON,因为我们的日志是一行一行的文本,字段之间用空格分割,所以这里配置的codec是plain。
另外,这里明确的指定了rabbitmq的exchange、exchange_type、key,这样logstash启动的时候会连接到RabbitMQ,并自动创建交换器及队列。
filter
这里用到了grok来解析日志。因为我们的时间格式不是默认支持的,所以用到了data插件来专门解析时间,并将解析的时间覆盖到@timestamp字段,作为Elasticsearch的时间索引字段。
由于我们的日志中数据库名这个字段,可能是一个问号“?”,所以不能用默认的WORD模式,这里我用了正则表达式来匹配数据库名。
这里需要解释下日志解析的模式:%{TIMESTAMP_ISO8601:timestap} %{NUMBER:pid} %{WORD:level} (?<dbname>\S*) %{USERNAME:modul}: %{GREEDYDATA:msgbody}
TIMESTAMP_ISO8601:匹配时间
NUMBER:匹配数字
WORD:匹配单词
(?<dbname>\S*):匹配一个不包含非空字符的字符串,本场景主要匹配:ic_new,?这两种情况。
GREEDYDATA:匹配剩下的所有内容
USERNAME:匹配由字母、数字、句点、下划线和横杠组成的字符串。

更多Grok匹配模式

在用到grok解析日志时,可以使用Kibana自带的grok调试工具

也可以用在线的Grok调试工具

output
这里配置为输出到Elasticsearch服务器,并指定了index的名字,固定字符串开头,根据日期每天创建一个索引。
注意,如果遇到问题,可以将数据输出到控制台,方便定位问题:
output
{
    stdout {
        codec => dots
    }
    elasticsearch {
        hosts => "elasticsearch:9200"
        index => "ichub-%{+YYYY.MM.dd}"
    }
}

这样我们配置了2个输出,一个输出到控制台,一个输出到Elasticsearch。控制台会有如下信息:

4.创建并启动容器

# docker-compose up -d

调试的时候,可以连接到logstash容器去查看实时的日志:

# docker logs -f logstash
5.在Kibana中配置索引,查询日志。

打开索引创建页面,如果logstash已经开始传输数据,就能看到我们在配置文件中指定的索引了。

配置好索引后,即可在Discover页面查询到日志数据。

发表评论

电子邮件地址不会被公开。 必填项已用*标注