一、Logstash基本介绍

Logstash 是一个功能强大的工具,可与各种部署集成。 它提供了大量插件,可帮助你解析,丰富,转换和缓冲来自各种来源的数据(文件、数据库......)。logstash简单来说就是一个数据抽取工具,将数据从一个地方转移到另一个地方。

 

Logstash 是 Elastic 栈非常重要的一部分,但是它不仅仅为 Elasticsearch 所使用。它可以介绍广泛的各种数据源。Logstash 可以帮利用它自己的Filter帮我们对数据进行解析,丰富,转换等。最后,它可以把自己的数据输出到各种需要的数据储存地(redis、kafaka等等),这其中一般主要就是Elasticsearch。

二、windows下安装

在windows下安装及其简单,下载zip包解压即可。

注意:如果要推送的数据到es,那么一定要和es的版本相同

下载地址:https://www.elastic.co/cn/downloads/logstash

三、配置文件

logstash之所以功能强大和流行,与其丰富的过滤器插件是分不开的,过滤器提供的并不单单是过滤的功能,还可以对进入过滤器的原始数据进行复杂的逻辑处理,甚至添加独特的事件到后续流程中。

Logstash配置文件有如下三部分组成,其中input、output部分是必须配置,filter部分是可选配置,而filter就是过滤器插件,可以在这部分实现各种日志过滤功能。

input {
   输入插件
}
filter {
   过滤匹配插件
}
output {
   输出插件
}

四、启动logstash

找到logstash.bat文件的目录,打开控制台。

 

为了好维护,下面这种写法一般不推荐。

logstash.bat -e 'input{stdin{}} output{stdout{}}'

在config目录下面新建文件test1.conf,并将下方内容写入。意思是将控制台输入的内容输出到控制台

注意:内容的格式不能乱,缩进等等,若内容没问题的话,启动不起来一般都是格式的问题

input{
    stdin{
       
    }
}
output {
    stdout{
        codec=>rubydebug    
    }
}

运行上方命令,时间较长稍微等一下

logstash.bat -f ../config/test1.conf

启动成功界面如下

 

接下来在控制台输入hello world,返回结果如下

 

返回结果解析

  • message:输出的结果
  • host:主机名
  • @version:版本号
  • @timestamp:当前时间戳