---

Logstash - 插件

Logstash 为其管道的所有三个阶段(输入、过滤和输出)提供各种插件。这些插件可帮助用户从各种来源(如 Web 服务器、数据库、网络协议等)捕获日志。

捕获后，Logstash 可以根据用户要求解析数据并将其转换为有意义的信息。最后，Logstash 可以将这些有意义的信息发送或存储到各种目标源，如 Elasticsearch、AWS Cloudwatch 等。

输入插件

Logstash 中的输入插件可帮助用户从各种来源提取和接收日志。使用输入插件的语法如下 −

Input {
   Plugin name {
      Setting 1……
      Setting 2……..
   }
}

您可以使用以下命令下载输入插件 −

>Logstash-plugin install Logstash-input-<插件名称>

Logstash-plugin 实用程序位于 Logstash 安装目录的 bin 文件夹 中。下表列出了 Logstash 提供的输入插件。

插件设置

所有插件都有其特定设置，这有助于在插件中指定重要字段，如端口、路径等。我们将讨论一些输入插件的设置。

文件

此输入插件用于直接从输入源中的日志或文本文件中提取事件。它的工作原理类似于 UNIX 中的 tail 命令，并保存最后读取的光标并仅从输入文件中读取新附加的数据，但可以使用 star_position 设置进行更改。以下是此输入插件的设置。

Elasticsearch

此特定插件用于读取 Elasticsearch 集群中的搜索查询结果。以下是此插件中使用的设置 −

eventlog

此输入插件从 Windows 服务器的 win32 API 读取数据。以下是此插件的设置 −

Twitter

此输入插件用于从 Twitter 的 Streaming API 收集其 feed。下表描述了此插件的设置。

TCP

TCP 用于通过 TCP 套接字获取事件；它可以从模式设置中指定的用户连接或服务器读取。下表描述了此插件的设置 −

Logstash – 输出插件

Logstash 支持各种输出源和不同的技术，如数据库、文件、电子邮件、标准输出、等等。

使用输出插件的语法如下 −

output {
   Plugin name {
      Setting 1……
      Setting 2……..
   }
}

您可以使用以下命令 − 下载输出插件

>logstash-plugin install logstash-output-<plugin name>

Logstash-plugin 实用程序位于 Logstash 安装目录的 bin 文件夹中。下表介绍了 Logstash 提供的输出插件。

所有插件都有其特定的设置，这有助于在插件中指定重要字段，如端口、路径等。我们将讨论一些输出插件的设置。

Elasticsearch

Elasticsearch 输出插件使 Logstash 能够将输出存储在 Elasticsearch 引擎的特定集群中。这是用户的著名选择之一，因为它包含在 ELK Stack 包中，因此为 DevOps 提供了端到端解决方案。下表描述了此输出插件的设置。

Email

当 Logstash 生成输出时，电子邮件输出插件用于通知用户。下表描述了此插件的设置。

Http

此设置用于通过 http 将输出事件发送到目的地。此插件有以下设置 −

stdout

stdout 输出插件用于将输出事件写入命令行界面的标准输出。它是 Windows 中的命令提示符和 UNIX 中的终端。此插件具有以下设置 −

statsd

它是一个网络守护进程，用于通过 UDP 将矩阵数据发送到目标后端服务。它是 Windows 中的命令提示符和 UNIX 中的终端。此插件具有以下设置 −

过滤插件

Logstash 支持各种过滤插件，用于解析和转换输入日志为更结构化且易于查询的格式。

使用过滤插件的语法如下 −

filter {
   Plugin name {
      Setting 1……
      Setting 2……..
   }
}

您可以使用以下命令下载过滤器插件 −

>logstash-plugin install logstash-filter-<plugin name>

Logstash-plugin 实用程序位于 Logstash 安装目录的 bin 文件夹中。下表介绍了 Logstash 提供的输出插件。

编解码器插件

编解码器插件可以是输入或输出插件的一部分。这些插件用于更改或格式化日志数据的呈现方式。Logstash 提供多种编解码器插件，如下所示 −

构建您自己的插件

您还可以在 Logstash 中创建自己的插件，以满足您的要求。Logstash-plugin 实用程序用于创建自定义插件。在这里，我们将创建一个过滤器插件，它将在事件中添加自定义消息。

生成基础结构

用户可以使用 logstash-plugin 实用程序的生成选项生成必要的文件，也可以在 GitHub 上获取。

>logstash-plugin generate --type filter --name myfilter --path c:/tpwork/logstash/lib

这里，type 选项用于指定插件是输入、输出还是过滤器。在此示例中，我们正在创建一个名为 myfilter 的过滤器插件。path 选项用于指定您希望创建插件目录的路径。执行上述命令后，您将看到创建了一个目录结构。

开发插件

您可以在插件目录中的 \lib\logstash\filters 文件夹中找到插件的代码文件。文件扩展名为 .rb。

在我们的例子中，代码文件位于以下路径 −

C: pwork\logstash\lib\logstash-filter-myfilter\lib\logstash\filters\myfilter.rb

我们将消息更改为 − default ⇒ "Hi, You are learning this on tutorialspoint.com"，然后保存文件。

安装插件

要安装此插件，需要修改 Logstash 的 Gemfile。您可以在 Logstash 的安装目录中找到此文件。在我们的例子中，它将位于 C: pwork\logstash。使用任何文本编辑器编辑此文件并在其中添加以下文本。

gem "logstash-filter-myfilter",:path => "C:/tpwork/logstash/lib/logstash-filter-myfilter"

在上面的命令中，我们指定了插件的名称以及我们可以在哪里找到它进行安装。然后，运行 Logstash-plugin 实用程序来安装此插件。

>logstash-plugin install --no-verify

测试

在这里，我们在前面的一个示例中添加了 myfilter −

logstash.conf

此 Logstash 配置文件在 grok 过滤器插件后的过滤器部分中包含 myfilter。

input {
   file {
      path => "C:/tpwork/logstash/bin/log/input1.log"
   } 
}
filter {
   grok {
      match => [
         "message", "%{LOGLEVEL:loglevel} - %{NOTSPACE:taskid} -
            %{NOTSPACE:logger} - %{WORD:label}( - %{INT:duration:int})?" ]
   }
   myfilter{}
}
output {
   file {
      path => "C:/tpwork/logstash/bin/log/output1.log"
      codec => rubydebug
   }
}

运行logstash

我们可以使用以下命令运行Logstash。

>logstash –f logsatsh.conf

input.log

以下代码块显示输入日志数据。

INFO - 48566 - TRANSACTION_START - start

output.log

以下代码块显示输出日志数据。

{
   "path" => "C:/tpwork/logstash/bin/log/input.log",
   "@timestamp" => 2017-01-07T06:25:25.484Z,
   "loglevel" => "INFO",
   "logger" => "TRANSACTION_END",
   "@version" => "1",
   "host" => "Dell-PC",
   "label" => "end",
   "message" => "Hi, You are learning this on tutorialspoint.com",
   "taskid" => "48566",
   "tags" => []
}

将其发布到 Logstash

开发人员还可以通过将其自定义插件上传到 github 并遵循 Elasticsearch 公司定义的标准化步骤将其发布到 Logstash。

有关发布的更多信息，请参阅以下 URL −

https://www.elastic.co/guide/en/logstash/current/contributing-to-logstash.html

---