logstash好用不
Logstash 是 Elastic Stack 中功能最强大的 ETL 工具，相较于 beats 家族，虽然它略显臃肿，但是强在功能丰富、处理能力强大。
但是在好用的东西也得看个人掌握的技能程度，你如果都不能深入的理解，那就根本谈不上好不好用了。萝卜青菜各有所爱，最终还得看个人。
es-日志存储-Logstash 介绍
本文是elasticsearch官方文档logstash的翻译，你也可a href=""查看原文/a
注：Logstash意思是日志存储，下文中对本词使用英文。
Logstash is an open source data collection engine with real-time pipelining capabilities（功能）. Logstash can dynamically unify（统一） data from disparate（不同的） sources and normalize the data into destinations（目的地） of your choice. Cleanse（净化） and democratize（大众化） all your data for diverse（不同的） advanced downstream（下游） ***ytics and visualization（形象化） use cases.
While Logstash originally（最初） drove innovation（创新） in log collection, its capabilities extend well beyond（超越） that use case. Any type of event can be enriched and transformed（转变） with a broad（宽的） arr*** of input, filter, and output plugins, with many native codecs further（更好地） simplifying（简化） the ingestion（吸收） process. Logstash accelerates（加速） your insights（洞察力） by harnessing（利用） a greater volume and variety（多样） of data.
The ingestion workhorse for Elasticsearch and more
Horizontally（水平） scalable（可扩展的） data processing pipeline with strong Elasticsearch and Kibana synergy（协同）
Pluggable pipeline architecture
Mix, match, and orchestrate different inputs, filters, and outputs to pl*** in pipeline harmony
Community-extensible and developer-friendly plugin ecosystem
Over 200 plugins available, plus the flexibility of creating and contributing your own
Collect more, so you can know more. Logstash welcomes data of all shapes and sizes.
Logs and Metrics
Where it all started.
The Web
Unlock the World Wide Web.
Data Stores and Streams
Discover more value from the data you already own.
Sensors and IoT
Explore an expansive breadth of other data.
The better the data, the better the knowledge. Clean and transform your data during ingestion to gain near real-time insights immediately at index or output time. Logstash comes out-of-box with many aggregations and mutations along with pattern matching, geo mapping, and dynamic lookup capabilities.
Route your data where it matters most. Unlock various downstream ***ytical and operational use cases by storing, ***yzing, and taking action on your data.
Analysis
Elasticsearch
Data stores such as MongoDB and Riak
Archiving
HDFS
S3
Google Cloud Storage
Monitoring
Nagios
Ganglia
Za***ix
Graphite
Datadog
CloudWatch
alerting
Watcher with Elasticsearch
Pagerduty
HipChat
IRC
SNS
EFLK-Logstash安装配置
Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地。
作为ELK中的L，之前采用的是EFK，其中F是Filebeat，比Logstash更加轻量，但是Logstash也有丰富的过滤功能，为此变成Filebeat-Logstash-Elasticsearch-kibana
服务器安装的版本
如果正常启动，日志不会报错，同时可以查看进程是否存活。
在logstash中，包括了三个阶段:
输入input -- 处理filter（不是必须的） -- 输出output
配置启动端口为9600
如下例子为过滤删除指定字段RetryJob
Grok 是 Logstash 最重要的插件。你可以在 grok 里预定义好命名正则表达式，在稍后(grok参数或者其他正则表达式里)引用它。
grok表达式的打印复制格式的完整语法是下面这样的：
grok-patterns内置的正则表达式
那问题来了，写了正则表达式，如何调试呢？
可以在kibana网页中的 dev tools 里 grok Debugger 进行调试
如下例子，在页面中需填写内容：
注意：可以这两种格式， {} 和 = 搭配， [] 和 , 搭配
Logstash-配置
配置 Logstash，你需要创建一个配置文件来指定想要使用的插件和每个插件的设置。可以引用配置中的事件字段，并在事件满足某些条件时使用条件来处理它们。运行logstash时使用-f指定配置文件。
每种类型的插件都有一个单独的部分，每个部分都包含一个或多个插件的配置选项。如果指定多个过滤器，则会按照它们在配置文件中出现的顺序进行应用。
logstash-simple.conf
Logstash中的某些配置选项需要使用事件的字段。因为输入会生成事件，所以输入块中没有要评估的字段，因为它们还不存在。
仅在过滤器和输出块内起作用。基本语法是[fieldname]，引用顶级字段时可以去掉[]，引用嵌套字段时，要指定完成整路径[top-level field][nested field]。
引用事件字段：increment = "apache.%{[response][status]}"
引用事件日期和类型：path = "/var/log/%{type}.%{+yyyy.MM.dd.HH}"
只想在特定条件下过滤或输出事件，这时可以使用条件。
还可以使用 (...) ，对表达式进行分组。
一个特殊的字段，在输出时不会成为任何事件的一部分。非常适用于做条件，扩展和构建事件字段等
包括：logstash.yaml、pipelines.yml、jvm.options、log4j2.properties、startup.options
如果需要在同一个进程中运行多个管道，通过配置pipelines.yml文件来处理，必须放在path.settings文件夹中。并遵循以下结构：
不带任何参数启动Logstash时，将读取pipelines.yml文件并实例化该文件中指定的所有管道。如果使用-e或-f时，Logstash会忽略pipelines.yml文件并记录相关警告。
使用Logstash的多管道功能时，可以在同一Logstash实例中连接多个管道。此配置对于隔离这些管道的执行以及有助于打破复杂管道的逻辑很有用。
如果没有开启自动重新加载（--config.reload.***tomatic），可以强制Logstash重新加载配置文件并重新启动管道。
注意Logstash不会按照glob表达式中编写的文件顺序执行，是按照字母顺序对其进行排序执行的。
命令行上设置的所有参数都会覆盖logstash.yml中的相应设置。生产环境建议使用logstash.yml控制Logstash执行。
参数：
示例：
3. Logstash8.1 工作原理
Logstash 事件处理管道具有三个阶段： 输入 → 过滤器 → 输出 。
输入 生成事件， 过滤器 修改它们， 输出 将它们发送到其他地方。 输入 和 输出 支持编解码器，使您能够在数据进入或退出管道时对其进行编码或解码，而无需使用单独的过滤器。
一个 Logstash Pipeline 管道 包含多个 工作线程worker ， Logstash Event 事件 在 Logstash Pipeline 管道 中执行过程：
Logstash 存在大量的输入插件供开箱即用， 输入插件使 Logstash 能够读取特定的事件源。
以下是一些常用的输入插件：
过滤器是 Logstash 管道中的中间处理过程。如果事件符合特定条件，您可以将过滤器与条件结合起来对事件执行操作。一些常用的过滤器包括：
有关可用过滤器的更多信息，请参阅 过滤器插件 。
输出是 Logstash 管道的最后阶段。一个事件可以通过多个输出，但是一旦所有输出处理完成，事件就完成了它的执行。一些常用的输出包括：
有关可用输出的更多信息，请参阅 输出插件 。
编解码器是一个基本的流过滤器， 作为输入或输出的一部分进行操作。编解码器使您能够轻松地将消息的传输与序列化过程分开。流行的编解码器包括json、msgpack和plain (text)。
关于logstash和logstash grok的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。