Observability:使用 Elastic Agent 轻松、全面地监控 Logstash

2025年3月11日   |   by mebius

作者:来自 ElasticTrevor Blackford

%title插图%num

Logstash 是一个强大的工具,可以从各种来源提取、转换和传送数据。对 Logstash 的可见性对于优化性能和解决与数据提取相关的问题至关重要。我们极大地改进了 Logstash 集成,以便一目了然地显示你的 Logstash 节点和管道的状态。该集成现在由 Elastic Agent 提供支持,它查询 Logstash 监控 API 以获取填充托管仪表板的数据。

本博客将指导你了解集成提供的可视化功能、如何配置和安装它们以及提供数据的底层 API。通过更新的集成一目了然地查看 Logstash 节点的运行状况。

使用 Logstash 集成进行监控

通过集成提供的仪表板彻底打破了黑匣子。你可以在Overview仪表板中轻松获得需要大量查询的见解。在这里,你可以看到总体上重要的内容,Logstash 已收到的事件数、已处理和发送的事件数以及花费的时间。

%title插图%num

对于单个节点的性能,Node Overview仪表板提供有关系统和进程健康状况的详细信息。这有助于确定问题是否局限于单个主机或是否在整个部署中普遍存在。

%title插图%num

管道是 Logstash 中真正发生工作的地方,我们对管道性能的见解非常丰富。Pipeline Overview仪表板提供有关整个部署中管道活动的高级详细信息,以便快速发现问题并评估性能。按管道细分,你可以看到处理事件所需的平均时间,也就是推送到队列所需的时间。超出分配容差范围的项目将以红色加粗显示,以快速引起注意并指导用户采取行动。

%title插图%num

当你深入研究单个管道时,你将看到有关工人利用率和随时间推移处理的详细信息。这对于确定问题的原因非常有价值。隔离时间峰值可以更容易地与配置更改或外部事件进行关联。

%title插图%num

但你不应该止步于管道。使用 Logstash 的一大好处是其庞大的插件生态系统。这种强度确实会引入可变性,从而使得故障排除更加困难。值得庆幸的是,集成通过按类型提供插件详细信息解决了该问题,使用户能够进一步深入了解。

%title插图%num

%title插图%num

%title插图%num

查看最新动态

健康报告仪表板是最新添加的功能,它们能够快速传达的信息量将使每个 Logstash 操作员的生活更加轻松。只需快速查看一下即可确定你的 Logstash 部署是否存在问题。

%title插图%num

管道健康状况提供了更详细的数据以及有关故障排除步骤的可操作见解。

%title插图%num

Logstash 与 Elastic Agent 集成

安装集成只需几分钟即可完成,并且你获得的数据将为你节省数小时的故障排除时间。以下是安装集成并将代理部署到 Logstash 实例的步骤,这些代理将收集和转换来自 Logstash 监控 API 的数据。

1. 添加 Logstash 集成来监控你的部署

从集成页面搜索 Logstash。单击 “Add Logstash”,你将获得有关 Elastic Agent 如何从你的实例收集监控数据的配置选项的指导。

%title插图%num

请务必选择 Metrics(Elastic Agent)以获取最多数据和我们最新的仪表板。你可以指定要收集的数据和 API 轮询间隔,或者保留我们的默认设置。默认情况下,Health Reporting是禁用的,但你需要启用它以充分利用集成。如果你已修改 Logstash 配置以监听不同的端口,请在此处指定。

%title插图%num

2. 在 Logstash 节点上配置并安装 Elastic Agents

你很可能会将其部署给新代理。创建一个有意义的名称,然后保存并继续。如果你已经有代理监控你的 Logstash 部署,则可以将此策略(policy)添加到现有主机。

%title插图%num

系统将提示你将 Elastic Agent 添加到你的 Logstash 节点。

%title插图%num

选择将 Add Elastic Agent to your hosts,然后你将获得有关 Fleet 注册、代理安装和验证的指导。

%title插图%num

一旦你验证代理正在与 Fleet 通信,数据就会开始流入并填充仪表板。

可通过 Logstash 监控 API 获取数据

Logstash 公开了多个监控 API,可以提供对单个实例的广泛可见性。 Logstash 集成使用这些 API 与 Elastic Agent 来解析并将这些数据传送到你的监控集群。希望为 Logstash 监控创建自定义集成的客户可以根据他们的要求查询这些 API。

节点统计 –Nodtgcodee Stats

在节点和管道级别提供有关各种资源、事件和利用率的详细信息。在 8.5 版本中,我们添加了一个额外的数据类型 – 流统计 – 其中包括性能的衍生指标,包括吞吐量、背压和工作器并发性。

健康报告 –Health Retgcodeport

Logstash 8.16 版中的新功能是,它根据各种指标(例如管道状态和工作者利用率)返回 Logstash 实例的颜色编码健康状态。症状包含细节。你还可以查看不健康的结果,其中包括潜在影响、诊断和解决问题的建议措施。

立即开始

准备好开始了吗?立即探索 Elastic Cloud 的 14 天免费试用版 – 包含所有最新功能的托管 Eltgcodeasticsearch 服务。

本文中描述的任何特性或功能的发布和时间均由 Elastic 自行决定。任何当前不可用的特性或功能可能无法按时交付或根本无法交付。

原文:Easy, comprehensive Logstash monitoring with Elastic Agent | Elastic Blog

文章来源于互联网:Observability:使用 Elastic Agent 轻松、全面地监控 Logstash

相关推荐: 通过计费集成和警报监控 Elasticsearch Service 成本

作者:来自 ElasticAlexis Charveriat 使用 Elasticsearch 服务计费集成来跟踪、定制和提醒 Elasticsearch 服务费用。 监控和管理你的Elasticsearch服务(ESS)使用情况和成本对高效运营至关重要。 E…

Tags: