作者：来自 ElasticAgi K Thomas

Elastic 全新 Amazon Bedrock 可观察性集成功能可让你全面了解 Amazon Bedrock LLM 的性能和使用情况。了解如何使用预构建的仪表板实时收集基于 LLM 的指标和日志，从而有效监控和解决 LLM 调用错误和性能挑战。

在快速发展的 AI 领域，LLM 可观测性已成为确保大型语言模型应用程序的可靠性、性能和成本效益不可或缺的因素。随着组织越来越多地采用 LLM 来支持内容生成、问答和情绪分析等高级用例，部署的复杂性呈指数级增长。随着这些系统的扩展，涉及 token 处理、输入输出分析和延迟管理的模型推理工作流变得更加复杂。

LLM 可观测性通过提供必要的透明度和洞察力来解决这些挑战，以查明瓶颈、优化配置并保持对运营成本的控制。此功能使 SRE 和开发人员能够快速解决 tgcodeLLM 工作流中的问题，从而减少停机时间并提高 LLM 应用程序的整体可靠性。此外，可观测性支持主动优化 LLM 工作流，帮助微调性能并提高模型输出的质量，同时确保数据完整性。对于 SRE 和开发人员来说，LLM 可观测性是自信地扩展 LLM 应用程序的基石，尤其是在 Amazon Bedrock 等平台上。

Elastic 正在通过 Elastic Observability 的新 Amazon Bedrock 集成扩展对 LLM Observabilitytgcode 的支持。这种新的可观察性集成为你提供了对来自领先 AI 公司和 Amazon 的基础模型的性能和使用情况的全面可见性，这些模型可通过 Amazon Bedrock 获得。新的 Amazon Bedrock Observability 集成通过简化 Amazon Bedrock 指标和日志的收集来提供开箱即用的体验，让你更轻松地获得可操作的见解并有效地管理你的模型。该集成设置简单，并附带预构建的开箱即用仪表板。借助实时见解，SRE 现在可以监控、优化和排除使用 Amazon Bedrock 的 LLM 应用程序的故障。

本博客将介绍可供 SRE 使用的功能，例如监控各种模型中的调用、错误和延迟信息，以及 LLM 请求的使用情况和性能。此外，本博客还将展示设置有多么容易，以及你可以从 Elastic 的 LLM Observability 中获得哪些见解。

先决条件

要关注本博客，请确保你拥有：

• Elastic Cloud上的帐户和 AWS 中部署的堆栈（请参阅此处的说明）。确保你使用的是 8.13 或更高版本。
• 具有从 AWS 提取必要数据的权限的 AWS 帐户。请参阅我们的文档中的详细信息。

配置 Amazon Bedrock 日志收集

要收集 Amazon Bedrock 日志，你可以从以下选项中进行选择：

• Amazon Simple Storage Service (Amazon S3) 存储桶
• Amazon CloudWatch 日志

S3 存储桶日志收集：从 Amazon S3 存储桶收集日志时，你可以从 Amazon S3 通知事件指向的 Amazon S3 对象中检索日志，这些对象是从 SQS 队列中读取的，或者直接轮询 Amazon S3 存储桶中的 Amazon S3 对象列表。有关更多详细信息，请参阅 Elastic 的自定义 AWS 日志（Custom AWS Logs）集成。

CloudWatch 日志收集：在此选项中，你需要创建一个 CloudWatch 日志组。创建日志组（CloudWatch log group）后，请务必记下新创建的日志组的 ARN，因为你将需要它来进行 Amazon Bedrock 设置配置和 Amazon Bedrock 日志集成配置。

使用日志组 ARN 配置 Amazon Bedrock CloudWatch 日志以开始收集 CloudWatch 日志。

请访问 AWS 控制台并导航到 Amazon Bedrock下的 “Settings” 部分，然后选择你喜欢的日志收集方法。根据你在 Amazon Bedrock 设置中的日志记录目标中选择的值，你需要输入 Amazon S3 位置或 CloudWatch 日志组 ARN。

配置 Amazon Bedrock 指标收集

配置 Elastic 的 Amazon Bedrock 集成，以按照指定的收集间隔从你选择的 AWS 区域收集 Amazon Bedrock 指标。

使用开箱即用的仪表板最大限度地提高可见性

Amazon Bedrock 集成提供了丰富的开箱即用的 Amazon Bedrock 模型性能和使用信息可见性，包括文本和图像模型。Amazon Bedrock Overview仪表板提供了各种模型的调用、错误和延迟信息的汇总视图。

Amazon Bedrock Overview仪表板中的 “Text / Chat metrics” 部分提供了有关 Amazon Bedrock 中文本模型的 token 使用情况的见解。这包括文本内容生成、摘要、翻译、代码生成、问答和情绪分析等用例。

Amazon Bedrock Overview仪表板中的 “Image metrics” 部分提供了有关 Amazon Bedrock 中图像模型的使用情况的宝贵见解。

Elastic 中 Amazon Bedrock Overview仪表板的Logs部分提供了有关 LLM 请求的使用情况和性能的详细见解。它使你能够监控关键详细信息，例如模型名称、版本、LLM 提示和响应、token 的使用量、请求大小、完成 tokens、响应大小以及与特定 LLM 请求相关的任何错误代码。

详细日志提供对原始模型交互的完整可见性，捕获模型生成的输入（提示）和输出（响应）。这种透明度使你能够分析和优化 LLM 处理不同请求的方式，从而可以更精确地微调提示结构和生成的模型响应。通过密切监控这些交互，你可以改进提示策略并提高模型输出的质量和可靠性。

Amazon Bedrock Overview仪表板提供了初始和最终响应时间的全面视图。它包括一个百分比比较图，突出显示了这些响应阶段之间的性能差异，使你能够快速识别 LLM 交互中的效率改进或潜在瓶颈。

创建警报和 SLO 以监控 Amazon Bedrock

与任何 Elastic 集成一样，Amazon Bedrock 日志和指标完全集成到 Elastic Observability 中，让你能够利用 SLO、警报、自定义仪表板和详细日志探索等功能。

要创建警报，例如监控 Atgcodemazon Bedrock 中的 LLM 调用延迟，你可以在 Amazon Bedrock 数据流上应用自定义阈值规则。设置规则以在 LLM 调用延迟超过定义的阈值时触发警报。这可确保主动监控模型性能，让你能够在延迟问题影响用户体验之前检测并解决它们。

发生违规时，通知中链接的 “Alert Details” 视图会提供详细的背景信息，包括问题开始的时间、当前状态以及任何类似违规的历史记录。这些丰富的信息可实现快速分类、调查和根本原因分析，从而高效解决问题。

同样，要创建用于监控 Amazon Bedrock 调用性能的 SLO，你可以定义自定义查询 SLI，其中良好事件是那些不会导致客户端错误或服务器错误且延迟小于 10 秒的 Amazon Bedrock 调用。设置适当的 SLO 目标，例如 99%。这将帮助你使用 LLM 识别应用程序中的错误和延迟问题，从而使你能够在它们影响整体用户体验之前及时采取纠正措施。

下图突出显示了 Amazon Bedrock 模型的 SLO、SLI 和剩余错误预算。观察到的违规行为是故意制作的长文本生成提示的结果，这导致响应时间延长。此示例演示了系统如何根据定义的目标跟踪性能，帮助你快速识别延迟问题和性能瓶颈。通过监控这些指标，你可以获得宝贵的见解，以便主动进行问题分类，从而及时采取纠正措施并改善使用 LLM 的应用程序的用户体验。

立即试用

Amazon Bedrock playground 提供了一个控制台环境，可在决定在应用程序中使用它们之前尝试在不同模型和配置上运行推理。通过 AWS Marketplace 注册即可开始你自己的 7 天免费试用，并在几分钟内在全球 AWS 上的任何 Elastic Cloud 区域快速启动部署。

在我们的Elasticsearch 服务上部署集群，下载 Elasticsearch 堆栈，或从AWS Marketplace 运行 Elastic，然后启动 Amazon Bedrock 集成的新技术预览，在 Kibana 中打开精选仪表板并开始监控你的 Amazon Bedrock 服务！

原文：LLM Observability with the new Amazon Bedrock Integration in Elastic Observability — Elastic Observability Labs