使用 Elastic 3 步实现基于 OTel 的原生 K8s 和应用可观测性
2024年11月29日 | by mebius
作者:来自 ElatgcodesticBahubali Shetti
Elastic 的 OpenTelemetry 发行版现已支持 OTel Operator,可使用 EDOT SDK 自动检测应用程序,并管理 EDOT OTel Collector 的部署和生命周期以实现 Kubernetes 可观察性。了解如何通过 3 个简单步骤进行配置。
Elastic 最近发布了 Elastic Distributions of OpenTelemetry (EDOT),该发行版旨在增强标准 OpenTelemetry 发行版的功能并改进 Elastic 现有的 OpenTelemetry 支持。EDOT 可帮助 Elastic 提供其新的统一 OpenTelemetry 体验。SRE 不再需要执行一系列繁琐的步骤来将 OTel 数据装入 Observability。SRE 可以通过一种简单且顺畅的方式来对 OTel 收集器和应用程序进行检测,并将所有 OTel 数据装入 Elastic。此体验的组成部分包括:(在概述博客中详细介绍)
- OpenTelemetry 的 Elastic 发行版 (EDOT)
- Elastic 为 OpenTelemetry Operator 提供的配置:
- OTel 收集器和 SDK 的 OTel 生命周期管理
- 大多数开发人员不会对应用程序进行自动检测
- 预打包的接收器、处理器、导出器和 OTel Kubernetes Collector 的配置
- 用于指标和日志的开箱即用的基于 OTel 的 K8S 仪表板
- 发现服务、主机和容器的视图清单
- 直接将 OTel 导入 Elasticsearch(绕过APM)- 你的所有数据(日志、指标和跟踪)现在都存储在 Elastic 的 Search AI Lake 中
在此博客中,我们将介绍如何通过 3 个简单步骤为 K8S 和你的应用程序导入 OTel:
- 从 UI 复制安装命令
- 添加 OpenTelemetry helm 图表,使用 Elastic 的 helm 安装 OpenTelemetry Operator 配置并设置你的 Elastic 端点和身份验证
- 注释你想要自动检测的应用服务
然后你可以在 Elastic Observability 中轻松查看 K8S 指标、日志和应用程序日志、指标和跟踪。
要关注此博客,你需要具备以下条件:
- cloud.elastic.co 上的帐户,具有获取 Elasticsearch 端点和身份验证(API 密钥)的权限
- 基于 Go、dotnet、Python 或 Java 的服务的非检测应用程序。通过 OTel 操作员自动检测。在此示例中,我们将使用 Elastiflix 应用程序。
- Kubernetes 集群,我们在设置中使用了 EKS
- 已加载 Helm 和 Kubectl
要查找身份验证,你可以在 Elastic 的集成部分中找到它。文档中还提供了更多信息。
Elastic 中的 K8S 和应用程序可观察性:
在我们引导你完成这些步骤之前,让我们向你展示 Elastic 中可见的内容。
操作员启动 OTel Collector 后,你可以在 Elastic 中看到以下内容:
Kubernetes 指标:
使用开箱即用的仪表板,你可以查看节点指标、整体集tgcode群指标以及跨 pod、部署等的状态。
发现主机、服务和容器的清单:
可在 UI 上的 Observability->Inventory 中找到
主机的详细指标、日志和处理器信息:
可在Observability->Infrastructure->Hosts 中找到
Elastic 的新 Discover(称为 Explorer)中的 K8S 和应用程序日志
可在 Observability->Discover 中找到
应用服务视图(日志、指标和跟踪):
可在 Observability->Application 中找到
然后选择 service 并深入了解不同方面。
上面我们展示了如何使用 Native OTel 数据显示跟踪。
安装步骤
步骤 0. 按照 UI 中列出的命令进行操作
在 Add data->Kubernetes->Kubernetes Monitoring with EDOT
你将找tgcode到以下说明,我们将在此处遵循这些说明。
步骤 1. 为 OpenTelemetry Operator 安装 EDOT 配置
运行以下命令。请确保你已在 K8s 集群中进行了身份验证,并且你将在此处运行下面提供的 helm 命令。
# Install helm repo needed
helm repo add open-telemetry https://open-telemetry.github.io/opentelemetry-helm-charts --force-update
# Install needed secrets. Provide the Elasticsearch Endpoint URL and API key you have noted in previous steps
kubectl create ns opentelemetry-operator-system
kubectl create -n opentelemetry-operator-system secret generic elastic-secret-otel
--from-literal=elastic_endpoint='YOUR_ELASTICSEARCH_ENDPOINT'
--from-literal=elastic_api_key='YOUR_ELASTICSEARCH_API_KEY'
# Install the EDOT Operator
helm install opentelemetry-kube-stack open-telemetry/opentelemetry-kube-stack --namespace opentelemetry-operator-system --create-namespace --values https://raw.githubusercontent.com/elastic/opentelemetry/refs/heads/main/resources/kubernetes/operator/helm/values.yaml --version 0.3.0
values.yaml 文件配置可以在这里找到。
步骤 1b:确保 OTel 数据已到达 Elastic
最简单的检查方法是转到菜单 > Dashboards >[OTEL][Metrics Kubernetes] Cluster Overview,并确保看到以下仪表板正在填充
第 2 步:使用自动检测注释应用程序
在此示例中,我们仅注释一项服务,即 Elastiflix 应用程序中的 favorite-java 服务
使用以下命令启动自动检测:
#Annotate Java namespace
kubectl annotate namespace java instrumentation.opentelemetry.io/inject-java="opentelemetry-operator-system/elastic-instrumentation"
#Restart the java-app to get the new annotation
kubectl rollout restart deployment java-app -n java
你还可以使用注释修改 pod 的 yaml
metadata:
name: my-app
annotations:
instrumentation.opentelemetry.io/inject-python: "true"
UI 中提供了以下说明:
查看 Elastic APM 中的服务数据
一旦 OTel 数据进入 Elastic,你就可以看到:
- 基于 OTel 的 Kubernetes 指标的开箱即用仪表板
- 发现属于 Kubernetes 集群的服务、主机和容器等资源
- Kubernetes 指标、主机指标、日志、处理器信息、异常检测和通用分析。
- Elastic Discover 中的日志分析
- 显示应用程序概览、事务、依赖项、错误等的 APM 功能:
试用
Elastic 的 OpenTelemetry 分布 (EDOT) 通过简化 Kubernetes 和应用程序检测来改变可观察性体验。借助 EDOT,SRE 和开发人员可以绕过复杂的设置,立即深入了解 Kubernetes 集群,并捕获关键指标、日志和跟踪 – 所有这些都在 Elastic Observability 中完成。只需遵循几个简单的步骤,你就可以获得统一、高效的监控解决方案,将你的 OpenTelemetry 数据直接导入 Elastic。凭借强大的开箱即用仪表板、自动应用程序检测和无缝集成,EDOT 不仅可以节省时间,还可以提高整个基础设施的可观察性的准确性和可访问性。立即开始利用 EDOT 来解锁无摩擦的可观察性体验,让你的系统平稳、富有洞察力地运行。
其他资源:
- OpenTelemetry 的 Elastic Distributions 概述
- 带有 Elastic Distributions 的 OpenTelemetry 演示
- 在 Elastic Observability 中使用 OpenTelemetry 进行基础设施监控
- 使用 OpenTelemetry 自动检测 Go 应用程序
- Elastic Distribution OpenTelemetry Java 代理
- 适用于 PHP 的 Elastic OpenTelemetry Distribution
原文:Native OTel-based K8s & App Observability in 3 Steps with Elastic — Elastic Observability Labs
文章来源于互联网:使用 Elastic 3 步实现基于 OTel 的原生 K8s 和应用可观测性
相关推荐: 何使用本地 LLMs 为可观察性 AI 助手提供本地部署支持
作者:来自 ElasticDavid Hope 了解如何为私有或本地部署配置本地 LLM。更多阅读:使用 Elastic 和 LM Studio 的 Herding Llama 3.1。 智能大语言模型已经存在了一段时间,一些客户做的第一件事就是在发生了许多严…