Elastic 依然是全观测性的领导者

2025年6月14日   |   by mebius

作者:来自新智锦绣

最近,看到一篇微信公众号文章,以《可观测性方案怎么选?SelectDB vs Elasticsearch vs ClickHouse》为题,我们认为Elastic的论述有失偏颇为此我们再来聊聊Elastic在全观测方面的理念与认知。

Elastic现在已是集搜索、全观测、安全于一体的全平台解决方案,无论是搜索引擎的排名,还是对全观测、安全能力、洞察力的权威调查。都处于无可争辩的领导者地位!

%title插图%num

DB-Engines网站对搜索引擎的排名,

Elasticsearch以绝对优势稳处第一名

%title插图%num

Gartner的四象限调查报告

Elastic在“洞察引擎”调查中处于“Leaders”地位

%title插图%num

Gartner在全观测平台四象限调查报告

Elastic处于“Leaders”位置

%title插图%num

Forrester Wave在“安全分析平台”调查报告中显示,

Elastic处于“Leaders”地位

%title插图%num

IDC在全球SIEMSecurity Information and Event Management)调研中,

Elastic位于“Leaders”地位

Elastic通过一个平台,两个开箱即用的解决方案,以及构建任何内容的自由。结合搜索和AI的强大功能,使世界领先的企业能够更快地从中获得洞察和结果。Elasttgcodeic覆盖了所有全观测性和安全性场景。从日志到指标,再到APMSIEM,再到端点保护和云安全。覆盖整个数据的生命周期从摄取和数据存储到呈现洞察和采取行动。

%title插图%num

ElasticsearchSearch AI新一代日志分析系统

Elastic新一代日志分析系统是通过一套统一的技术和平台来实现或整合企业所需的数据(结构化数据、半结构化数据、非结构化数据),实现搜索、分析、观测、安全、机器学习、AIOps 等各方面需求。

传统的日志分析系统通常由超过十多种的运维监控工具才可以支撑日常的运维,而且这些工具之间的数据互相孤立,形成一个个的信息孤岛,但实际上从数据流和数据处理的角度来看,这些工具的架构是一样的,都有一个采集端,都能实时的采集数据,唯一的不同只是数据的采集方式和数据结构的不同。

另外部署和维护众多大量的工具也会带来显著的成本,包括软件和硬件采购的前期投入、系统维护与升级的持续支出、系统推广与用户培训等隐性成本,以及过度依赖多个厂商可能导致的人员流动后知识流失和难以找到合适替代者的风险,优化这些成本因素,同时确保运维高效低成本投入,是实现部门目标的关键。

Elastic的目标就是通过构建一套集中式的全观测平台,助力去实现从传统ITOM,到ITOA,最终到AIOps的迭代进化。

%title插图%num
新一代日志系统所需的能力矩阵

Elastic从实时应用程序和性能监控,到根因分析和SIEM,日志分析可以帮助企业从中洞察信息来改变和提升业务。但日志分析的用途远不止于此。企业可以利用日志数据来确保遵守安全策略,检查在线用户行为,并做出更明智的业务决策。

作为最受欢迎且部署最广泛的日志管理和搜索工具之一,Elastic提供了强大而灵活的日志管理和分析功能。从本地部署到Cloud,无论是用于全观测性还是安全计划,Elastic都可以轻松扩展,以处理PB级的数据,从而进行故障排除并获得洞察。

Elastic Observability:全观测性引领者

全观测性涉及如何通过检查系统的外部输出(尤其是数据)来了解系统的内部状态。在现代应用程序开发中,观测性是指从各种来源收集和分析数据(日志、指标和跟踪),以深入了解环境中运行的应用程序的行为。它可以应用于构建并希望监控的任何系统。

全观测性对于当今的动态架构和多云计算环境至关重要。它使软件工程师、ITDevOps和站点可靠性工程(SRE)团队能够解码遥测数据。这借助可视化工具(仪表板、服务依赖关系图和分布式跟踪)以及AIOps和机器学习方法来实现。借助合适的全观测性解决方案,您可以了解应用程序、服务和基础设施的运行情况,从而跟踪和响应问题。

通过Elastic全观测Observability,您可以统一所有遥测数据LogsMetricsAPMTracesRUMProfilingSynthetic,无论是业务还是操作数据通过将高基数和高维度数据导入到一个基于强大AI和分析引擎的可扩展数据存储中打破信息孤岛,实现上下文关联性,从而更快地进行根因分析从一个开放、灵活且统一的全栈全观测性解决方案中获取互动且上下文感知的洞察。加速问题解决,提供全面的AI驱动洞察,并推动运营效率。

%title插图%num

Elastic Security:为SOC提供现代AI SecOps解决方案

结合了Elasticsearch的搜索能力和生成式AI技术,Elastic SecuritySOC提供现代的SecOps解决方案。

通过集成主机、网络、云、用户以及Elastic Defend原生支持的系统(windowsLinuxmacOS)、ServerVMsContainersKubernetesCloud providersElastic Securitty可以通过机器学习和AI助 手实现SIEMEDRCloud Native Security集成安全解决方案。

200个安全组件(firewallIdentityEmailCloud logsEDR等)一键集成(integrations)。

通过SIEM实现安全与行为分析、威胁检测和警报、仪表板和可视化、威胁搜寻、调查与合作、工作流程、自动化和响应、安全AI助手和GenAI

Elastic提供超过1000多个开箱即用的检测规则及多种规则类型,用于解决不同的威胁使用案例,并且他们正在不断扩展规则库。支持定义并创建您自己的检测规则,以匹配其独特的环境用例。MITRE ATT&CK覆盖率显示已安装和启用的检测规则覆盖了哪些MITRE ATT&CK攻击者策略和技术。

EDR具有数百个MITRE ATT&CK映射检测,与其他终端安全供应商不同,Elastic在单个代理和单个统一安全平台中解决了终端预防、终端检测和响应以及XDR使用用例。

云原生安全实现云及Kubernetes的安全态势、漏洞、负载保护、响应能力。

%title插图%num

Elastic:引领技术创新

Elasticsearch,基于ApacheLucene的分布式搜索与分析引擎,是ElasticStack的“底座”,十多年来在日志分析、全观测、APM、安全(SIEM)等领域稳坐C位。以无与伦比的灵活性与性能,赋能全球企业。Elastic公司也一如既往地推出各种创新功能:

1. LogsDB+ZSTD压缩:存储效率提升

ElasticsearchLogsDB存储引擎专为高吞吐日志场景量身打造,结合ZSTD压缩(Lucene7.8+,高压缩模式下可调参数如windowLog=22)与DataTiers(热//冷分层),将存储成本压至极致。ZSTD通过上下文建模与熵编码,在日志场景下压缩比达4:18:1(视数据冗余度),冷数据迁移至S3/HDFS再降50%成本。

2. BBQ向量优化

BBQBinaryQuantization forVectors)技术为乘积量化(PQ)等传统量化技术提供了高性能替代方案。通过SIMD算法,可将召回率提高高达20%,吞吐量提高8到tgcode30倍,从而实现高效、准确的搜索。Elastic是首家采用此方法的矢量数据库供应商,使实际的搜索工作负载能够更快地获得结果,同时减少计算资源。

BBQ算法在向量搜索中具有显著优势,主要体现tgcode在以下几个方面:

  • BBQ算法在预测准确性上优于之前的算法,能够在不增加计算资源的情况下提供更好的排名质量和性能。

  • BBQ允许用户在排名质量、性能和计算资源之间进行灵活调整,以满足不同需求。此外,BBQ通过使用预测向量进行过采样,并在此基础上进行重新排名,从而提高了召回率,达到0.9的高水平。

  • BBQ的实现简化了用户的操作,用户只需定义向量和过采样量,系统会自动处理其余部分。

%title插图%num

作为使Apache Lucene成为最佳矢量数据库的使命的一部分,并且作为将这些创新带给社区的倡导者,Elastic将这些功能合并到Lucene中。

3. LLM全观测性

ElasticLLM可观察性在Amazon BedrockAzure OpenAIGoogle Vertex AIOpenAI的终端可见性中,可见性,可靠性,成本和合规性,使SRE能够优化AI驱动的应用程序并对其进行故障排除。

%title插图%num

排查基于LLM的应用程序的同时,还可以查看此请求期间与LLM的提示和响应交换,以排除输入对性能的影响。

4. 企业级就绪EDOT – Elastic Distributions of OpenTelemetry

Elastic推出EDOT企业级就绪的OpenTelemetry组件,通过EDOT collector以及EDOT for JavaNode.jsPython.NetPHP语言SDK支持。在APMtrace方面提供开源和灵活一致的服务管理,实现全观测的数据的兼容共性。

5. AI助手/MCP贯穿Elastic全平台(日志、全观测、安全)

结合企业运维经验知识库,AI+ MCP + RAG结合,Elastic从日志、全观测到安全,都可以通过GenAI提升智能运维能力:

  • 通过内置超过100多个ML模型,使用自然语言聊天通,过ES|QL查询数据、构建Lens可视化,获取服务、警报或其他可观测性数据的信息;基于您的专有知识库。使用ELSER ML模型来回忆指令,从而简化可观测性数据

  • 通过将现有文档、运行手册、已知问题集成到知识库中,以指导可观测性中的根本原因分析,减少获取知识的平均时间,从而加速MTTK和故障排除。

  • ElasticsearchAI驱动的知识库(RAG)和已建立的功能API使Elastic Observability成为AI助手的最佳平台

%title插图%num

6. Elastic AutoOps

AutoOps for Elasticsearch通过性能建议、资源利用率和成本洞察、实时问题检测和解决路径,简化了集群管理。通过分析数百个Elasticsearch指标、配置和使用模式,AutoOps会推荐运营和监控见解,从而节省管理时间和硬件成本。

  • Elasticsearch性能优化:AutoOps会准确地告知如何保持Elasticsearch集群平稳运行。根据具体使用情况和配置提供定制的洞察,从而保持高性能。

  • 实时检测Elasticsearch特定问题:AutoOps持续分析数百个Elasticsearch指标,并提供预配置的警报,以便在问题恶化之前发现诸如数据提取瓶颈、数据结构配置错误、负载不均衡、查询速度慢等问题。

  • 轻松故障排除:尤其是在大型环境中故障排除可能很复杂,AutoOps会执行根因分析,并提供深入到问题发生的确切时间点的分析,以及包括上下文Elasticsearch命令和最佳实践在内的解决路径。

  • Elasticsearch部署的成本可视性和优化:AutoOps可识别未充分利用的节点、大小索引和分片,并提出数据层优化建议。这有助于提高资源利用率并节省潜在的硬件成本。

  • 无缝集成:AutoOps不仅仅是一个独立的工具;它内置于Elastic Cloud中,并与警报和消息传递框架(MS TeamsSlack)、事件管理系统(PagerDutyOpsGenie)以及其他工具集成。您可以根据自己的用例自定义AutoOps警报和通知。

%title插图%num

AutoOps内置了在运行和管理各种Elastic环境方面的专业知识。AutoOps可识别并提醒有关开销大的查询、存在的数据类型以及是否应该/何时应该使用(或不应该使用)的信息,例如将数字存储为整数/长整型,以便针对范围查询进行优化。

Elastic全观测性比较

针对公众号文章中提供的一些优势比较,这里不去做过多争辩,只是列出一些特点供参考。

1. 性能分析

ElasticsearchLogsDB优化后,单节点写入吞吐500MB/s,集群可达10GB/sP99延迟Elastic官方压测,基于AWSc5.4xlarge节点)。通过调优bulkAPI(批量大小5000-10000)、分片数(每节点2- 4个)和队列深度(thread_pool.write.bulk.size=200)。而且在动态Schema日志不需ETL预处理。可以参看https://qiita.com/nobuhikosekiya/items/e72fbfe411808f3f6ec9进行的logsdb报告。

2. 聚合分析性能

ES|QLElasticsearch为复杂查询和聚合打造的新的管道式SQL查询,结合SQL-like语法和Lucene的索引能力,可以轻松应对TB级数据的复杂聚合。比如,想统计1亿条日志中每小时的错误率并按服务分组?ES|QL一句查询就可以实现。

3. 成本分析

ElasticsearchZSTD压缩(Lucene8+codec=best_compression)结合Data分层,压缩比4:1-8:1,冷数据存S3,总成本可压至40-60/月(ElasticCloud定价,基于m5.large节点),阿里云或腾讯云ES,采用logsdb+数据分层+快照可搜索功能,成本会更低。

4. ES|QL易学好用

Elasticsearch支持多种DSL查询语言,由于功能强大,初学会有点复杂。但KibanaQueryBarDevTools提供直观查询体验。而且现在Elastic新近推出ES|QL强大功能更方便熟悉SQL语法的DBA和开发者习惯,更易掌握。

%title插图%num

5. ELK开源生态

Elasticsearch的开源社区823repositoryGitHub总计超过10+星),活跃度一直很高,而且KibanaElastic原生产品。Elastic同时也支持OpenTelemetryPrometheusGrafana等主流生态。Elastic不但贡献给Opentelemetry数据标准并共同维护社区,而且提供EDOT(企业级opentelemetry)服务。另外Elastic有近500个与第三方软硬集成功能,更体现其生态的广泛与无限扩展性。

%title插图%num

结语

Elastic依靠创新的LogsDBZDST压缩、BBQ向量优化、AIOps技术,结合其整个平台的全功能性,在性能、成本、易用性和安全性上都具有成熟稳定和广泛的用户,全球的成功客户案例数不胜数,参考https://www.elastic.co/industries

ElasticsearchLogstashKibanaBeatsAgentsElastic公司原生集成的版本契合的浑然天成的产品,有最好的兼容性和集成性。可以不依赖外部的其它组件就实现所有一体解决方案(搜索、全观测、安全)。

如有兴趣可以下载ELK的开源版或通过ElasticCloud体验企业版功能。欢迎加入Elastic社区,以代码与数据共探真谛!

文章来源于互联网:Elastic 依然是全观测性的领导者

相关推荐: Elasticsearch:ES|QL lookup JOIN 介绍 – 8.18/9.0

警告:此功能在 8.18/9.0 中刚推出。此功能处于技术预览阶段,未来版本可能会更改或删除。Elastic 会努力修复任何问题,但技术预览中的功能不受正式 正式发布功能支持 SLA 的约束。 ES|QL LOOKUP JOIN 处理命令将你的 ES|QL 查…