Elasticsearch 索引生命周期和翻滚 (rollover) 策略
2023年12月30日 | by mebius
Elasticsearch 是搜索引擎中的摇滚明星,它的蓬勃发展在于使你的数据井井有条且速度快如闪电。 但当你的数据成为一场摇滚音乐会时,管理其生命周期就变得至关重要。 正确使用索引生命周期管理 (ILM) 和 rollover 策略,你的后台工作人员可确保顺利执行。
第一阶段:索引的诞生
将你的数据视为大量旋转的文档。 为了组织它们,你需要创建一个 “索引 (index)”,一个特殊的容器,就像乐队的音乐会舞台一样。 这是热 (hot) 阶段,你的索引会收到最新更新并在搜索聚光灯下闪闪发光。
第二阶段:成长与改变
随着音乐的响起和数据的流动,你的索引会增加。 它的大小会增加,搜索性能可能会下降,并且管理会变得混乱。 这就是 rollover 策略发挥作用的地方,就像巡演搭建新舞台一样。
Rollover 来救援!
将 rollover 视为当旧舞台变得拥挤时将乐队的表演复制到新舞台。 rollover 策略定义了触发创建新索引的条件,从而无缝地从旧索引传输文档。 这使你的搜索保持活跃并且数据易于管理。
翻转触发器:size 很重要(甚至更重要!)
展期政策可能由多种因素触发,但影响最大的是:
- 最大索引大小:当你的索引达到预定义大小(例如 50GB)时,就该进入新阶段了。 这可以防止性能问题并使数据保持井井有条。
- 最大索引年龄:即使你的索引不大,一段时间后它也可能会积灰。 设置最长期限(例如 30 天)可确保旧数据被存档或删除,就像存储旧的设置列表一样。
- 文档数量:如果你的索引达到一定数量的文档,则需要重新开始,例如新的歌曲列表。
- 索引运行状况:如果索引的运行状况指标(例tgcode如分片分配)表明存在问题,则翻转可以成为一种诊断工具,例如检查扬声器系统。
- 自定义条件:你可以根据特定的tgcode数据模式或事件编写自己的条件,例如根据数据中的关键字触发新阶段。
第三阶段:新一代崛起
一旦触发,滚动操作就会开始。将创建一个新索引,并根据你的策略规则进行命名(例如,使用时间戳或序列号),就像为新阶段指定一个唯一的名称一样。 新文档开始无缝转移到新文档,确保连续性并防止数据丢失,例如歌曲之间的完美转换。
第四阶段:管理世代
现在有了多个索引,ILM 可以帮助管理它们的生命周期。 你可以定义不同阶段的操作:
ILM 定义了五个索引生命周期阶段:
- Hot:索引正在积极更新和查询。
- Warm:索引不再更新,但仍在查询。 此阶段仍然针对搜索而不是存储进行优化。
- Cold:索引不再更新,查询也很少。 信息仍然需要可搜索,但如果这些查询速度较慢也没关系。 此阶段针对存储而不是搜索进行了优化。
- Frozen:索引不再更新,也很少查询。 信息仍然需要可搜索,但如果这些查询非常慢也没关系。 此阶段针对长期存储进行了优化。
- Delete:索引不再需要,可以安全地删除。
健康翻滚的好处:
- 改进的搜索性能:较小、较新的索引搜索速度更快,就像组织良好的集合列表一样。
- 减少集群负载:跨多个索引分布数据可以减轻集群的压力,就像有多个阶段来共享人群一样。
- 高效的存储管理:归档或删除旧数据可以释放宝贵的磁盘空间,例如整理设备存储。
- 更轻松的数据管理:有组织tgcode的索引使你可以更轻松地查找、分析和管理数据,就像为你的仪器添加标签库存一样。
专家提示:
- 从简单的策略开始,然后根据需要逐渐增加复杂性。
- 在将策略部署到生产环境之前,先在开发环境中测试你的策略。 😀 😀
结论:
通过实施轮转策略和 ILM,你可以确保你的 Elasticsearch 集群在不断增长的数据负载下蓬勃发展。 请记住,健康的索引生命周期就像一场管理良好的音乐会 —— 组织有序、高效,并且随时准备好迎接旅程中的下一首歌曲(或数据更新)。
更多关于生命周期管理的文章,请详细阅读文章 “Elastic:开发者上手指南” 中的 “生命周期管理(ILM)” 章节。
文章来源于互联网:Elasticsearch 索引生命周期和翻滚 (rollover) 策略
tgcode 作者:Lutf ur Rehman Elastic 提供许多由讲师指导的面对面和虚拟现场培训以及点播培训。 我们的旗舰课程是 Elasticsearch 工程师、Kibana 数据分析和 Elastic 可观测性工程师。 所有这些课程都会获得认证…