Elasticsearch:使用算术运算的临时 Runtime field
2022年1月13日 | by mebius
Runtime fields 在实际的数据查询中非常有用。它的设计最初的理念就是代替之前的 Scripted fields。在很多时候,我们一开始可能还没有想到需要哪些字段来对数据进行分析。有的时候,我们需要的字段可能是由其它的字段来生产的。我们可以使用 Math 库来动态地生成一些我们需要的临时字段。这些字段可以帮助我们对数据做更进一步的分析。
在今天的教程中,我将使用 Painless 的 Math 库来生产一个 Runtime field。在使用中,我们需要注意的一点是:Runtime field 是从 Elastic Stack 7.11 开始支持的。
准备数据
我们使用 Kibana 自动的索引:
这样我们就导入了一个叫做kibana_sample_data_logs 的索引。
创建 Runtime field
我们先在 Kibana 中做如下的搜索:
GET kibana_sample_data_logs/_search
我们可以看到一个叫做 machine 的字段。其中的 ram 子字段的值为8589934592。它是以字节的形式来表示的。我们在查询时候,有时感觉使用字节不是很方便,那么我们想生成一个 Runtime field 来转换为 GB 格式的。这样更容易进行搜索。
我们首先使用如下的命令来搜索:
GET kibana_sample_data_logs/_search
{
"runtime_mappings": {
"ram_floor_gb": {
"type": "long",
"script": {
"source": "emit(Math.floor(doc['machine.ram'].value /1024/1024/1024).longValue())"
}
}
},
"fields": [
"ram_floor_gb",
"machine.ram"
]
}
在上面,我们定义了一个叫做 ram_floor_gb 的 Runtime field。它的用法基本和 Scripted fields 非常相似。那么搜索的结果是:
从上面的显示中,我们可以看出来多了一个叫做 ram_floor_gb 的字段。它的值是 8,也就是 8GB。
有了上面的了解,我们可以使用这 Runtime fields 来做一些搜索:
GET kibana_sample_data_logs/_search
{
"runtime_mappings": {
"ram_floor_gb": {
"type": "long",
"script": {
"source": "emit(Math.floor(doc['machine.ram'].value /1024/1024/1024).longValue())"
}
}
},
"fields": [
"ram_floor_gb",
"machine.ram"
],
"_source": false,
"query": tgcode{
"range": {
"ram_floor_gb": {
"gte": 0,
"lte": 40
}
}
}
}
上面的搜索将返回 ram_floor_gb 大于 0 且小于 40 GB 的所有文档。
我们也可以做如下的搜索:
GET kibana_sample_data_logs/_search
{
"runtime_mappings": {
"ram_floor_gb": {
"type": "long",
"script": {
"source": "emit(Math.floor(doc['matgcodechine.ram'].value /1024/1024/1024).longValue())"
}
}
},
"fields": [
"ram_floor_gb",
"timestamp"
],
"_source": false,
"query": {
"bool": {
"must": [
{
"range": {
"timestamp": {
"gt": "2022-01-01"
}
}
},
{
"range": {
"ram_floor_gb": {
"gte": 4,
"lte": 20
}
}
}
]
}
}
}
在我们搜索的时候,我们看出来:runtime field 和正常的字段一样进行使用。当然如果我们觉得这个字段 ram_floor_gb 是非常必要的,我们可以在数据摄入时通过 pipeline 的方法进行添加,这样我们就可以不再使用 Runtime fields 了。
文章来源于互联网:Elasticsearch:使用算术运算的临时 Runtime field
相关推荐: Elasticsearch:了解 Elasticsearch combined fields 和 multi match 查询
原文:Understanding Elasticsearch combined fields and multi match queries 这篇博文深入探讨了 Elasticsearch 7.13 中添加的新的 combined_fields 查询以及为什么…