Elasticsearch:使用 search_analyzer 及 edge ngram 来实现 Search-As-You-Type

2021年5月19日   |   by mebius

在我们定制分词器(analyzer)时,通常在 indexing 时的分词器和在查询(query)时的分词器一般来说是一样的。这样做的目的就是确保查询中的术语与反向索引(inverted index)中的术语具有相同的格式。如果你对分词器还不是很了解的话,那么请阅读我之前的文章 “Elasticsearch: analyzer”。

但是,有时在搜索时使用其他分析器是有意义的,例如,使用 edge_ngram tokenizer 实现自动完成功能或使用搜索时同义词时。

默认情况下,查询将使用在字段映射中定义的分析器,但是可以使用 search_analyzer 设置将其覆盖。

N-grams

Ngrams 和 edge ngrams 是在 Elasticsearch 中标记文本的两种更独特的方式。 Ngrams 是一种将一个标记分成一个单词的每个部分的多个子字符的方法。 ngram 和 edge ngram 过滤器都允许你指定 min_gram 以及 max_gram 设置。我在文章 “Elasticsearch: Ngrams, edge ngrams, and shingles” 有比较详细的描述。

比如:

%title插图%num

上面显示了单词 star 在使用 N-grams 时的分词情况。edge ngram 其实就是 N-grams 一种特殊情况。它是在每个术语的开始进行的。比如在定义 min_gram 为2, max_gram 为4 时,那么 edge ngram 针对 star 所生成的分词为:

st sta star

使用 Elasticsearch 完成 Search-As-You-Type

在我们的实际使用中,我们经常会用到当我们输入一些字母或词,然后,希望能有自动补全的功能。比如当我们输入:

%title插图%num

我们想看到一些候选的词出现,并让我们选择。在我之前的文章 “Elasticsearch:定制分词器(analyzer)及相关性” 有相应的实现。在今天的文章中,我将展示为啥我们必须有时需要使用不同的分词器。

我们首先来创建一个索引 my-index-000001:

PUT my-index-000001
{
  "settings": {
    "analysis": {
      "filter": {
        "autocomplete_filter": {
          "type": "edge_ngram",
          "min_gram": 1,
          "max_gram": 20
        }
      },
      "analyzer": {
        "autocomplete": {
          "type": "custom",
          "tokenizer": "standard",
          "filter": [
            "lowercase",
            "autocomplete_filter"
          ]
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "content": {
        "type": "text",
        "analyzer": "autocomplete"
      }
    }
  }
}

在上面,我创建了一个叫做my-index-000001 的索引。为了说明问题的方便,我没有把我们的 search_analyzer 定义。这样,当我们 query 的时候,它还是将使用上面定义的 autocomplete 分词器。

我们可以使用如下的命令来测试一下我们的 analyzer:

POST my-index-000001/_analyze
{
  "text": "star",
  "analyzer": "autocomplete"
}

上面的命令显示的结果为:

{
  "tokens" : [
    {
      "ttgcodeoken" : "s",
      "start_offset" : 0,
      "end_offset" : 4,
      "type" : "",
      "position" : 0
    },
    {
      "token" : "st",
      "start_offset" : 0,
      "end_offset" : 4,
      "type" : "",
      "position" : 0
    },
    {
      "token" : "sta",
      "start_offset" : 0,
      "end_offset" : 4,
      "type" : "",
      "position" : 0
    },
    {
      "token" : "star",
      "start_offset" : 0,
      "end_offset" : 4,
      "type" : "",
      "position" : 0
    }
  ]
}

从上面的结果中,我们可以看出来,当我们打入 s, st, sta 以及 star 的任何一个,那么含有 star 的文档都将被搜索到。这个是由于我们的 autocomplete 分词器含有edge_ngram 过滤器的原因。

接下来我们使用如下的方法导入两个文档:

POST my-index-000001/_bulk
{ "index" : { "_id" : "1" } }
{ "content" : "He is a movie star" }
{ "index" : { "_id" : "2" } }
{ "content" : "This is a nice space" }

当我们使用如下的方法来进行搜索时:

GET my-index-000001/_search
{
  "query": {
    "match": {
      "content": "sta"
    }
  }
}

上面命令显示的结果为:

{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 2,
      "relation" : "eq"
    },
    "max_score" : 0.33425623,
    "hits" : [
      {
        "_index" : "my-index-000001",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 0.33425623,
        "_source" : {
          "content" : "He is a movie star"
        }
      },
      {
        "_index" : "my-index-000001",
        "_type" : "_doc",
        "_id" : "2",
        "_score" : 0.25069216,
        "_source" : {
          "content" : "This is a nice space"
        }
      }
    ]
  }
}

可能很多小伙伴要问:这到底是咋回事呢?我们明明搜索的是 sta,但是 ID 为2的文档并没有 sta,为啥它还出现在搜索的结果中呢。这是因为如果我们在没有搜索指定 analyzer,那么它将使用 index analyzer,也就是 autocomplete analyzer。使用它的结果就是把 space,也分词为:

s, sp, spa, spac, space

很显然 s 也匹配我们的 ID 为1 的文档。你可以看看上面的我们把 star 分词的结果。在这个时候,我们必须在 query 时使用不同于 indexing 时的分词器。我们尝试使用如下的查询:

GET my-index-000001/_search
{
  "query": {
    "match": {
      "content": {
        "query": "sta",
        "analyzer": "standard"
      }
    }
  }
}

在上面,我们指定了 search_analyzer 为 standard。那么 sta 就不会使用 edge ngram 过滤器进行分词了。这样搜索的结果就变成了:

{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 1,
      "relation" : "eq"
    },
    "max_score" : 0.9530773,
    "hits" : [
      {
        "_index" : "my-index-000001",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 0.9530773,
        "_source" : {
          "content" : "He is a movie star"
        }
      }
    ]
  }
}

这次我们只看到了一个文档。在实际的使用中,我们每次搜索时都写上分词器,确实很麻烦。我们可以直接在 mapping 中字段里定义 search_analyzer。我接下来删除索引:

DELETE my-index-000001

我们在次打入如下的命令:

PUT my-index-000001
{
  "settings": {
    "analysis": {
      "filter": {
        "autocomplete_filter": {
          "type": "edge_ngram",
          "min_gram": 1,
          "max_gram": 20
        }
      },
      "analyzer": {
        "autocomplete": {
          "type": "custom",
          "tokenizer": "standard",
          "filter": [
            "lotgcodewercase",
            "autocomplete_filter"
          ]
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "content": {
        "type": "text",
        "analyzer": "autocomplete",
        "search_analyzer": "standard"
      }
    }
  }
}

在上面,我们指定了 search_analyzer 为 standard。我们重新导入文档:

POST my-index-000001/_bulk
{ "index" : { "_id" : "1" } }
{ "content" : "He is a movie star" }
{ "index" : { "_id" : "2" } }
{ "content" : "This is a nice space" }

那么我们再次执行如下的搜索:

GET my-index-000001/_search
{
  "query": {
    "match": {
      "content": "sta"
    }
  }
}

这次,我们只看到一个搜索的结果:

{
  "took" : 934,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 1,
      "relation" : "tgcodeeq"
    },
    "max_score" : 0.9530773,
    "hits" : [
      {
        "_index" : "my-index-000001",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 0.9530773,
        "_source" : {
          "content" : "He is a movie star"
        }
      }
    ]
  }
}

参考:

【1】https://www.elastic.co/guide/en/elasticsearch/reference/current/search-analyzer.html

文章来源于互联网:Elasticsearch:使用 search_analyzer 及 edge ngram 来实现 Search-As-You-Type

相关推荐: Elasticsearch:跨集群搜索 Cross-cluster search(CCS)及安全

在我之前的文章 “跨集群搜索 Cross-cluster search (CCS)”,我已经详细描述了如何进行跨集群搜索。在那篇文章里,我的两个集群都是运行于本地的电脑,并且分布于不同的两个目录中。两个集群没有任何的安全设置。这个在实际的使用中是不现实的。前几…

Tags: