Elasticsearch:使用 ELSER 进行语义搜索 – sparse_vector

2024年9月5日   |   by mebius

Elastic Learned Sparse EncodeR(或 ELSER)是由 Elastic 训练的 NLP 模型,可让你使用稀疏向量表示执行语义搜索。语义搜索不是根据搜索词进行文字匹配,而是根据搜索查询的意图和上下文含义检索结果。

本教程中的说明向你展示了如何使用 ELSER 对数据执行语义搜索。

重要:有关在 Elastic Stack 中执行语义搜索的最简单方法,请参阅 semantic_text 端到端教程。

注意:使用 ELSER 进行语义搜索时,每个字段仅考虑前 512 个提取的标记。请参阅此页面了解更多信息。

要求

要使用 ELSER 执行语义搜索,你必须在集群中部署 NLP 模型。请参阅 ELSER 文档以了解如何下载和部署模型。

注意:如果关闭部署自动扩展功能,则在 Elasticsearch Service 中部署和使用 ELSER 模型所需的最小专用 ML 节点大小为 4 GB。建议启用自动扩展功能,因为它允许你的部署根据需求动态调整资源。通过使用更多分配或每个分配使用更多线程,可以获得更好的性能,这需要更大的 ML 节点。自动扩展功能会在需要时提供更大的节点。如果关闭自动扩展功能,你必须自行提供大小合适的节点。

如果你已经安装完毕并部署好,你可以在机器学习页面查看:

%title插图%num

创建索引映射

首先,必须创建目标索引(包含模型根据你的文本创建的标记的索引)的映射。目标索引必须具有具有 sparse_vectorrank_features 字段类型的字段,才能索引 ELSER 输出。

注意:ELSER 输出必须被提取到具有 sparse_vector 或 rank_features 字段类型的字段中。否则,Elasticsearch 会将 token-weight 对解释为文档中的大量字段。如果你收到类似以下错误:“Limit of total fields [1000] has been exceeded while adding new fields”,则 ELSER 输出字段未正确映射,并且其字段类型与 sparse_vector 或 rank_features 不同。

  1. 包含生成的标记的字段的名称。下一步必须在推理管道配置中引用它。
  2. 包含标记的字段是 sparse_vector 字段。
  3. 创建稀疏向量表示的字段的名称。在此示例中,字段的名称为 content。下一步必须在推理管道配置中引用它。
  4. 字段类型,在此示例中为 text。

要了解如何优化空间,请参阅通过从文档源中排除 ELSER 标记来节省磁盘空间部分

使用推理处理器创建摄取管道

使用ingest pipelineinference processoringest pipeline创建ingest pipeline,以使用 ELSER 对管道中摄取的数据进行推理。

PUT _ingest/pipeline/elser-v2-test
{
  "processors": [
    {
      "inference": {
        "model_id": ".elser_model_2",
        "input_output": [  /* 1 */
          {
            "input_field": "content",
            "output_field": "content_embedding"
          }
        ]
      }
    }
  ]
}

配置对象定义推理过程的 input_field 和包含推理结果的 output_field。

加载数据

在此步骤中, 你将加载稍后在推理提取管道中使用的数据,以从中提取标记。

使用 msmarco-passagetest2019-top1000 数据集,它是 MS MARCO Passage Ranktgcodeing 数据集的子集。它由 200 个查询组成,每个查询都附有相关文本段落列表。所有唯一段落及其 IDs 都已从该数据集中提取并编译成 tsv 文件

重要:msmarco-passagetest2019-top1000 数据集未用于训练模型。它在本教程中仅用作易于访问的示例数据集以用于演示目的。你可以使用不同的数据集来测试工作流程并熟悉它。

下载文件并使用机器学习 UI 中的 Data Visualiztgcodeer 将其上传到你的集群。将名称 id 分配给第一列,将内容分配给第二列。索引名称为 test-data。上传完成后,你可以看到一个名为 test-data 的索引,其中包含 182469 个文档。

%title插图%num

%title插图%num

%title插图%num

%title插图%num

%title插图%num

%title插图%num

%title插图%num

我们可以通过如下的命令来查看 test_data 的映射:

GET test-data/_mapping
{
  "test-data": {
    "mappings": {
      "_meta": {
        "created_by": "file-data-visualizer"
      },
      "properties": {
        "content": {
          "type": "text"
        },
        "id": {
          "type": "long"
        }
      }
    }
  }
}

通过 inference ingest pipeline 采集数据

通过使用 ELSER 作为推理模型的推理管道重新索引数据,从文本中创建标记。

POST _reindex?wait_for_completion=false
{
  "source": {
    "index": "test-data",
    "size": 50  /* 1 */
  },
  "dest": {
    "index": "my-index",
    "pipeline": "elser-v2-test"
  }
}
  • 重新索引的默认批次大小为 1000。将大小减小到较小的数字可以加快重新索引过程的更新速度,从而使你能够密切跟踪进度并尽早发现错误。

%title插图%num

该调用返回一个任务 ID 来监控进度:

GET _tasks/022z5o7HRqaGwOTjIMMZSw:897221

%title插图%num

你还可以打开 Trained Models UI,选择 ELSER 下的 Pipelines 选项卡来跟踪进度。

等上面的 reindex 完毕后,我们可以查看:

GET my-index/_search

%title插图%num

%title插图%num

使用 sparse_vector 查询进行语义搜索

要执行语义搜索,请使用 sparse_vector 查询,并提供查询文本和与你的 ELSER 模型关联的推理 ID。以下示例使用查询文本 “How to avoid muscle soreness after running?”,content_embedding 字段包含生成的 ELSER 输出:

GET my-index/_search
{
   "query":{
      "sparse_vector":{
         "field": "content_embedding",
         "inference_id": "my-elser-endpoint",
         "query": "How to avoid muscle soreness after running?"
      }
   }
}

注意:在 8.15 之前的版本,我们使用 text expansion 来对数据进行搜索。text_expansion 已经是过时的了。不被推荐使用。

GET my-index/_search
{
   "query":{
      "text_expansion":{
        "content_embedding": {
         "model_id": ".elser_model_2",
         "model_text": "How to avoid muscle soreness after running?"
        }
      }
   }
}

%title插图%num

结果是 my-index 索引中与你的查询文本含义最接近的前 10 个文档,按相关性排序。结果还包含每个相关搜索结果的提取标记及其权重。标记是学习到的关联,用于捕捉相关性,它们不是同义词。要了解有关标记的更多信息,请参阅此页面。可以从源中排除标记,请参阅本节了解更多信息。

我们首先使用如下的命令来创建my-elser-model inference id。

PUT _inference/sparse_embedding/my-elser-model
{
  "service": "elser",
  "service_settings": {
    "num_allocations": 1,
    "num_threads": 1
  }
}

我们再使用如下的命令来进行搜索:

GET my-index/_search
{
   "query":{
      "sparse_vector":{
         "field": "content_embedding",
         "inference_id": "my-elser-model",
         "query": "How to avoid muscle soreness after running?"
      }
   }
}

%title插图%num

将语义搜索与其他查询相结合

你可以将 sparse_vector复合查询中的其他查询相结合。例如,在 Boolean 或全文查询中使用过滤子句,查询文本与 sparse_vector 查询相同(或不同)。这样你就可以将两个查询的搜索结果结合起来。

sparse_vector 查询的搜索命中率往往高于其他 Elasticsearch 查询。可以使用 boost 参数增加或减少每个查询的相关性分数来规范这些分数。如果存在大量相关性较低的结果,sparse_vector 查询的召回率可能会很高。使用 min_score 参数来修剪那些相关性较低的文档。

GET my-index/_search
{
  "_source": {
    "exclude": [
      "content_embedding",
      "id",
      "model_id"
     ]
    }, 
  "query": {
    "bool": {  /* 1 */
      "should": [
        {
          "sparse_vector": {
            "field": "content_embedding",
            "inference_id": "my-elser-model",
            "query": "How to avoid muscle soreness after running?",
            "boost": 1 /* 2 */ 
          }
        },
        {
          "query_string": {
            "query": "toxins",
            "boost": 4. /* 3 */ 
          }
        }
      ]
    }
  },
  "min_score": 10 /* 4 */
}

%title插图%num

  • sparse_vector 和 query_string 查询均位于布尔查询的 should 子句中。
  • sparse_vector 查询的 boost 值为 1,这是默认值。这意味着此查询结果的相关性分数不会提高。
  • query_string 查询的 boost 值为 4。此查询结果的相关性分数tgcode会增加,从而使其在搜索结果中的排名更高。
  • 仅显示分数等于或高于 10 的结果。

通过从文档源中排除 ELSER 标记来节省磁盘空间

ELSER 生成的标记必须编入索引才能用于 sparse_vector 查询。但是,没有必要在文档源中保留这些术语。你可以使用 source exclude映射从文档源中删除 ELSER 术语,从而节省磁盘空间。

警告:重新索引使用文档源来填充目标索引。一旦 ELSER 术语从源中排除,就无法通过重新索引来恢复它们。从源中排除标记是一种节省空间的优化,只有当你确定将来不需要重新索引时才应应用!仔细考虑这种权衡并确保从源中排除 ELSER 术语符合你的特定要求和用例非常重要。仔细查看禁用 _source 字段和从 _source 中包含/排除字段部分,以了解有关从 _source 中排除标记的可能后果的更多信息。

可以通过以下 API 调用创建从 _source 字段中排除 content_embedding 的映射:

PUT my-index
{
  "mappings": {
    "_source": {
      "excludes": [
        "content_embedding"
      ]
    },
    "properties": {
      "content_embedding": {
        "type": "sparse_vector"
      },
      "content": {
        "type": "text"
      }
    }
  }
}

文章来源于互联网:Elasticsearch:使用 ELSER 进行语义搜索 – sparse_vector

Tags: ,