Elasticsearch:使用 ELSER 进行语义搜索 – sparse_vector
2024年9月5日 | by mebius
Elastic Learned Sparse EncodeR(或 ELSER)是由 Elastic 训练的 NLP 模型,可让你使用稀疏向量表示执行语义搜索。语义搜索不是根据搜索词进行文字匹配,而是根据搜索查询的意图和上下文含义检索结果。
本教程中的说明向你展示了如何使用 ELSER 对数据执行语义搜索。
重要:有关在 Elastic Stack 中执行语义搜索的最简单方法,请参阅 semantic_text 端到端教程。
注意:使用 ELSER 进行语义搜索时,每个字段仅考虑前 512 个提取的标记。请参阅此页面了解更多信息。
要求
要使用 ELSER 执行语义搜索,你必须在集群中部署 NLP 模型。请参阅 ELSER 文档以了解如何下载和部署模型。
注意:如果关闭部署自动扩展功能,则在 Elasticsearch Service 中部署和使用 ELSER 模型所需的最小专用 ML 节点大小为 4 GB。建议启用自动扩展功能,因为它允许你的部署根据需求动态调整资源。通过使用更多分配或每个分配使用更多线程,可以获得更好的性能,这需要更大的 ML 节点。自动扩展功能会在需要时提供更大的节点。如果关闭自动扩展功能,你必须自行提供大小合适的节点。
如果你已经安装完毕并部署好,你可以在机器学习页面查看:
创建索引映射
首先,必须创建目标索引(包含模型根据你的文本创建的标记的索引)的映射。目标索引必须具有具有 sparse_vector 或 rank_features 字段类型的字段,才能索引 ELSER 输出。
注意:ELSER 输出必须被提取到具有 sparse_vector 或 rank_features 字段类型的字段中。否则,Elasticsearch 会将 token-weight 对解释为文档中的大量字段。如果你收到类似以下错误:“Limit of total fields [1000] has been exceeded while adding new fields”,则 ELSER 输出字段未正确映射,并且其字段类型与 sparse_vector 或 rank_features 不同。
- 包含生成的标记的字段的名称。下一步必须在推理管道配置中引用它。
- 包含标记的字段是 sparse_vector 字段。
- 创建稀疏向量表示的字段的名称。在此示例中,字段的名称为 content。下一步必须在推理管道配置中引用它。
- 字段类型,在此示例中为 text。
要了解如何优化空间,请参阅通过从文档源中排除 ELSER 标记来节省磁盘空间部分。
使用推理处理器创建摄取管道
使用ingest pipelineinference processoringest pipeline创建ingest pipeline,以使用 ELSER 对管道中摄取的数据进行推理。
PUT _ingest/pipeline/elser-v2-test
{
"processors": [
{
"inference": {
"model_id": ".elser_model_2",
"input_output": [ /* 1 */
{
"input_field": "content",
"output_field": "content_embedding"
}
]
}
}
]
}
配置对象定义推理过程的 input_field 和包含推理结果的 output_field。
加载数据
在此步骤中, 你将加载稍后在推理提取管道中使用的数据,以从中提取标记。
使用 msmarco-passagetest2019-top1000 数据集,它是 MS MARCO Passage Ranktgcodeing 数据集的子集。它由 200 个查询组成,每个查询都附有相关文本段落列表。所有唯一段落及其 IDs 都已从该数据集中提取并编译成 tsv 文件。
重要:msmarco-passagetest2019-top1000 数据集未用于训练模型。它在本教程中仅用作易于访问的示例数据集以用于演示目的。你可以使用不同的数据集来测试工作流程并熟悉它。
下载文件并使用机器学习 UI 中的 Data Visualiztgcodeer 将其上传到你的集群。将名称 id 分配给第一列,将内容分配给第二列。索引名称为 test-data。上传完成后,你可以看到一个名为 test-data 的索引,其中包含 182469 个文档。
我们可以通过如下的命令来查看 test_data 的映射:
GET test-data/_mapping
{
"test-data": {
"mappings": {
"_meta": {
"created_by": "file-data-visualizer"
},
"properties": {
"content": {
"type": "text"
},
"id": {
"type": "long"
}
}
}
}
}
通过 inference ingest pipeline 采集数据
通过使用 ELSER 作为推理模型的推理管道重新索引数据,从文本中创建标记。
POST _reindex?wait_for_completion=false
{
"source": {
"index": "test-data",
"size": 50 /* 1 */
},
"dest": {
"index": "my-index",
"pipeline": "elser-v2-test"
}
}
- 重新索引的默认批次大小为 1000。将大小减小到较小的数字可以加快重新索引过程的更新速度,从而使你能够密切跟踪进度并尽早发现错误。
该调用返回一个任务 ID 来监控进度:
GET _tasks/022z5o7HRqaGwOTjIMMZSw:897221
你还可以打开 Trained Models UI,选择 ELSER 下的 Pipelines 选项卡来跟踪进度。
等上面的 reindex 完毕后,我们可以查看:
GET my-index/_search
使用 sparse_vector 查询进行语义搜索
要执行语义搜索,请使用 sparse_vector 查询,并提供查询文本和与你的 ELSER 模型关联的推理 ID。以下示例使用查询文本 “How to avoid muscle soreness after running?”,content_embedding 字段包含生成的 ELSER 输出:
GET my-index/_search
{
"query":{
"sparse_vector":{
"field": "content_embedding",
"inference_id": "my-elser-endpoint",
"query": "How to avoid muscle soreness after running?"
}
}
}
注意:在 8.15 之前的版本,我们使用 text expansion 来对数据进行搜索。text_expansion 已经是过时的了。不被推荐使用。
GET my-index/_search
{
"query":{
"text_expansion":{
"content_embedding": {
"model_id": ".elser_model_2",
"model_text": "How to avoid muscle soreness after running?"
}
}
}
}
结果是 my-index 索引中与你的查询文本含义最接近的前 10 个文档,按相关性排序。结果还包含每个相关搜索结果的提取标记及其权重。标记是学习到的关联,用于捕捉相关性,它们不是同义词。要了解有关标记的更多信息,请参阅此页面。可以从源中排除标记,请参阅本节了解更多信息。
我们首先使用如下的命令来创建my-elser-model inference id。
PUT _inference/sparse_embedding/my-elser-model
{
"service": "elser",
"service_settings": {
"num_allocations": 1,
"num_threads": 1
}
}
我们再使用如下的命令来进行搜索:
GET my-index/_search
{
"query":{
"sparse_vector":{
"field": "content_embedding",
"inference_id": "my-elser-model",
"query": "How to avoid muscle soreness after running?"
}
}
}
将语义搜索与其他查询相结合
你可以将 sparse_vector 与复合查询中的其他查询相结合。例如,在 Boolean 或全文查询中使用过滤子句,查询文本与 sparse_vector 查询相同(或不同)。这样你就可以将两个查询的搜索结果结合起来。
sparse_vector 查询的搜索命中率往往高于其他 Elasticsearch 查询。可以使用 boost 参数增加或减少每个查询的相关性分数来规范这些分数。如果存在大量相关性较低的结果,sparse_vector 查询的召回率可能会很高。使用 min_score 参数来修剪那些相关性较低的文档。
GET my-index/_search
{
"_source": {
"exclude": [
"content_embedding",
"id",
"model_id"
]
},
"query": {
"bool": { /* 1 */
"should": [
{
"sparse_vector": {
"field": "content_embedding",
"inference_id": "my-elser-model",
"query": "How to avoid muscle soreness after running?",
"boost": 1 /* 2 */
}
},
{
"query_string": {
"query": "toxins",
"boost": 4. /* 3 */
}
}
]
}
},
"min_score": 10 /* 4 */
}
- sparse_vector 和 query_string 查询均位于布尔查询的 should 子句中。
- sparse_vector 查询的 boost 值为 1,这是默认值。这意味着此查询结果的相关性分数不会提高。
- query_string 查询的 boost 值为 4。此查询结果的相关性分数tgcode会增加,从而使其在搜索结果中的排名更高。
- 仅显示分数等于或高于 10 的结果。
通过从文档源中排除 ELSER 标记来节省磁盘空间
ELSER 生成的标记必须编入索引才能用于 sparse_vector 查询。但是,没有必要在文档源中保留这些术语。你可以使用 source exclude映射从文档源中删除 ELSER 术语,从而节省磁盘空间。
警告:重新索引使用文档源来填充目标索引。一旦 ELSER 术语从源中排除,就无法通过重新索引来恢复它们。从源中排除标记是一种节省空间的优化,只有当你确定将来不需要重新索引时才应应用!仔细考虑这种权衡并确保从源中排除 ELSER 术语符合你的特定要求和用例非常重要。仔细查看禁用 _source 字段和从 _source 中包含/排除字段部分,以了解有关从 _source 中排除标记的可能后果的更多信息。
可以通过以下 API 调用创建从 _source 字段中排除 content_embedding 的映射:
PUT my-index
{
"mappings": {
"_source": {
"excludes": [
"content_embedding"
]
},
"properties": {
"content_embedding": {
"type": "sparse_vector"
},
"content": {
"type": "text"
}
}
}
}