Elasticsearch:使用向量搜索来搜索图片及文字

2022年8月24日   |   by mebius

在 eCommerce 里的应用中,我们可以对图像来进行搜索从而达到更好的应用体验。如果你之前阅读过我的文章 “Elasticsearch:如何使用 Elasticsearch 和 Python 构建面部识别系统”,可能对这个并不陌生。我们可以通过对图片的处理,把它变成向量,然后我们再进行向量搜索,从而达到搜索的目的。

%title插图%num

在今天的 demo 中,我们来展示如何使用 Elasticsearch 来搜素图片。展示的代码可以在GitHub – liu-xiao-guo/flask-elastic-nlp找到。我们可以使用如下的命令来下载代码:

git clone https://github.com/liu-xiao-guo/flask-elastic-nlp

前提条件

你首先需要安装 Elasticsearch v8.3.0+ 及 Python v3.9+。你需要安装如下的5个 NLP 的模型:

Elasticsearch 资源

要并行运行所有模型,你将需要约 21GB 的内存,因为模型已加载到内存中。

如果你的计算机没有足够的内存,那么你可以配置更少的内存,并且始终只同时运行 1 或 2 个模型,具体取决于您有多少可用内存。 要更改 docker-compose 的值,请转到 es-docker/.env 文件并更改 MEM_LIMIT。这个非常重要。如果你的电脑没有足够的内存,而你配置 21G,极有可能你的 docker 运行不起来。我们需要调整 .env 文件里的内存大小。你如果是在 macOS 上,你可以调整如下的内存配置:

%title插图%num

安装 Elastic Stack

我们首先来安装 Elasticsearch 及 Kibana。我们进入到 es-docker 目录中:

$ pwd
/Users/liuxg/python/flask-elastic-nlp
$ cd es-docker/
$ ls -al
total 24
drwxr-xr-x   4 liuxg  staff   128 Aug 23 14:42 .
drwxr-xr-x  18 liuxg  staff   576 Aug 23 10:24 ..
-rw-r--r--   1 liuxg  staff   733 Aug 23 15:43 .env
-rw-r--r--   1 liuxg  staff  4599 Aug 23 14:52 docker-compose.yml
$ docker-compose up

在运行上面的命令之前,我们可以查看当前目录下的 .env 文件的配置。针对我的情况,我修改了最新的 Elastic Stack 版本为8.3.3。执行上面的命令后,它会自动下载 Elasticsearch 及 Kibana 的镜像,并启动 docker;

%title插图%num

在这期间,如果你的安装挂掉了,极有可能是你的内存不够而造成的。你需要修改当前目录下的 .env 文章中的这个项:

MEM_LIMIT=21474836480

如果我的安装成功的话,我们可以使用如下的命令来查看:

curl -k -u elastic:changeme https://localhost:9200
$ curl -k -u elastic:changeme https://localhost:9200
{
  "name" : "es01",
  "cluster_name" : "elastic-nlp-8.3.3",
  "cluster_uuid" : "RWAp5DntThedGCsN0Ae3Ptgcodew",
  "version" : {
    "number" : "8.3.3",
    "build_flavor" : "default",
    "build_type" : "docker",
    "build_hash" : "801fed82df74dbe537f89b71b098ccaff88d2c56",
    "build_date" : "2022-07-23T19:30:09.227964828Z",
    "build_snapshot" : false,
    "lucene_version" : "9.2.0",
    "minimum_wire_compatibility_version" : "7.17.0",
    "minimum_index_compatibility_version" : "7.0.0"
  },
  "tagline" : "You Know, for Search"
}

如果你看到上面的输出,则标明你的 Elasticsearch 的安装是成功的。我们也可以打开地址 http://localhost:5601 来登录 Kibana:

%title插图%num

我们可以通过如下的命令来查看运行中的 docker 容器:

docker ps
$ docker ps
CONTAINER ID   IMAGE                                                 COMMAND                  CREATED          STATUS                    PORTS                              NAMES
a2393f9bd322   docker.elastic.co/kibana/kibana:8.3.3                 "/bin/tini -- /usr/l…"   13 minutes ago   Up 13 minutes (healthy)   0.0.0.0:5601->5601/tcp             elastic-nlp_kibana_1
4ba6f28c6492   docker.elastic.co/elasticsearch/elasticsearch:8.3.3   "/bin/tini -- /usr/l…"   13 minutes ago   Up 13 minutes (healthy)   0.0.0.0:9200->9200/tcp, 9300/tcp   elastic-nlp_es01_1

从上面的输出中,我们可以看出来有两个容器在运行:一个是 Elasticsearch 而另外一个是 Kibana。

配资 Python env

为了避免我们的 Python 安装和系统的安装混在一起,我们执行如下的命令:

$ cd flask-elastic-nlp
$ python3 -m venv .venv
$ source .venv/bin/activate
$ pip install -r requirements.txt

在安装 requirements.txt 中的 Python 包时,我们可能会遇到有些安装包不存在,这个主要看你是从哪里进行安装的。我对 requirements.txt 做了一点修改。它最终的内容是这样的:

requirements.txt

flask==2.0.2
wtforms==3.0.1
flask-wtf==1.0.1
python-dotenv==0.19.2
Werkzeug~=2.0.3
sentence-transformers~=2.2.0
ftfy~=6.1.1
# image-embeddings
pandas~=1.3.5
elasticsearch~=8.3.3
Pillow~=9.0.1
tqdm~=4.62.3
# eland
eland~=8.2.0
torch~=1.11.0
torchvision~=0.13.1
transformers~=4.19.2

这样我们的 Python 环境就配置好了。

%title插图%num

上传 NLP 模型

让我们将模型加载到应用程序中。 我们使用 eland python 客户端来加载模型。 有关更多详细信息,请遵循文档。我们也可以参考文章 “Elasticsearch:使用向量搜索来查询及比较文字 – NLP text embedding” 来上传模型。在上面安装 Python 的过程中,我们已经安装好 eland。我们可以直接使用如下的命令来上传模型:

# wait until each model is loaded and started. If you do not have enough memory, you will see errors sometimes confusing
$ eland_import_hub_model --url https://elastic:changeme@localhost:9200 --hub-model-id dslim/bert-base-NER --task-type ner --start --insecure
$ eland_import_hub_model --url https://elastic:changeme@127.0.0.1:9200 --hub-model-id sentence-transformers/clip-ViT-B-32-multilingual-v1 --task-type text_embedding --start --insecure
$ eland_import_hub_model --url https://elastic:changeme@127.0.0.1:9200 --hub-model-id distilbert-base-uncased-finetuned-sst-2-english --task-type text_classification --start --insecure
$ eland_import_hub_model --url https://elastitgcodec:changeme@127.0.0.1:9200 --hub-model-id bert-base-uncased --task-type fill_mask --start --insecure
$ eland_import_hub_model --url https://elastic:changeme@127.0.0.1:9200 --hub-model-id sentence-transformers/msmarco-MiniLM-L-12-v3 --task-type text_embedding --start --insecure
$ eland_import_hub_model --url https://elastic:changeme@127.0.0.1:9200 --hub-model-id deepset/tinyroberta-squad2 --task-type question_answering --start --insecure

我们在项目的根目录中分别打入上面的命令:

%title插图%num

我们回到 Kibana 的界面:

%title插图%num

%title插图%num

我们按照同样的方法把剩下的4个模型都上传到 Elasticsearch 中:

%title插图%num

这样我们最终看到所有的模型都被上传了:

%title插图%num

如果你在屏幕中看到缺少某些模型并看到一条消息。 需要 ML 作业和经过训练的模型同步,继续并单击链接以同步模型。

%title插图%num

导入数据索引

我们还需要在烧瓶应用程序中使用的数据索引。 在此过程中,脚本还将从 Unsplash 下载tgcode数据集。

确保设置了 Python 环境。

$ cd embeddings
$ python3 build-datasets.py --es_host "https://127.0.0.1:9200" --es_user "elastic" --es_password "changeme" --no-verify_certs --delete_existing

%title插图%num

等运行完上面的命令后,我们会发现:

%title插图%num

%title插图%num

这里的 blogs 也就是我们在另外一篇文章 “Elasticsearch:使用向量搜索来查询及比较文字 – NLP text embedding” 中使用到的索引。 我们可以通过如下的命令来查看新生成的索引:

GET _cat/indices

上面的命令返回:

yellow open image-embeddings       sO3-86hmQ_e9fg1uaYw9Xw 1 1 19833 0 197.4mb 197.4mb
yellow open blogs                  JiZuoqCFQkapgMgpeM0D-Q 1 1   326 0   3.8mb   3.8mb
yellow open les-miserable-embedded ZExnlOVnShC5P_2wdIdvhw 1 1 14021 0   107mb   107mb

从上面的输出中,我们可以看到有三个索引被生成。我们可以通过如下的命令来查看每个索引的 mapping:

GET image-embeddings/_mapping
{
  "image-embeddings": {
    "mappings": {
      "properties": {
        "ai_description": {
          "type": "text"
        },
        "exif_camera_make": {
          "type": "keyword"
        },
        "exif_camera_model": {
          "type": "keyword"
        },
        "exif_iso": {
          "type": "integer"
        },
        "image_embedding": {
          "type": "dense_vector",
          "dims": 512,
          "index": true,
          "similarity": "cosine"
        },
        "photo_description": {
          "type": "text"
        },
        "photo_id": {
          "type": "keyword"
        },
        "photo_image_url": {
          "type": "keyword"
        },
        "photo_url": {
          "type": "keyword"
        },
        "photographer_first_name": {
          "type": "keyword"
        },
        "photographer_last_name": {
          "type": "keyword"
        },
        "photographer_username": {
          "type": "keyword"
        }
      }
    }
  }
}

从上面,我们可以看出来image_embedding 字段是一个 512 维度的 dense_vector 字段。它可以进行向量搜索。

%title插图%num

运行 Flash App

确保设置了 Python 环境。

# In the main directory 
# !!! configure file `.env` with values pointing to your Elasticsearch cluster
$ flask run --port=5001
# Access URL `127.0.0.1:5001`

%title插图%num

我们在电脑的浏览器中打开 http://localhost:5001:

%title插图%num

当我们输入 “A mountain covered in snow” 时,我们可以看到上面显示的画面。我们也可以使用上面的另外一个例子 “Valentine day flowers”,我们可以看到如下的搜索结果:

%title插图%num

我打入了一个中文的句子 “我喜欢北京”:

%title插图%num

我们也可以搜索一个相同的图片,比如我们搜索如下的图片​​​​​​​:

%title插图%num

我们进行搜索:

%title插图%num

从上面,我们可以看到被搜索出来的图片。

文章来源于互联网:Elasticsearch:使用向量搜索来搜索图片及文字

相关推荐: Elasticsearch:使用向量搜索来查询及比较文字 – NLP text embedding

Elastic Stack 机器学习功能可以生成嵌入(embeddings),你可以使用它在非结构化文本中搜索或比较不同的文本片段。传统上,我们在搜索文本的时候,更加倾向于把文字进行分词,然后再对 token 进行比对: 在上面,我们在文字中完全或部分匹配分词…

Tags: , , , ,