电子商务网站建设开发文档,网页设计与制作实训报告结果,购物网站的前台用什么做,高清图片免费下载1. 引言 向量检索已经成为现代搜索和推荐系统的核心组件。 通过将复杂的对象#xff08;例如文本、图像或声音#xff09;转换为数值向量#xff0c;并在多维空间中进行相似性搜索#xff0c;它能够实现高效的查询匹配和推荐。 图片来自#xff1a;向量数据库技术鉴赏【上… 1. 引言 向量检索已经成为现代搜索和推荐系统的核心组件。 通过将复杂的对象例如文本、图像或声音转换为数值向量并在多维空间中进行相似性搜索它能够实现高效的查询匹配和推荐。 图片来自向量数据库技术鉴赏【上集】Ele实验室 Elasticsearch作为一款流行的开源搜索引擎其在向量检索方面的发展也一直备受关注。本文将回顾 Elasticsearch 向量检索的发展历史重点介绍各个阶段的特点和进展。以史为鉴方便大家建立起 Elasticsearch 向量检索的全量认知。 2. 初步尝试简单向量检索的引入 Elasticsearch 最初并未专门针对向量检索进行设计。然而随着机器学习和人工智能的兴起对于高维向量空间的查询需求逐渐增长。 在Elasticsearch的 5.x 版本中Elastic 爱好者们开始尝试通过插件和基本的数学运算实现简单的向量检索功能。如一些早期的插件如 elasticsearch-vector-scoring、fast-elasticsearch-vector-scoring 就是为了满足这样的需求。 https://github.com/MLnick/elasticsearch-vector-scoring https://github.com/lior-k/fast-elasticsearch-vector-scoring 这一阶段的向量检索主要用于基本的相似度查询例如文本相似度计算。虽然功能相对有限但为后续的发展奠定了基础。 扩展说明关于机器学习功能如果大家对 Elasticsearch 版本更迭感兴趣印象中当时 6.X 版本推出非常振奋人心。不过受限于非开源功能国内的真实受众还相对较少。 3. 官方支持进一步发展 到 Elasticsearch 7.0 版本正式开始增加对向量字段的支持例如通过 dense_vector 类型。这标志着Elasticsearch正式进入向量检索领域不再只依赖于插件。 dense_vector 最早的发起时间2018年12月13日7.6 版本标记为 GA。 https://github.com/elastic/elasticsearch/pull/33022 https://github.com/elastic/elasticsearch-net/issues/3836 关于 dense_vector 类型的使用推荐阅读高维向量搜索在 Elasticsearch 8.X 中利用 dense_vector 的实战探索。 这一阶段的主要挑战是如何有效地在传统的倒排索引结构中支持向量检索。通过与现有的全文搜索功能相结合Elasticsearch能够提供一种灵活而强大的解决方案。 从最初的插件和基本运算到后来的官方支持和集成这一阶段为Elasticsearch在向量检索方面的进一步创新和优化奠定了坚实的基础。 4. 专门优化增强的相似度计算 随着需求的增长Elasticsearch 团队开始深入研究并优化向量检索性能。这涉及了引入更复杂的相似度计算方法例如余弦相似度、欧几里得距离等以及对查询执行的优化。 从 Elasticsearch 7.3 版本开始官方引入了更复杂的相似度计算方法。特别是 script_score 查询的增强使用户可以通过 Painless 脚本自定义更丰富的相似度计算。 https://www.elastic.co/guide/en/elasticsearch/reference/7.3/query-dsl-script-score-query.html#vector-functions 核心功能在于允许通过向量之间的夹角计算相似度用 k 最近邻 (k-NN) 的余弦相似度距离指标从而为相似度搜索引擎提供支持。广泛用于文本分析和推荐系统。 主要用于解决复杂相似度需求提供了更灵活和强大的相似度计算选项能够满足更多的业务需求。 应用场景体现在 1个性化推荐通过余弦相似度分析用户的行为和兴趣提供更个性化的推荐内容2图像识别和搜索使用欧几里得距离快速检索与给定图像相似的图像3声音分析在声音文件之间寻找相似模式用于语音识别和分析。 值得一提的是初始的时候向量检索支持的维度为1024直到 Elasticsearch 8.8 版本支持维度变更为2048这是呼声很高的一个需求。 https://github.com/elastic/elasticsearch/pull/95257 https://discuss.elastic.co/t/vector-knn-search-with-more-than-1024-dimensions/332819 Elasticsearch 7.x 版本的增强相似度计算功能标志着向量检索能力的显著进展。通过引入更复杂的相似度计算方法和查询优化Elasticsearch不仅增强了其在传统搜索场景中的功能还为新兴的机器学习和AI应用打开了新的可能性。 但这个时候你会发现如果要实现复杂的向量搜索功能自己实现的还很多。如果把后面马上提到的深度学习的集成和大模型的出现比作飞行的汽车当前的阶段还是“拉驴车”功能是有的但用起来很费劲。 5. 深度学习集成与未来展望 大模型时代向量检索和多模态搜索成为“兵家”必争之地。 多模态检索是一种综合各种数据模态如文本、图像、音频、视频等的检索技术。换句话说它不仅仅是根据文字进行搜索还可以根据图像、声音或其他模态的输入来搜索相关内容。 为了更通俗地理解多模态检索我们可以通过以下比喻和示例来加深认识想象你走进一个巨大的图书馆这里不仅有书籍还有各种图片、录音和视频。你可以向图书馆员展示一张照片她会为你找到与这张照片相关的所有书籍、音频和视频。或者你可以哼一段旋律图书馆员能找到相关的资料或者提供类似的歌曲或视频。这就是多模态检索的魔力 随着深度学习技术的不断发展和应用Elasticsearch 已开始探索将深度学习模型直接集成到向量检索过程中。这不仅允许更复杂、更准确的相似度计算还开辟了新的应用领域例如基于图像或声音的搜索。尤其在Elasticsearch的 8.x 版本这一方向得到了显著的推进。 5.1 向量化是前提 如下图所示先从左往右看是写入图像、文档、音频转化为向量特征表示在 Elasticsearch 中通过 dense_vector 类型存储。 从右往左看是检索先将检索语句转化为向量特征表示然后借助 K 近邻检索算法在 Elasticsearch 中借助 Knn search 实现获取相似的结果。 看中间Results 部分就是向量检索的结果。 综上向量检索打破了传统倒排索引仅支持文本检索的缺陷可以扩展支持文本、语音、图像、视频多种模态。 图片来自Elasticsearch 官方文档 相信你到这里应该理解了向量检索和多模态。没有向量化的这个过程多模态检索无从谈起。 5.2 模型是核心 深度学习模型集成总共可分为三步 第一步模型导入和管理Elasticsearch 8.x 支持导入预训练的深度学习模型并提供相应的模型管理工具方便模型的部署和更新。第二步向量表示与转换通过深度学习模型可以将非结构化数据如图像和声音转换为向量表示从而进行有效的检索。第三步自定义相似度计算8.x 版本提供了基于深度学习模型的自定义相似度计算接口允许用户根据实际需求开发和部署专门的相似度计算方法。 关于深度学习可以是自训练模型也可以是第三方模型库中的模型举例咱们图搜图案例中就是用的 HuggingFace 里的clip-ViT-B-32-multilingual-v1 模型。 Elasticsearch 支持的第三方模型列表 名称模型释义BERT双向Transformer模型BART序列到序列模型DPR bi-encoders双向编码器检索模型DistilBERT轻量化BERTELECTRA对抗性预训练模型MobileBERT针对移动设备的BERTRoBERTa优化版BERTRetriBERT检索-focused BERTMPNet混合并行网络SentenceTransformers bi-encoders句子转换双向编码器XLM-RoBERTa多语言版RoBERTa 包括如下的 Hugging Face 模型库也都是支持的。 图片来自HuggingFace 官方文档 模型是Elasticsearch与深度学习集成的核心它能将复杂的数据转化为“指纹”向量使搜索更高效和智能。借助模型Elasticsearch可以理解和匹配各种非结构化数据如图像和声音提供更为准确和个性化的搜索结果同时适应不断变化的数据和需求。“没有了模型我们还需要黑暗中摸索很久”。 第三方模型官网介绍https://www.elastic.co/guide/en/machine-learning/8.9/ml-nlp-model-ref.html#ml-nlp-model-ref-text-embedding 值得一提的是Elasticsearch 导入大模型需要专属 Python 客户端工具 Eland。 Eland是一个 Python Elasticsearch客户端让用户能用类似Pandas的API来探索和分析Elasticsearch中的数据还支持从常见机器学习库上传训练好的模型到Elasticsearch。 Eland是为了与Elasticsearch协同工作而开发的库。它不是Elasticsearch的一个特定版本产物而是作为一个独立的项目来帮助Python开发者更方便地在Elasticsearch中进行数据探索和机器学习任务。 Eland 更多参见 https://www.elastic.co/guide/en/elasticsearch/client/eland/current/index.html https://github.com/elastic/eland 5.3 ESRE 是 Elastic 的未来 前一段时间在分别给两位阿里云、腾讯云大佬聊天的时候都提到了 Elasticsearch Relevance Engine (ESRE) 才是 Elastic 未来。 ESRE 官方介绍如下——Elasticsearch Relevance Engine 将 AI 的最佳实践与 Elastic 的文本搜索进行了结合。ESRE 为开发人员提供了一整套成熟的检索算法并能够与大型语言模型 (LLM) 集成。借助ESRE我们可以应用具有卓越相关性的开箱即用型语义搜索与外部大型语言模型集成实现混合搜索并使用第三方或我们自己的模型。 ESRE 集成了高级相关性排序如 BM25f、强大的矢量数据库、自然语言处理技术、与第三方模型如 GPT-3 和 GPT-4 的集成并支持开发者自定义模型与应用。其特点在于提供深度的语义搜索与专业领域的数据整合以及无缝的生成式 AI 整合让开发者能够构建更吸引人、更准确的搜索体验。 在 Elasticsearch 8.9 版本上新了Semantic search 语义检索功能对官方文档熟悉的同学你会发现如下截图内容早期版本是没有的。 https://www.elastic.co/guide/en/elasticsearch/reference/8.9/semantic-search.html 语义搜索不是根据搜索词进行字面匹配而是根据搜索查询的意图和上下文含义来检索结果。 更进一步讲语义搜索不仅仅是匹配你输入的关键字而是试图理解你的真正意图给你带来更准确、更有上下文的搜索结果。简单来说如果你在英国搜索“football”系统知道你可能想要搜橄榄球而不是足球在美国 football 是足球。 这种智能搜索方式得益于强大的文本向量化等技术背景使我们的在线搜索体验更加直观、方便和满意。 为了更清楚的解释由向量检索实现的文本检索——语义检索这里给个动画演示一下。 动画来自Elasticsearch 官方文档 视频刚开始在文本里检索 connection speed requirement, 这点属于早期的倒排索引检索方式或者叫全文检索中的短语 match_phrase 检索匹配 或者分词 match 检索匹配。这种可以得到结果。但是中后半段视频显示要是咱们要检索“How fast should my internet be” 怎么办 其实这里转换为向量检索fast 和 speed 语义相近should be 和 required、needs 语义相近internet 和 connection、wifi 语义相近。所以依然能召回结果。 这突破了传统同义词的限制体现了语义检索的妙处 更进一步我们给出语义检索和传统分词检索的区别以期望大家更好的理解语义搜索。 项目语义搜索传统分词搜索核心技术基于矢量搜索机器学习和人工智能基于文本匹配和查询扩展搜索目的理解查询的深层意义和上下文直接匹配关键词或扩展的词汇处理上下文能够根据搜索者的地理位置、搜索历史等信息调整结果通常不考虑这些额外的上下文信息搜索结果的相关性根据查询的意图和上下文排名结果主要基于关键词的频率和位置匹配处理同义词和多义词能够理解词语在不同上下文中的意义并据此返回结果通常使用同义词表或词汇扩展工具可能不总是理解上下文中的真正意义对查询的理解能够区分如“chocolate milk”和“milk chocolate”这样的查询即使关键词顺序或形式相同可能只是简单地匹配关键词而不理解它们的真正意思学习和适应能力通过机器学习不断改进根据用户的反馈和行为适应通常基于固定的算法和规则没有持续学习和适应的能力用户体验提供更准确和有上下文的结果从而提高用户满意度依赖于用户精确输入可能返回与用户实际意图不匹配的结果 总体而言深度学习集成已经成为Elasticsearch向量检索能力的有力补充促使它在搜索和分析领域的地位更加牢固同时也为未来的发展提供了广阔的空间。 6.小结 Elasticsearch 的向量检索从最初的简单实现发展到现在的高效、多功能解决方案反映了现代搜索和推荐系统的需求和挑战。随着技术的不断演进我们可以期待Elasticsearch在向量检索方面将继续推动创新和卓越。 说一下最近的感触向量检索、大模型等新技术的出现有种感觉“学不完根本学不完”并且很容易限于“皮毛论”我自创的词——所有技术都了解一点点但经不起提问浅了说貌似啥都懂深了说一问三不知。 这种情况怎么办我目前的方法是以实践为目的去深入理解理论必要时理解算法然后不定期将所看、所思、所想梳理成文以备忘和知识体系化。这个过程很慢、很累但我相信时间越长、价值越大。 欢迎大家就向量检索等问题进行留言讨论交流你的问题很可能就是下一次文章的主题哦 7、参考 1、https://www.elastic.co/cn/blog/text-similarity-search-with-vectors-in-elasticsearch 2、https://www.elastic.co/guide/en/elasticsearch/reference/7.3/query-dsl-script-score-query.html#vector-functions-cosine 3、https://zhuanlan.zhihu.com/p/552249981 4、https://www.elastic.co/cn/what-is/elasticsearch-machine-learning 5、https://www.elastic.co/cn/enterprise-search/generative-ai 6、https://www.elastic.co/cn/blog/may-2023-launch-announcement 7、https://www.analyticsvidhya.com/blog/2022/10/most-frequently-asked-interview-questions-on-knn-algorithm/ 8、https://www.elastic.co/guide/en/elasticsearch/reference/current/knn-search.html 9、https://www.elastic.co/cn/blog/how-to-deploy-nlp-text-embeddings-and-vector-search 10、https://www.elastic.co/cn/blog/privacy-first-ai-search-langchain-elasticsearch 11、https://www.youtube.com/watch?vW_ZUUDJsUtA 推荐阅读 全网首发从 0 到 1 Elasticsearch 8.X 通关视频重磅 | 死磕 Elasticsearch 8.X 方法论认知清单如何系统的学习 Elasticsearch 2023做点事视频 | Elasticsearch 8.X 企业内训之最佳实践10 讲Elasticsearch 8.X “图搜图”实战高维向量搜索在 Elasticsearch 8.X 中利用 dense_vector 的实战探索 更短时间更快习得更多干货 和全球 近2000 Elastic 爱好者一起精进 大模型时代抢先一步学习进阶干货
