从互联网发展伊始,搜索技术就绽放出了惊人的社会和经济价值。随着信息社会快速发展,数据呈爆炸式增长,搜索技术通过数据收集与处理,满足信息共享与快速检索的需求。

云搜索服务 ESCloud 是火山引擎提供的完全托管在线分布式搜索服务,兼容 Elasticsearch、Kibana 等软件及常用开源插件。可以提供结构化、非结构化文本的多条件检索、统计、报表,帮助实现一键部署、弹性扩缩、简化运维,快速构建日志分析、信息检索分析等实际业务。

而伴随着 Serverless 的兴起和大势所向,火山引擎云搜索服务升级云原生新架构

云搜索服务云原生版

640.png

k-NN,大模型时代下的原生向量搜索和数据库

随着推荐、音视频等新兴领域应用的涌现和对大模型场景的需求,引入多模态搜索来满足更加复杂的搜索需求势在必行。我们在全文检索的基础上增加向量搜索能力来实现对非结构化数据的分析和检索

在向量搜索的场景下,使用机器学习模型生成向量来表示数据对象(文本、图像、音视频等);向量距离来代表对象间的相似性。常用的向量库使用 ANN 算法在极短时间内完成海量向量的检索。

k-NN 可以作为向量数据库来使用,通过引入先进的向量算法库来构建向量索引,还会将构建好的向量索引持久化到磁盘,索引更加稳定。结合 ESCloud 产品的倒排索引,可以将向量检索和全文检索的能力融合,实现更加强大的混合搜索(Hybrid Search)能力。在 ESCloud 的集群基础上,k-NN 向量数据库可以提供大规模分布式能力,为用户带来可扩展数量级的向量搜索。

640 (1).png

场景案例

基于 k-NN 的业务场景主要有以下六大类,目前在字节跳动内部复杂的业务场景中均有所运用:

• 多模态搜索:包括图片搜索,语义搜索,音视频相似性检索等;

• 智能推荐:视频推荐,广告投放推荐,关系推荐,商品推荐等;

• 智能问答:基于 Transformer 的 FAQ,LLM 的领域知识问答,LangChain 集合的生成式QA;

• 数据消重:视频、音频、图片的审核消重,各类素材版权检测;

• 安全风控:欺诈检测,扫黑检测,危险评估,异常检测;

• 其他应用:数据挖掘,数据分析,搜索重排序, 文本搜图。

以文案相似度识别方案为例。

640 (2).png

在用户推送文案的场景下,为保证用户体验,需要确保推送文案不会有重复内容,因此对每个推送的内容都会进行相似度识别并消重。每个文案通过 BERT 模型生成 Embedding,在云搜索中检索一次。如果相似度低于阈值,判定为新的文案,会写入 k-NN 向量数据库中,逐渐完善成一个文案库;如果相似度高于阈值,则判定为重复文案,减少推送量。

云搜索服务 ESCloud 兼容 Elasticsearch、Kibana 等软件及常用开源插件,提供结构化、非结构化文本的多条件检索、统计、报表,可以实现一键部署、弹性扩缩、简化运维,快速构建日志分析、信息检索分析等业务能力。(作者:王晓)

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
【数字匠人】联想袁帅青:“一横五纵” ,打造布局完整稳定高效算力基础设施
2024-07-12 16:42:33
恒润股份:算力租赁业务营收“较为有限” 上半年业绩预亏
2024-07-12 16:36:22
通信出海新举措:工信部批复四地设立国际通信业务出入口局
2024-07-11 14:51:09
国家“东数西算”枢纽节点绿色算力指数研究报告: 和林格尔领跑
2024-07-11 11:01:00
面向GPU高功率未来,相变浸没式液冷做好准备了吗?
2024-07-08 11:54:00
天府智算西南中心投运!四川能投天府云42KW智算风冷算力仓正式交付使用
2024-07-08 11:19:00
2024中国绿色算力(人工智能)大会:和林格尔数据中心集群的崛起与展望
2024-07-08 11:03:31
天罡智算交易平台正式上线 并携手沙利文发布人工智能算力行业白皮书
2024-07-04 11:37:37
以“红船精神”照亮奋斗之路——中国航信教育培训基地
2024-07-04 11:16:13
数能共振 绿算领航 数据中心全生命周期绿色算力指数论坛在京举行
2024-07-03 09:55:23
2024中国绿色算力(人工智能)大会在呼和浩特开幕
2024-07-02 14:30:00
阿里云宣布关停两地数据中心服务
2024-07-02 10:16:40
投资5.27亿元、3840架,中移动一国际数据中心投产
2024-07-02 10:13:42
数据中心如何大幅提升绿电利用率?丨绿色算力产业观察
2024-07-02 09:59:19
走进和林格尔:产业链升级促进算力高质量发展
2024-06-28 15:24:39