用自然语言搜索二次元图片 - 寻找二次元图片的全新方式

这篇文章介绍 nekon.app 的新功能:AI 搜图

简介

这是寻找二次元图片的全新方式,有以下特点:

  • 通过自然语言描述就能找到想要的图片
  • 多语言:支持不同语言的描述
  • 多模态:支持上传图片,以图搜图,或是同时输入图片和描述
  • 更多选项:支持自定义权重,支持使用标签进一步筛选
  • 搜索范围广:包含了 Danbooru 上 700 多万张图片

用例

AI 搜图可以有多种用途:寻找特定的图片、搜索相似的图片、通过模糊 残缺的图片寻找原图等。
在这些用途上相较于传统搜索都有不小的优势。

寻找特定图片

此用途对应的传统方式应该是 Pixiv 或者 Danbooru 的搜索功能。相较而言,AI 搜图的优势有:

  • 更方便快捷:直接描述内容、风格即可,不用再寻找、组合标签或者使用英文日文
  • 用自然语言更容易组织复杂的描述

此外,还支持结合传统搜索的功能,通过标签、日期、收藏数等条件进行筛选。这在寻找特定主题或角色的图片时很有用。

搜索内容:“城市,赛博朋克风格,女孩在桥上”


搜索内容:“2个女孩在床上,画面精细”

搜索相似图片

通过添加图片,可以搜索相似图片。搜索是完全基于图片内容的,相似内容和相似风格的图片都可以搜索到。

搜索内容


搜索结果

搜索内容


搜索结果

寻找原图

既然可以添加图片,自然可以用来寻找原图。此功能对应的传统方式应该是 iqdbascii2d。相较而言,AI 搜图效果会更好:能够通过残缺得更多的图片找到原图

比如下面的图片,面积仅为原图的 32.7%,用 iqdb 和 ascii2d 均无法找到原图,但用我们的 AI 搜图就可以


在搜索结果中排在第一个

值得注意的是,在 R-18 限制开启的情况下,无法搜索到 R-18 图片。在国内版(cn.nekon.app),R-18 限制无法关闭。

更多用例

搜索内容:水面反射

搜索内容:“像素”

搜索内容:“USSR”

搜索内容:“GLaDOS”
能搜到,剩下的也是风格类似的,有趣

技术原理

基于 OpenAI 的 CLIP (ViT) 模型实现的,用它提取特征,然后索引。多语言其实是通过微软翻译,将描述翻译成英文然后搜索实现的。根据我的测试,综合效果反而比直接使用多语言 CLIP 模型更好,性能也更好。

其他

nekon.app 的介绍

1 个赞

能搜索猫和老鼠吗 :cat:

不能,搜索范围为 Danbooru 上的 700 多万张图片

试了一下,只有少量的猫和老鼠


嗯?不能用了?

有可能是你之前访问过网站,有旧版的缓存。试下关闭浏览器重新打开页面。

1 个赞