简介
这是寻找二次元图片的全新方式,有以下特点:
- 通过自然语言描述就能找到想要的图片
- 多语言:支持不同语言的描述
- 多模态:支持上传图片,以图搜图,或是同时输入图片和描述
- 更多选项:支持自定义权重,支持使用标签进一步筛选
- 搜索范围广:包含了 Danbooru 上 700 多万张图片
用例
AI 搜图可以有多种用途:寻找特定的图片、搜索相似的图片、通过模糊 残缺的图片寻找原图等。
在这些用途上相较于传统搜索都有不小的优势。
寻找特定图片
此用途对应的传统方式应该是 Pixiv 或者 Danbooru 的搜索功能。相较而言,AI 搜图的优势有:
- 更方便快捷:直接描述内容、风格即可,不用再寻找、组合标签或者使用英文日文
- 用自然语言更容易组织复杂的描述
此外,还支持结合传统搜索的功能,通过标签、日期、收藏数等条件进行筛选。这在寻找特定主题或角色的图片时很有用。
搜索内容:“城市,赛博朋克风格,女孩在桥上”
搜索内容:“2个女孩在床上,画面精细”
搜索相似图片
通过添加图片,可以搜索相似图片。搜索是完全基于图片内容的,相似内容和相似风格的图片都可以搜索到。
搜索内容
搜索结果
搜索内容
搜索结果
寻找原图
既然可以添加图片,自然可以用来寻找原图。此功能对应的传统方式应该是 iqdb 和 ascii2d。相较而言,AI 搜图效果会更好:能够通过残缺得更多的图片找到原图
比如下面的图片,面积仅为原图的 32.7%,用 iqdb 和 ascii2d 均无法找到原图,但用我们的 AI 搜图就可以
在搜索结果中排在第一个
值得注意的是,在 R-18 限制开启的情况下,无法搜索到 R-18 图片。在国内版(cn.nekon.app),R-18 限制无法关闭。
更多用例
搜索内容:水面反射
搜索内容:“像素”
搜索内容:“USSR”
搜索内容:“GLaDOS”
能搜到,剩下的也是风格类似的,有趣
技术原理
基于 OpenAI 的 CLIP (ViT) 模型实现的,用它提取特征,然后索引。多语言其实是通过微软翻译,将描述翻译成英文然后搜索实现的。根据我的测试,综合效果反而比直接使用多语言 CLIP 模型更好,性能也更好。