检查重复文件的两个我常用工具

查重文件有很多,早期用的是 vdf,但现在发现两个工具更有用

一个是 filemany,主打是轻便好用.主要界面是日语,但是可以有换用英文

可以检查二进制和 md5的重复文件,也已经检查类似的图像

第2个是俄罗斯的Duplicate Files Search & Link

他有少数时候会崩溃,比较有意思的特点就是可以把重复文件转华为 symbolic。link
界面有中文的

2 Likes

我写过一个cli的类似工具

第二个曾试用过但没留下来,
第一个没中文那就算了。。。
下面是我的,都不知好不好用了,反正就是留下来了
最下面那个是 Duplicate Photo Finde,
因还没需要所以还没装回来
2024-02-02_235819

1 Like

试用了一下确实不错 :yum:感谢推荐

日文还是算了,之前用的是Duplicate Cleaner(也能转换硬链接),不过是付费的(也不贵),试试俄罗斯这款吧。

图片查重可以用 Find.Same.Images.OK

我之所以说常用这两个原因并没有展开,尤其是第一个。

就是通过3个不同分界面的组合,还有它的一些过滤选择,选取的方式,你可意向到的绝大多数过筛选方式,他都可以做得到。自动选择,效率很高。

这就是为什么日本人在这种小工具上会做的非常体验好

建议不要将程序员的个体能力上升至所属国家或者所在国国民
——
Filemnay 的确在预览图片方面强大很多,比 VDF 要右键选“打开”快捷多了;就是鼠标悬停预览功能在我这完全不起作用;过滤、批量选中功能也挺多,可惜手头没多少重复文件,未能深度试用。就是部分界面字体太小了,有点难受,但取代 VDF 没问题。

好的,谢谢推荐,马上下载回来先

不必过敏
这是个体长期观察的结果,主要集集中在一些特殊小功能软件,尤其是看图看漫画这种软件上面

1 Like

photo还可以用这个

CLI和简单的GUI GitHub - qarmin/czkawka: Multi functional app to find duplicates, empty folders, similar images etc.
使用还行吧,只是通过hash检查重复的话比较快,检查视频相似的话就很慢了
除了一些edge case,使用hash查重的软件大差不差


Czkawka Krokiet FSlint DupeGuru Bleachbit
Language Rust Rust Python Python/Obj-C Python
Framework base language C Rust C C/C++/Obj-C/Swift C
Framework GTK 4 Slint PyGTK2 Qt 5 (PyQt)/Cocoa PyGTK3
OS Lin,Mac,Win Lin,Mac,Win Lin Lin,Mac,Win Lin,Mac,Win
Duplicate finder :heavy_check_mark: :heavy_check_mark: :heavy_check_mark: :heavy_check_mark:
Empty files :heavy_check_mark: :heavy_check_mark: :heavy_check_mark:
Empty folders :heavy_check_mark: :heavy_check_mark: :heavy_check_mark:
Temporary files :heavy_check_mark: :heavy_check_mark: :heavy_check_mark: :heavy_check_mark:
Big files :heavy_check_mark: :heavy_check_mark:
Similar images :heavy_check_mark: :heavy_check_mark: :heavy_check_mark:
Similar videos :heavy_check_mark: :heavy_check_mark:
Music duplicates(tags) :heavy_check_mark: :heavy_check_mark: :heavy_check_mark:
Invalid symlinks :heavy_check_mark: :heavy_check_mark: :heavy_check_mark:
Broken files :heavy_check_mark: :heavy_check_mark:
Names conflict :heavy_check_mark: :heavy_check_mark: :heavy_check_mark:
Invalid names/extensions :heavy_check_mark: :heavy_check_mark: :heavy_check_mark:
Installed packages :heavy_check_mark:
Bad ID :heavy_check_mark:
Non stripped binaries :heavy_check_mark:
Redundant whitespace :heavy_check_mark:
Overwriting files :heavy_check_mark: :heavy_check_mark:
Multiple languages :heavy_check_mark: :heavy_check_mark: :heavy_check_mark: :heavy_check_mark:
Cache support :heavy_check_mark: :heavy_check_mark: :heavy_check_mark:
In active development Yes Yes No Yes Yes
4 Likes

下载后才发现,你推荐的那个之前我也试用过了,只是忘了没用的原因了

你这个我用过,字体小到令人发指,不知道为什么。
即使不是带鱼屏也是这样。

新雨相似图片查找助手有点像

还有一个外国的也长这个样子,这种界面与操作方式我喜欢。。

Duplicate Cleaner Pro 支持对视频根据图像抽帧、缩略图以及音频查重,对音频支持元数据查重以及相似度查重,查找到重复文件还有高度自定义的批量选择功能,对于选择的文件有删除、移动、硬链接替换等处理方法,是我用过功能最强大的查重工具,就是要收费。

另外音乐查重还有个重复音乐查找工具,支持查重时忽略元数据中一些特定的字段,某些时候很有用。

_20240521175241
_20240521175255
_20240521175307

之前遇到了大量 视频和图片 去重的情况,一圈免费软件用完之后,最终选择购买了Duplicate Cleaner Pro 我愿称之为:功能最强大的查重工具。

视频可以利用缩略图,抽帧,哈希,视频内的音频的、开头120秒、全部、15秒,实现匹配检索。
而且对检索结果,可以使用文件属性,目录,文件名(支持正则匹配),状态等快速选择需要删除的文件

2 Likes

哈,以前写过一个在浏览器里检查文件是否重复的,主要是为了识别别人给我发的文件是否重复的场景,不太用于自己大量的重复文件识别,而且只是通过颜色显示区别,没有根据区别再进行操纵的功能,也即是只能观察文件是否相同,而且受到浏览器限制,测试是不能超过2G的文件大小。

还发过帖 为了识别别人给我发的文件是不是同一个文件,我写了一个网页计算文件hash值这样更方便识别。

可以直接在线访问:https://files-hash-in-browser.vercel.app/

这个算视频特征值的时候是真的慢