有没有办法根据文件夹里的部分字符进行去重?

大致弄了一个,输出长这样

代码: Ubuntu Pastebin
需要本地装 Python 环境,且安装了 pandas 和 string_grouper 这两个库
把之前你贴上的文件存储为 data.txt,运行完会生成一个 output.csv,包含可能的重复对以及各自的来源

剩下的如果要移动文件,可能就要自己再写点脚本处理了,或者用excel转换下然后传给其他工具操作

1 个赞