提一个建议:
1、建立一个内存虚拟磁盘,10G左右大小(既然是json小文件,一个算10k,50万个,应该大致在5G左右)。
2、将小文件夹迁移到虚拟磁盘上,然后用压缩软件的“仅打包”模式进行压缩。
相信速度一定令你满意。
但是消耗时间在“将小文件夹迁移到虚拟磁盘上”这里,哈哈。
不管为啥方案,文件系统对小文件处理很慢都没法解决的。
局域网的话,用Syncthing之类的同步工具会不会方便点。
根据我的经验,这个过程是非常快的,因为windows的读取速度很快,但写入速度就经常非常慢,而往虚拟磁盘中写入,恰好利用了虚拟磁盘内存般的闪电速度,实际迁移速度还是非常快的。
如果是这样的话,还不如直接打包到压缩文件里面。