传世魔王 发表于 2025-1-26 17:08:22

PY哈希去重TXT文件源码分享

我让他写的是亿级数据的处理，我自己测试千万的数据。速度还挺快，当然还能更快，但我让他用不会丢失数据的写法写的。
下面的功能都是按我自己的需求写的，你们也可以自己改，注意一下这处理的是单行数据
第一个按钮，单文件去重。
第二个按钮，选择文件夹后，只处理单个文件的数据去重。
第三个按钮，选择文件夹后，所有文件夹内的文件对比去重，然后分割成100W每个文件保存在源文件目录下，因为超过100W我这打开很卡。
第四个按钮，选择文件夹后，所有文件夹内的文件对比去重，全部合并成一个文件夹。
当个小工具用还是挺不错的。



**** Hidden Message *****

qq2556906318 发表于 2025-1-27 20:21:04

看看看看看看看看看看看看

zxcasd123c1 发表于 2025-1-28 23:33:46

支持！！！！！！

q13129841235 发表于 2025-1-30 02:46:28

很给力。。。。很喜欢

SDS 发表于 2025-1-31 05:59:10

非常不错，感谢分享！

Hacker 发表于 2025-2-1 09:11:52

看帖子的要发表下看法

zdf517593902 发表于 2025-2-1 09:31:55

人设人阿松大

zxx736 发表于 2025-2-1 09:51:58

感谢您的无私精神...

呵呵 发表于 2025-2-1 10:12:01

路过还不错

莫天浩 发表于 2025-2-1 10:32:05

非常不错，感谢分享！
页: [1] 2 3 4 5 6
查看完整版本: PY哈希去重TXT文件源码分享