PY哈希去重TXT文件源码分享

传世魔王 · 发表于 2025-1-26 17:08:22

马上注册，结交更多易友，享用更多功能，让你轻松玩转觅风论坛。

您需要登录才可以下载或查看，没有账号？立即注册

x

我让他写的是亿级数据的处理，我自己测试千万的数据。速度还挺快，当然还能更快，但我让他用不会丢失数据的写法写的。
下面的功能都是按我自己的需求写的，你们也可以自己改，注意一下这处理的是单行数据
第一个按钮，单文件去重。
第二个按钮，选择文件夹后，只处理单个文件的数据去重。
第三个按钮，选择文件夹后，所有文件夹内的文件对比去重，然后分割成100W每个文件保存在源文件目录下，因为超过100W我这打开很卡。
第四个按钮，选择文件夹后，所有文件夹内的文件对比去重，全部合并成一个文件夹。
当个小工具用还是挺不错的。

游客，如果您要查看本帖隐藏内容请回复

qq2556906318 · 发表于 2025-1-27 20:21:04

看看看看看看看看看看看看

zxcasd123c1 · 发表于 2025-1-28 23:33:46

支持！！！！！！

q13129841235 · 发表于 2025-1-30 02:46:28

很给力。。。。很喜欢

SDS · 发表于 2025-1-31 05:59:10

非常不错，感谢分享！

Hacker · 发表于 2025-2-1 09:11:52

看帖子的要发表下看法

zdf517593902 · 发表于 2025-2-1 09:31:55

人设人阿松大

zxx736 · 发表于 2025-2-1 09:51:58

感谢您的无私精神...

呵呵 · 发表于 2025-2-1 10:12:01

路过还不错

莫天浩 · 发表于 2025-2-1 10:32:05

非常不错，感谢分享！

易语言5.6完美版，可静态编译，绿色无后门

[源码] PY哈希去重TXT文件源码分享

马上注册，结交更多易友，享用更多功能，让你轻松玩转觅风论坛。

精彩评论50

关注我们：觅风论坛与你快乐分享