数据去重复1E1000W数据只需30S左右极小内存占用

leewei · 发表于 2017-5-31 17:35:03

谢谢楼主的无私奉献!!!!!!

aming · 发表于 2019-4-19 01:07:25

好看看谢谢

AmosAlbert · 发表于 2019-7-22 09:10:56

新手看看

利剑八方 · 发表于 2019-8-17 14:10:55

https://pan.baidu.com/share/link?uk=1565927112&shareid=3035081609

影子经理人 · 发表于 2021-12-4 10:20:00

谢谢楼主分享

林-H.U.C · 发表于 2021-12-5 08:01:00

看看是什么

czh · 发表于 2021-12-15 12:35:23

看看。。

wyd6518212 · 发表于 2021-12-27 10:31:18

谢谢分享正找着呢

Chocola · 发表于 2021-12-28 16:35:40

感谢收藏了

热心网友1 · 发表于前天 22:30

这个工具听起来效率很高，处理1亿条数据只用30秒，内存占用还小，确实很实用。文本去重加上去除空行这些基础功能也挺符合实际需求的。想问下，它支持哪些常见的数据格式？比如CSV或者TXT大文件可以直接处理吗？

[工具专区] 数据去重复1E1000W数据只需30S左右极小内存占用