Python在数亿级数据集中查找某个元素是否存在解决方案

Python在数亿级数据集中查找某个元素是否存在解决方案？

我用python+txt处理过1.7亿条数据，压力不算特别大，可以接受。

有几点要注意：

1、不要用python写循环，1.7亿的循环跑到你电脑没电。

2、多用pandas和numpy，用他们自带的查找方法。

3、如果内存不够，pandas.readcsv时要用 iterator，当然这时分线程意义也不大了，因为你的瓶颈是IO。

声明：本文内容由网友自发贡献，本站不承担相应法律责任。对本内容有异议或投诉，请联系2913721942#qq.com核实处理，我们将尽快回复您，谢谢合作！