首页后端开发Python如何用python快速读取几G以上的大文件

如何用python快速读取几G以上的大文件

时间2023-06-04 22:07:02发布访客分类Python浏览1048
导读:如何用python快速读取几G以上的大文件?如果你没那么大的内存 解决方法有几个:使用swap 一次性read( 读取系统层面分割大文件为数个小于系统内存的小文件,分别读取使用python 按数据大小逐块读取,使用完数据即释放该部分内存:w...

如何用python快速读取几G以上的大文件?

如果你没那么大的内存 解决方法有几个:

使用swap 一次性read()读取

系统层面分割大文件为数个小于系统内存的小文件,分别读取

使用python 按数据大小逐块读取,使用完数据即释放该部分内存:

while True: chunk_data = file_object.read(chunk_size) if not chunk_data: break yield chunk_data

声明:本文内容由网友自发贡献,本站不承担相应法律责任。对本内容有异议或投诉,请联系2913721942#qq.com核实处理,我们将尽快回复您,谢谢合作!


若转载请注明出处: 如何用python快速读取几G以上的大文件
本文地址: https://pptw.com/jishu/61662.html
udp可以远程执行cmd命令吗 列表之间不可以嵌套使用吗

游客 回复需填写必要信息