Python读取大文件的＂坑“与内存占用检测(2)

当前位置:

首页 > Python基础教程 >

Python读取大文件的＂坑“与内存占用检测(2)

3.内存检测工具的介绍

对于python代码的内存占用问题，对于代码进行内存监控十分必要。这里笔者这里推荐两个小工具来检测python代码的内存占用。

####memory_profiler

首先先用pip安装memory_profiler

1	`pip` `install` `memory_profiler`

memory_profiler是利用python的装饰器工作的，所以我们需要在进行测试的函数上添加装饰器。

from hashlib import sha1

import sys

@profile

def my_func():

    sha1Obj = sha1()

    with open(sys.argv[1], 'rb') as f:

        while True:

            buf = f.read(10 * 1024 * 1024)

            if buf:

                sha1Obj.update(buf)

            else:

                break

    print(sha1Obj.hexdigest())

if __name__ == '__main__':

    my_func()

之后在运行代码时加上** -m memory_profiler**

就可以了解函数每一步代码的内存占用了

加载中...

guppy

依样画葫芦，仍然是通过pip先安装guppy

1	`pip` `install` `guppy`

之后可以在代码之中利用guppy直接打印出对应各种python类型（list、tuple、dict等）分别创建了多少对象，占用了多少内存。

from guppy import hpy

import sys

def my_func():

    mem = hpy()

    with open(sys.argv[1], 'rb') as f:

        while True:

            buf = f.read(10 * 1024 * 1024)

            if buf:

                print(mem.heap())

            else:

                break

栏目列表