Window系统显存不足时利用共享内存继续运行

Window系统显存不足时利用共享内存继续运行

存在问题

在进行实验过程中,时常碰到显存不足的问题,此时要么需要减小模型体积,要么减小batch-size大小,但这势必会对结果造成一定影响,此时我们可以使用GPU共享内存的方法来扩充显存。

解决方法

GPU有几个重要参数,GPU显存,GPU内存,其中GPU显存是实打实的显存,显存越大,意味着可运行的模型体积越大,所处理的数据量也就越大。而GPU内存=GPU显存+GPU共享内存,GPU共享内存是指在显存不足时,可以调度一定的内存来填充显存,以保证软件正常运行。

而在我们进行实验过程中,如果遇到显存不足的情况,就会报错显存溢出,从而终止运行,那么我们就可以考虑使用GPU的共享内存来继续保证程序运行,但需要注意的是这势必会使模型运行速度变慢。

但在有些情况下,我们只需要模型能够正常运行而不考虑它的运行速度,那么此时共享内存的作用便展现出来了。

事实上,这项技术是Window系统所专有的,此外,这个使用内存来充当显存的方法也是Nvida在最近的驱动中所提供的。

1.更新驱动

前面以及说了,这项功能是Nvidia最新的驱动中所提供的,在驱动程序 536.40 中,其实现了一种新方法,允许应用程序在耗尽 GPU 内存的情况下使用共享内存。这使得以前在 GPU 内存不足时崩溃的应用程序能够继续运行,尽管速度较低。当运行接近最大 GPU 内存以实现无缝转换时,会切换到使用共享内存。

这里我们为了方便,直接下载最新版本546.33。

可以去Nvidia官网下载,当然也可以直接在电脑的Nvidia设置中直接更新。这里博主就不再赘述了。

2.查找可执行文件

在更新驱动后,我们需要找到我们运行的exe文件,即当我们在运行python项目时的使用的是哪个python.exe文件。

我们可以通过打开任务管理器来查看运行的exe文件:

或者我们打开cmd控制台,输入nvidia-smi来查看当前显卡占用:

找到运行的exe文件后我们需要打开Nvida控制面板,在搜索中即可找到

3.修改配置

打开后按照如下步骤操作,事实上经过博主实验,在安装了最新的驱动后,不需要设置回退功能,即使用它默认的功能即可完GPU调用共享内存炼丹。

此时我们再次运行程序,将batch-size调大,此时就不会报显存溢出的错误了,打开任务管理器,可以看到我们的GPU内存已经跑满,同时共享内存也有占用:

总结

然而不幸的是,在使用了这种方式运行后,其虽然相当于扩充了显存,能够保证模型正常运行,但这也会造成运行速度大大减慢,博主在自己的程序上进行测试,速度差了十倍不止。

当然本身使用自己的笔记本完成所有实验也不太现实,因此这个方法能够帮助我们在本地调试程序就已经很不错了。

补充

先前只实验了一个模型,效果不太理想,后来在DN-DAB-Deformable-DETR模型的运行过程中,发现该模型此时已经占用了共享内存,但其速度还算可以,当然这也有其数据集较小的原因,只有7000多张图像,训练一个epoch大约花费40分钟左右,还是可以接受的。

相关风暴

发射一枚东风21D导弹,到底要多少钱?一枚就能击沉航母?
mobile365官方网站立即加入

发射一枚东风21D导弹,到底要多少钱?一枚就能击沉航母?

🌧️ 07-03 👁️ 116
DNF绝密区域在哪 dnf绝密区域在哪个位置
3658官方网

DNF绝密区域在哪 dnf绝密区域在哪个位置

🌧️ 07-18 👁️ 5283
DNF人偶大全 DNF人偶介绍大全
3658官方网

DNF人偶大全 DNF人偶介绍大全

🌧️ 07-04 👁️ 2875
美团 App 上线自研地图:用户可通过美食 / 交通 / 酒店等频道找到商户提供的服务