【生意多】-免费发布分类信息
当前位置: 首页 » 新闻 » IT资讯 » 正文

谷歌GPU云计算平台免费又好用

放大字体  缩小字体 发布日期:2020-09-13 10:53:29    浏览次数:4
导读

  最近一直在为深度学习模型训练而苦恼,NVIDIA GTX 960、2G显存,即使是跑迁移学习的模型,也慢的要死,训练过程中电脑还基本上动不了。曾考虑升级显卡,但当时买的是品牌机,可扩展性很差,必须要买一台新的主机。到京东上瞧了一下,RTX 2080 TI显卡的游戏主机,差不多需要两万,更别说那些支持多路显卡的深度学习主机

  最近一直在为深度学习模型训练而苦恼,NVIDIA GTX 960、2G显存,即使是跑迁移学习的模型,也慢的要死,训练过程中电脑还基本上动不了。曾考虑升级显卡,但当时买的是品牌机,可扩展性很差,必须要买一台新的主机。到京东上瞧了一下,RTX 2080 TI显卡的游戏主机,差不多需要两万,更别说那些支持多路显卡的深度学习主机。无奈之下,只好尝试一下谷歌的GPU云计算平台。谷歌的GPU云计算平台并不是新鲜事物,我在去年就写过关于它的两篇文章:

  这意味着我们自行安装的库,比如Keras,在虚拟机重启之后,就会被复原。为了能够持久保存数据,我们可以借助Google Drive。还记得我们之前为了挂载Google Drive所做的操作吗?这也同样意味着重启之后,要使用Google Drive,又要把上面的步骤执行一遍。更糟糕的是,不仅仅是虚拟机重启会这样,在Google Colab的会话断掉之后也会这样,而Google Colab的会线小时。

  在Google Colab上安装软件特别快,毕竟主机运行在国外,所以不管是pip安装python软件包,还是用apt安装ubuntu安装包,都是飞快。只要我们把软件安装的命令保存下来,下次再运行就是点点鼠标的事情。

  Google提供了非常简单的脚本来挂载Google Drive,虽然仍然需要授权过程,但过程简化了许多。而且经过这几天的试用,即使重启runtime,也不需要重新挂载。

  Google Colab的硬件经过大幅升级,加上我们最多的是进行迁移学习的模型训练,这个训练量比起从头训练要小的多,也就是说我们通常并不需要在Google Colab上训练超过12小时。

  下面我就以识狗君这个小应用 (请参考:说说如何在Google Colab上进行深度学习模型的训练。在这篇文章中你将学会:

  在顶部的菜单选择代码执行程序⇨更改运行时类型,在笔记本设置⇨硬件加速器,选择GPU。这里还有一个TPU的选项,但是尝试后,发现并没有什么效果,后续再研究。

  运行后会出现一个链接,点击链接,进行授权,可以得到授权码,粘帖到框框中,然后回车,就可以完成挂载,是不是很方便?

  挂载之后,Google云端硬盘的内容就位于/content/gdrive/My Drive/下,我在Colab Notebooks下建立了一个AIDog的目录作为项目文件夹,将当前目录切换到该文件夹,方便后续的操作。

  图片文件按照类别分目录组织,我们可以手动将数据集划分为训练数据集和验证数据集,因为图片数量比较多,我们可以选择10%作为验证数据集:

  我们可以在inception v3的基础上进行迁移学习,保留除输出层之外所有层的结构,然后增加一个softmax层:

  接下来喂入dataset,进行训练,需要注意的是,Google的官方文档上的示例对ds做了一个shuffle的操作,但在实际运行中,这个操作特别占用内存,其实在前面的代码中,我们已经对Images文件的加载做了shuffle处理,所以这里其实不用额外做一次shuffle:

  在Google Colab上训练,一个epoch只需要一分多钟,经过实验,差不多10个epoch,验证数据集的精度就可以趋于稳定,所以整个过程大约十几分钟,远远低于系统限制的十二个小时。

  至此,整个过程完毕,训练出的模型保存于model_path,我们可以下载下来,用于狗狗识别。

  。通过Jupyter Notebook,我们可以交互式的运行python脚本,然而对于复杂的python脚本,我们通常会编写python文件,甚至编写python模块,组合成应用。本篇我们将演示如何在Google Colab上执行python文件,克隆github项目,进行深度学习......

  实验内容: 通过对具体的文件存储空间的管理、文件的物理结构、目录结构和文件操作的实现,加深对文件系统内部功能和实现过程的理解。 要求: 1.在内存中开辟一个虚拟磁盘空间作为文件存储器,在其上实现一个简

 
关键词: google云计算
(文/小编)
打赏
免责声明
• 
本文为小编原创作品,作者: 小编。欢迎转载,转载请注明原文出处:https://www.31duo.com/news/show-532466.html 。本文仅代表作者个人观点,本站未对其内容进行核实,请读者仅做参考,如若文中涉及有违公德、触犯法律的内容,一经发现,立即删除,作者需自行承担相应责任。涉及到版权或其他问题,请及时联系我们。
 

(c)2016-2019 31DUO.COM All Rights Reserved浙ICP备19001410号-4

浙ICP备19001410号-4