这篇文章认为，NAS的主要时间消耗都放在了采样出来的网络的训练上面了，而直觉意义上的减少层数、分辨率、迭代次数不能保证精度与实际精度的一致性。事实上，把搜索过程中每一个子网络的训练配置当作参数的话，这篇文章的工作就是搜索出一种子网络训练方法，使得子网络的
很不幸，对于每一个bbb要计算它的目标函数都需要训练所有可能的模型结构G\mathcal{G}G，据某项研究表明，所有结构中采样100个，就能对一组参数配置bbb进行足够准确的评价。
但是即使是100个，每个训10h的话，评估一个bbb也要1000h。那下一步就要从采样哪些bbb、多少bbb上来做文章。这个时候就有以下两点原则：
基于以上原则，在一开始，文章先按与Flops负相关的方式独立决定了每个配置参数的独立采样概率，保证了Flops少的采样概率高。而后，对于采样到的部分配置样本集训练一个用于回归的随机森林。每个分点由一个参数和一个阈值确定。之后可以在森林里面计算出每个参数的重要程度，然后将最不重要的参数固定成最小值继续扩增样本。直到只有一个重要的参数为止。
文章用搜索出来的BPE去结合相关的NAS算法，时间快了很多。但是考虑到训练BPE也需要100GPU days，因此这个对比我个人觉得并不公平。另外，在进行不同任务、不同搜索域搜索时能不能迁移过去，我觉得还是需要讨论的。
文章还分析了BPE的预测结果与真实采样之间的相关性。对于越重要的参数，相关性是越高的，但是许多其他参数的线条就太平坦了，我觉得他这样的优化方法最后是不是就着重关心某两个参数了？
另外文章还讨论了one-shot网络方法。许多文章说one-shot的训练结果不能代表真实精度。文章则指出one-shot训练结果在全局相关性上差，但是在局部还行，所以就不稳定，很容易受到初始点什么的影响。
2、每个参数独立地按Flops进行采样，但是flops不能由单个参数决定，其他参数在这个时候起到什么作用
我的机器学习教程「美团」算法工程师带你入门机器学习 以及「三分钟系列」数据结构与算法已经开始更新了，欢迎大家订阅~这篇专栏整合了这几年的算法知识，简单易懂，也将是我实体书的BLOG版。欢迎大家扫码关注微信公众号「图灵的猫」，除了有更多AI、算法、Python相关文章分享，还有免费的SSR节点和外网学习资料。其他平台（微信/知乎/B站）也是同名「图灵的猫」，不要迷路哦~......
点我白嫖coursera疫情时期免费开放课，截止时间7月31日准备：首先要网上学科，把Http代理调整为全局模式，否则打不开网站qaq原理介绍为了方便用户记忆，我们将IP地址变成了一个个的域名，用户不需要去记复杂的数字IP，把这个工作交给了计算机来做。我们键入域名后，计算机来把域名转换成对应的IP。网络上的DNS（Domain Name Server）就是用来进行域名解析的。在GFW（墙）的几种封锁方式中，有一种就是DNS污染，GFW会对域名解析过程进行干扰，主机就无法获取资源。网页打不开和视频加...
绪论鄙人在使用Coursera学习吴恩达老师的ML时候，曾经碰到这样的问题：可以进入网页，但是无法浏览课程视频。同时，鄙人在使用维基百科的时候，出现了有些图片或者公式无法显示的问题。解决这两个问题的方法都可以归结于修改本地hosts文件。hosts文件的文件路径是：C:\WINDOWS\system32\drivers\etc似乎无法在hosts的原来文件夹中直接修改文件内容所以我一般是这样做的：1.将hosts文件复制到桌面2.鼠标右键hosts，选择“打开方式“
啊，最近迷上了摄影。于是在Coursera搜到了一个教授摄影的课程，无奈的是，视频居然打不开，很是绝望。所幸，在网上找到了解决办法，亲测有效。如下：step1.找到记事本，，鼠标右键，管理员身份打开。step2.在记事本内，ctrl+o 打开hosts 文件（右下角选择所有文件才能找到hosts）， 路径是C:\Windows\System32\drivers\etc ...
Coursera是国外的一款非常有名的公开课网站，值得大家一起学习，奈何“长城”太厚，经常被和谐，一些视频打不开，最近找到不用翻墙的方法，共享给大家。 找到记事本，，鼠标右键，管理员身份打开。 在记事本内，ctrl+o 打开hosts 文件（右下角选择所有文件才能找到hosts）， 路径是C:\Windows\System32\drivers\etc 在里面按照格式添加 ......
