ProxylessNAS: Direct Neural Architecture Search on Target Task and Hardware

[gaocegege]

https://arxiv.org/abs/1812.00332

https://github.com/MIT-HAN-LAB/ProxylessNAS

一作 https://han-cai.github.io/ 交大 ACM 班的

二作 http://lzhu.me/

[gaocegege]

https://www.jiqizhixin.com/articles/2018-12-07-8

这篇文章挺有参考价值的，idea 很有趣。机器之心文章里有一个地方写的不清楚比较影响阅读，DARTS 需要的不是内存是 GPU memory（显存）

文章值得关注的一个点，是它把硬件的 latency 用一个连续函数表示了一下，变得可微，然后作为 loss 进行了训练。但是文章中并没有看到 GPU 和 CPU 的 latency 函数到底是什么样子的

[gaocegege]

他跟 DARTS 等比较类似，都是重在 Suggestion 这边的 train，真正去 evaluate 的时候是不训练的，但是利用了文章里所说的，path binarization。这样降低了训练的成本。

[gaocegege]

https://www.zhihu.com/question/296404213/answer/547163236 值得一读

常见的 proxy

• 先在小数据集（CIFAR）上搜索，然后迁移到大数据集（imagenet）。
• 先搜索一个比较浅的网络，然后重复堆叠同样的结构单元来得到更深的网络。
• 只做训练少量 epoch （e.g. 5 epoch），然后就 validate。