认识达内从这里开始

认真做教育专心促就业

南宁达内培训网络架构搜索技术应用优势分析

发布：南宁达内it培训
来源：互联网
时间：2022-07-30 09:11

随着互联网的不断发展，越来越多的企业都在关注如何提高互联网网络效能等问题，下面我们就通过案例分析来简单了解一下，网络架构搜索技术应用优势分析。

南宁达内培训网络架构搜索技术应用优势分析

在设计低功耗计算机视觉程序时，针对不同的任务可能需要不同的DNN模型架构。但由于存在许多这种结构上的可能性，通过手工去设计一个佳DNN模型往往是困难的。好的办法就是将这个过程自动化，即网络架构搜索技术(NetworkArchitectureSearch)。

低功耗计算机视觉技术前沿-追求更小、更快、更高效低功耗计算机视觉技术前沿-追求更小、更快、更高效

NAS使用一个递归神经网络(RNN)作为控制器，并使用增强学习来构建候选的DNN架构。对这些候选DNN架构进行训练，然后使用验证集进行测试，测试结果作为奖励函数，用于优化控制器的下一个候选架构。

NASNet和AmoebaNet证明了NAS的有效性，它们通过架构搜索获得DNN模型能够获得SOTA性能。

为了获得针对移动设备有效的DNN模型，Tan等人提出了MNasNet，这个模型在控制器中使用了一个多目标奖励函数。

为了减少与NAS相关的计算成本，一些研究人员建议基于代理任务和奖励来搜索候选架构。例如在上面的例子中，我们不选用ImageNet，而用更小的数据集CIFAR-10。FBNet正是这样来处理的，其速度是MNasNet的420倍。但Cai等人表明，在代理任务上优化的DNN架构并不能保证在目标任务上是优的，为了克服基于代理的NAS解决方案所带来的局限性，他们提出了Proxyless-NAS，这种方法会使用路径级剪枝来减少候选架构的数量，并使用基于梯度的方法来处理延迟等目标。他们在300个GPU时内便找到了一个有效的架构。此外，一种称为单路径NAS(Single-PathNAS)的方法可以将架构搜索时间压缩到4个GPU时内，不过这种加速是以降低精度为代价的。

优点：NAS通过在所有可能的架构空间中进行搜索，而不需要任何人工干预，自动平衡准确性、内存和延迟之间的权衡。NAS能够在许多移动设备上实现准确性、能耗的佳性能。

缺点及改进方向：计算量太大，导致很难去搜索大型数据集上任务的架构。另外，要想找到满足性能需求的架构，必须对每个候选架构进行训练，并在目标设备上运行来生成奖励函数，这会导致较高的计算成本。其实，可以将候选DNN在数据的不同子集上进行并行训练，从而减少训练时间;从不同数据子集得到的梯度可以合并成一个经过训练的DNN。不过这种并行训练方法可能会导致较低的准确性。另一方面，在保持高收敛率的同时，利用自适应学习率可以提高准确性。

【免责声明】：本内容转载于网络，转载目的在于传递信息。文章内容为作者个人意见，本平台对文中陈述、观点保持中立，不对所包含内容的准确性、可靠性与完整性提供形式地保证。请读者仅作参考。更多内容请加danei0707学习了解。欢迎关注“达内在线”参与分销，赚更多好礼。

< 上一篇：南宁达内IT培训云网融合发展都需要关注哪些问题

下一篇：南宁达内IT培训产品设计与用户体验之间的关系分析 >