<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[wj113149的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/wj113149</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; wj113149]]></copyright><item><title><![CDATA[热点可以连接，网络无法连接]]></title><link>https://blog.youkuaiyun.com/wj113149/article/details/129290618</link><guid>https://blog.youkuaiyun.com/wj113149/article/details/129290618</guid><author>wj113149</author><pubDate>Wed, 01 Mar 2023 21:48:54 +0800</pubDate><description><![CDATA[网络突然出现无法连接]]></description><category></category></item><item><title><![CDATA[知识蒸馏（总结篇）]]></title><link>https://blog.youkuaiyun.com/wj113149/article/details/116142902</link><guid>https://blog.youkuaiyun.com/wj113149/article/details/116142902</guid><author>wj113149</author><pubDate>Fri, 09 Jul 2021 08:59:57 +0800</pubDate><description><![CDATA[知识蒸馏 （Knowledge Distillation）综述
目录知识蒸馏 （Knowledge Distillation）综述0. 导向1.下面将对知识蒸馏做全面的综述性介绍
0. 导向
关于轻量化网络，目前来说，大致可分成两大块：基于网络架构本身的设计和对模型进行压缩，我自觉网络架构本身设计难于上青天，这块都是Google大佬，facebook大佬等走在最前沿，比如使用NAS的方法去自动寻找对应任务的网络架构，嗯，听起来很玄学。整个轻量型网络目前来说有下面主要工作，直接上图

科学理论只有联系实际才能]]></description><category></category></item><item><title><![CDATA[Transformer在细粒度分类上的应用]]></title><link>https://blog.youkuaiyun.com/wj113149/article/details/115219022</link><guid>https://blog.youkuaiyun.com/wj113149/article/details/115219022</guid><author>wj113149</author><pubDate>Tue, 30 Mar 2021 21:24:19 +0800</pubDate><description><![CDATA[TransFG ：Transformer在细粒度分类上的应用一级目录二级目录三级目录
一级目录
二级目录
三级目录

]]></description><category></category></item><item><title><![CDATA[ENAS]]></title><link>https://blog.youkuaiyun.com/wj113149/article/details/111319692</link><guid>https://blog.youkuaiyun.com/wj113149/article/details/111319692</guid><author>wj113149</author><pubDate>Thu, 17 Dec 2020 17:36:22 +0800</pubDate><description><![CDATA[Efficient Neural Architecture Search via Parameter Sharing
摘要：高效的神经结构搜索(ENAS)，一种快速和廉价的自动模型设计方法


过程：

控制器通过在大型计算图中搜索最优子图来发现神经网络体系结构

用策略梯度(policy gradient）训练控制器，以选择一个子图，使验证集上的期望回馈最大化。
同时，训练对应于所选子图的模型，以最小化典型交叉熵损失。





效果：

在子模型之间共享参数使ENAS能够提供强大的经验性能，同时使用比现]]></description><category></category></item></channel></rss>