- 博客(3)
- 收藏
- 关注
RSS订阅原创 大模型轻量化技术调研
量化蒸馏该部分在深度方面进行复合压缩，提炼出一个较浅的student-model，使其精度和较深的teacher-model相似利用蒸馏损失来训练一个量化的学生网络。它的目标是利用蒸馏损失在训练过程中，通过将蒸馏损失（相对于教师网络）结合到一个较小的学生网络的训练中，来压缩学生网络的权重。这种方法使用投影梯度下降，在全精度训练中进行梯度下降步骤，然后将新参数投影到有效解集合中。在每次投影步骤中，累积误差累积到下一步的梯度中。可微量化。
2023-04-07 15:36:16
1961
1
原创 OPENNE框架搭建过程
OPENNE框架搭建过程前言搭建过程Windows or Linux？python2.7 or python3？关于第三方模块ModuleNotFoundError: No module named 'XXX'的解决方法ImportError: cannot import name 'XXX'的解决方法结语前言最近在学习基于网络表示学习，用到了清华大学的框架OpenNe，因为经验缺乏，前段时间事情繁忙，没有跑起来。这两天又开始尝试，遇到了不少的问题，更更改改，算是初步跑出来了。搭建过程Windows
2020-05-10 22:52:27
808
原创 Android Studio 连接夜神模拟器的详细步骤
@ Android Studio 连接夜神模拟器的详细步骤第一次写博客，最近开始学习Android Studio，准备用博客记录下遇到的问题。我遇到的第一个问题就是Android Studio连接模拟器，由于Android Studio自带的虚拟器怎么都用不了，我就换成了夜神模拟器。检查adb工具在cmd中输入adb，如果没有出现adb信息，则是adb工具没有安装。一般下载Androi...
2020-01-31 17:40:27
2732
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人