- 博客(42)
- 收藏
- 关注
RSS订阅原创 DeepSeek 损失函数、奖励函数、训练过程
LLM从2017年谷歌提出Transformer结构开始，通过堆叠transformer架构实现参数扩充。DeepSeek引起轰动的主要原因是突破了第三个障碍：在预训练阶段节省了内存，提高了训练效率。DeepSeek预训练是用的是对已经训练好的模型进行调整和优化，提高推理任务的准确性，在计算资源上要求比较少。知识蒸馏：蒸馏与微调的区别在于数据来源不同。微调：额外标注的数据集（人工标注或合成）蒸馏：教师模型提供的知识，让学生模型逼近教师模型。
2025-02-27 15:38:57
829
1
原创 Lesson 17 Reinforcement Learning(RL)
听课（李宏毅老师的）笔记，方便梳理框架，以作复习之用。本节课主要讲了强化学习Reinforcement Learning(RL).
2025-01-01 20:39:47
926
原创 Lesson 12 Self-supervised Learning for Speech and Image
听课（李宏毅老师的）笔记，方便梳理框架，以作复习之用。本节课主要讲了Self-supervised Learning for Speech and Image，之前Lesson 11是讲的将Self-supervised Learning用在自然语言处理上。
2025-01-01 20:38:51
826
原创 Lesson 11 Self-supervised Learning for NLP: Bert+GPT
听课（李宏毅老师的）笔记，方便梳理框架，以作复习之用。本节课主要以Bert和GPT为例，讲授了self-supervised learning for NLP相关内容。
2024-10-21 18:42:43
859
原创 Lesson 18 Network Compression
听课（李宏毅老师的）笔记，方便梳理框架，以作复习之用。本节课主要讲了Network Compression，包括为什么要压缩，压缩的主要手段（pruning,knowledge distillation,parameter quantization,architecture design,dynamic computation）
2024-05-14 21:01:47
681
原创 Lesson 9 Transformer
听课（李宏毅老师的）笔记，方便梳理框架，以作复习之用。本节课主要讲了seq2seq model简介，以及应用，架构（包括encoder和decoder，encoder和decoder之间如何协作），怎样训练transformer，train 时的一些tips。
2024-04-02 22:01:57
996
2
原创 Lesson 8 Batch Normalization
听课（李宏毅老师的）笔记，方便梳理框架，以作复习之用。本节课主要讲了batch normalization是什么，为什么要用batch normalization，是用来解决什么问题的，以及batch normalization在测试和训练上不同的计算方法。
2024-04-01 21:29:33
578
原创 Lesson 7 Self-attention
听课（李宏毅老师的）笔记，方便梳理框架，以作复习之用。本节课主要讲了self-attention的输入输出，内部架构和工作流程计算方法，以及介绍了更高阶的self-attention——muli-head self-attention，还有位置编码，self-attention的应用以及与其他网络的对比。
2024-04-01 16:57:16
889
原创 Lesson 6 Convolutional Neural Network(CNN)
听课（李宏毅老师的）笔记，方便梳理框架，以作复习之用。本节课主要讲了CNN的适用范围，整体架构与工作流程，CNN的应用，CNN的缺点以及解决方法。
2024-03-09 16:07:08
814
原创 Lesson 5 Classification(short version)
听课（李宏毅老师的）笔记，方便梳理框架，以作复习之用。本节课主要讲了回归和分类的区别，分类的过程，分类的损失函数。这节课比较简短。
2024-03-09 13:45:28
376
原创 Lesson 4 adaptive learning rate
听课（李宏毅老师的）笔记，方便梳理框架，以作复习之用。本节课主要讲了变化学习率的必要性，几种变化学习率，加入Momentum的Optimization。
2024-03-05 11:06:35
308
原创 Lesson 3 when gradient is small
听课（李宏毅老师的）笔记，方便梳理框架，以作复习之用。本节课主要讲了优化失败的原因，batch大小对训练的影响，使用Momentum方法来解决梯度下降时无法逃离critical point的现象。
2024-03-04 11:43:42
394
1
原创 Lesson 1 introduction of machine /deep learning
听课（李宏毅老师的）笔记，方便梳理框架，以作复习之用。本节课主要介绍了什么是机器学习，机器学习的类型和流程，用一个现实中的例子详细地展示了整个工作流程。
2024-03-01 14:06:29
450
原创 Lesson 2 what to do if your network fails to train
听课（李宏毅老师的）笔记，方便梳理框架，以作复习之用。本节课主要讲了遇到模型训练结果不好的时候该怎么快速判断哪里出了问题，以及部分的应对方法。
2024-02-28 11:41:30
361
原创 计网实验七：应用层协议服务配置（DNS,HTTP,FTP）
一.实验要求1.配置DNS服务器2.HTTP服务器（可以用配置Tomcat 替代，需要能进入管理界面，即点击"Manager App"图标后能正常跳转到另一个界面）3.配置FTP服务器二.实验过程1.下载VMware我是用的VMware WorkStation Pro 16.2.3VMware官网下了之后别乱动，先下镜像2.下载镜像我用的是windows server 2019不知道是不是官网，反正下得挺慢的3.新建虚拟机按照这篇文章来新建虚拟机我在安装过程中出现过全是黑屏，或者
2022-05-27 10:46:35
2582
原创 java期末大作业：记事本
一.实验要求二.设计界面1.主界面Notepad.fxml2.查找与替换界面Find.fxml3.字体界面Font.fxml三.主要功能1.文件操作1.1新建文件 //文件新建 @FXML void OnActionNew(ActionEvent event) throws FileNotFoundException, IOException, InterruptedException { //没保存的话要保存 if(!isSaved) RequireSave
2022-05-20 20:22:32
1870
1
原创 计网实验六：分别基于 TCP 和 UDP 协议，利用 Socket API 实现网上点对点通信在客户端
TCP一.实验要求1.传输文件在客户端，用户选择本地的某个文件，并发送到服务器端。在服务器端，接收客户端传输的数据流，并按 IP 地址保存在服务器端（文件名重复的，可以覆盖）。2.中断处理（还没做）如果传输过程中服务器端发现客户端断开，服务器端应删除文件，并在屏幕上提示，如“IP：1.2.3.4 发来 abcd.txt 文件过程中失去连接。”。如果客户端发现服务器端不工作，客户端应有提示“服务器 1.2.3.5:62345 失去连接”。二.实验步骤1.创建server端如果报错的话自
2022-05-12 22:59:50
2152
原创 java实验：设计图形用户界面，用顺序存取文件方式分别完成新增、删除、修改、查询、显示功能（excel）
要用excel，必须先导入jxl包，上一篇有讲，给个传送门一.实验要求设计图形用户界面，用顺序存取文件方式分别完成新增、删除、修改、查询、显示功能：新增：让用户能输入学生的信息（学号、姓名、电话、邮箱信息），检查无误后将数据存入文本文件；删除：删除正在显示的学生信息；修改：修改正在显示的一条学生信息，修改后可保存至文本文件；查询：让用户输入姓名，一条条显示查询到的学生信息（借助“下一条”、“上一条”按钮查看下一条和上一条数据）。显示：显示文件中存储的所有学生信息（借助“下一条”、“上一条”按钮
2022-05-11 20:56:31
2219
1
原创 Error occurred during initialization of boot layer java.lang.module.FindException: Module not found
建立javafx project产生错误一.发现问题之前建立javafx project都好好的，今天突然给我报这个错误二.查资料无果查了很多资料，有说把module删掉的，我删掉又报找不到主类的错就很离谱其实之前也出过这样的错误，但是我当时没有记录，也不记得自己咋解决的，今天又遇到，搞了一节课都没搞好（草，暴露我上课不听讲了）三.灵光一现换个工程名我就把工程名换成全英文，就好了！！！！（我的工程名叫做实验十一题二，我完全没想到是这里出错了，因为我之前建立过一个工程叫做实验十一题一，就没
2022-05-10 17:52:26
7202
6
原创 java实验：读写excel文件（使用jxl.jar）
一.导入jxl.jar文件1.下载jxl.jar要使用writableworkbook这些类，要先下载jxl.jar包，并且配置classpath下载jxl.jar包看着还以为这网站有病毒呢，结果居然没有垃圾捆绑软件和病毒，我谢谢了2.导入jxl.jar包跟着百度学导入好吗3.导入后没报错了二.写excel文件/** * @author xuchi * 2022年5月7日 */public class Main { /** * @param args * @thro
2022-05-07 18:56:13
3798
2
原创 计算机网络实验五： CISCO IOS 路由器基本配置（静态路由，动态路由，VLAN）
计网实验的痛苦……为了写csdn还得再经历一遍一.静态路由配置1. 连接路由器和交换机1.1总体1.2局部1.2.1RouterA左边这条线，f0/1连1900switch的E0/1右边这条线，f0/0连2950的f0/1S0/0选择dce端口连routerB的S0/11.2.2 RouterB自己看2.设置命令，配置静态路由2.1配置静态路由之前的操作2.1.1配置RouterA分别对三个端口：f0/0,f0/1,s0/0进行配置配置完成之后用show ip rout
2022-04-29 11:30:14
4620
2
原创 计算机组成原理实验：寄存器文件电路
有的人说写完了实验才让我涨粉丝。。我这不就连肝两篇。。实验要求实现总体电路图实验步骤R0=0的那个很好实现，就是把第0个寄存器的输入改成常量，不参加译码器的选择就行。寄存器的左边：输入的控制输入的W#为译码器的选择端，通过W#选择要写哪个寄存器。但是光选择了这个寄存器还不够，还得让WE为1，这时才会写进寄存器，所以要用与门寄存器的右边：输出的控制右边用多路选择器，选择端为R1#和R2#,分别对应RD1和RD2。他们的值将决定那个寄存器将被读，并且显示。验证...
2022-04-20 21:05:11
1087
原创 计算机组成原理实验：存储器扩展电路（使用译码器）
计组再难也要记住我是一生要强的中国女人……实验要求实现总体电路图实验步骤搭建基本框架实验要求里写了给7个16KB×32位，4个4KB×32位，而我们需要容量为16K×256位的。分析分析就是把4个4KB的弄在一起，假装是个16KB的。简单计算一下，16KB的要14位，4KB的要12位，剩下的两位地址要作为片选信号。将14位地址利用分线器分成2位片选信号和12位地址高两位输出到译码器的选择端，用于输出片选信号高两位是00：第一条路为1，选择第一片01：第二条路为1，选择第二
2022-04-20 20:34:40
4630
1
原创 数据库实验四：数据高级查询
真给我整无语了，数据库实验怎么这么多，要考试还要写实验。写写写，写他娘的什么东西。实验内容实现查询ps:实验要求用两种方法写的我除了union都是用的两种方法写，union查了好久都查不到，或许有人知道union的平替嘛请教一下大家创建两张表 palette_a 和 palette_b（结构相同，但表名不同，color 为颜色）CREATE TABLE palette_a(id INT PRIMARY KEY,color VARCHAR2(100) NOT NULL);CREA
2022-04-19 22:17:19
2300
2
原创 计算机网络实验：用 WinPCAP 监听并解析 FTP 命令和捕获TCP握手包和挥手包
实验要求：在网上扒了一段代码，然后自己又添了一点，明个就要验收了，没做完嘻嘻。上实验课的时候再完善一下子。#define WIN32#include<iostream>#include<sstream>#include<string>#include<map>#include<fstream>#include <pcap.h>#pragma warning(disable:4996)using name
2022-04-14 22:48:09
4027
5
原创 计算机组成原理6位补码阵列乘法器
计组这个实验真给我整emo了呜呜呜实验要求：实现六位补码阵列乘法器，并且保证特殊条件下的运算结果正常特殊条件话不多说先上电路图一步一步来解释！！！普通情况（都是正数，都是负数，一正一负）X和Y都是正数或都是负数都是正数，就先把符号位去了，把绝对值输入进5位阵列乘法器。都是负数，就先把XY送进求补器，得到的就是X和Y的绝对值，然后输入进5位阵列乘法器。这部分电路为这里顺便解释一下求补器的工作效果求补器输入：100101求补器输出：011011我一开始很迷惑这啥啊不是在求补吗
2022-04-13 19:06:53
18388
17
原创 网络抓包工具wireshark的使用
wireshark的使用第一步：点击这个wlan第二步：在这里输入条件比如ip.dis==你想要查找的目标ip地址然后就会显示所有符合条件的目标ip的报文。
2022-04-10 11:04:46
492
原创 计算机组成原理5位无符号阵列乘法器
计算机组成原理5位无符号阵列乘法器话说我们学校上课是讲的啥啊根本听不懂、、、是我理解能力不行好吧，只能自己下来再努力上网找资料学习。今天咱就是说来浅浅学习一下5位无符号阵列乘法器。首先上电路图很好，又看不懂。没关系！我可以的！！！找遍全网也看不到讲这个的可恶啊但是咱就是说不要放弃，我终于在一篇博客里面发现了一个讲这个的慕课链接，分享一下。计算机硬件系统设计里面还有个群可以加，加了才发现群主竟然是谭志虎（笑），感觉自己追星成功哈哈哈 群号：957283876好了咱说回这个这玩意儿看着真复杂，但
2022-04-09 21:19:49
11614
8
原创 计算机组成原理32位快速加法器
计算机组成原理32位快速加法器先看电路图！很显然，又看不懂先从简单的开始分析!好！就决定是你了！4位快速加法器！！！先仔细看一下4位快速加法器的输入输出这个X0和Y0是啥？？？我们先看4位快速加法器的内部构造嗷，就是要算的四位数字嘛，只不过我们没把这个X0分开写成x0 x1 x2 x3而已。验证一下，在32位加法运算器中一共有8个X，每个X其实代表四位数字，那么一共有32位，正好所以4位加法器下面的两根线搞清楚了，其实是输入了两个4位数字那么右边那个是什么？很明显啦，就是低位的
2022-04-09 18:40:17
11701
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人