- 博客(18)
- 收藏
- 关注
RSS订阅原创 大模型代码debug技巧记录
经常会遇到的一个问题，就是与路径调用相关的问题，因为当前跑代码的ipynb文件与所希望调用的py文件往往不是在同一层的目录下，所有，我们需要再sys.path中加入需要的目录，所以此时应当加入。：当我们在调用的包涉及到子目录中的py文件中的类或者函数，【此时我们想更改这些文件，并且同时希望保持当ipynb文件在调用的时候，可以保持最新的py文件库】一般来说不会去改transformer，但是有时候问题在这里也是需要改变的。在import所有的库之前，加入上述三行的代码，从而可以实现更新。
2025-01-09 16:27:57
222
原创 BatchNorm和LayerNorm的理解
其中提到，在pytorch中，layernorm使用的是instancenorm的含义，就是在layernorm的层次上，更加的细化到token的维度次去标准化了。参考资料：https://blog.youkuaiyun.com/Little_White_9/article/details/123345062。也可以说是使得选取的部分的数据在同一个分布下（数据之间是可比），对该部分数据进行标准化。在入门大模型阶段，遇到了一个经典的问题，nlp中使用的是batchnorm还是layernorm。
2024-01-02 18:03:56
489
原创 python处理中文简体繁体字转换 安装使用opencc
在使用Whisper进行推理时，发现对于中文音频返回的结果部分是繁体字，查找了whisper选取的language选项，其中只有chinese选项，并不区分简体和繁体字的区别，所以在返回的结果进行简体字转换。在次记录对于opencc的使用，查看其官方文档，在这里介绍繁体转换为简体的具体代码。下载opencc。在terminal中输入如下命令进行繁体到简体的转换，转换时，将我们需要的繁体字替换下文中的 ‘漢字‘’ 即可。其他形式的转换类似，查看官方文档更改选项即可。
2023-12-26 17:14:33
926
1
原创 Tmux入门-使用方法
使用场景：使用ssh连接远程服务器进行机器学习训练等比较耗时的程序时，为防止本地网络不稳定，导致ssh连接不稳定，从而使得之前的训练都前功尽弃，这个时候，我们可以使用tmux，这样即使我们的网络断开连接，程序依然会在服务器运行。这个的作用就是当我们处于终端的界面时，我们想接入之前生成的会话，这里我们就可以使用这个指令。他的作用就是会话和终端窗口解绑，从而使得终端窗口关闭，会话中的进程依然会继续运行。这个的意思就是从tmux进入的会话的界面恢复到终端窗口的界面。这样我们就回到了终端terminal的界面。
2023-04-21 10:49:27
825
原创 python 使用os.path.join对文件夹中的文件进行循环遍历读取
join函数的用到的地方还有很多， 此处记录一下关于os.path.join()应用于遍历路径。举个例子，在当前路径的test文件夹中存在着。使用os.path.join()函数。
2023-03-24 20:58:47
3308
原创 西电《网络空间安全数学基础》 网安数基
西电网络安全数学基础（网安数基）本系列文章将以本人的理解来讲述这么课程，本课程共分为12章节。课程分两位老师讲解，第一位老师讲课很是有趣，并且在带着学生学知识，但是我说实话，有一些比较困难的的东西有点难听懂。并且老师对于考试的考察也比较灵活。第二位老师讲课也是比较有趣的，但是第二部分的内容我感觉整体上是难度高于第一部分的，而且课程的知识量变多了，也挺难的，基本都是自己自学了............
2022-07-03 17:40:09
4521
原创 括号匹配c语言
括号匹配 C语言：提示：这里简述题目题目来自Leetcode中国给定一个只包括 (，)，{，}，[，] 的字符串，判断字符串是否有效。有效字符串需满足：1、左括号必须用相同类型的右括号闭合。2、左括号必须以正确的顺序闭合。注意空字符串可被认为是有效字符串。原因分析：这里我们用到了数据结构的栈，栈是一种后进先出的数据结构，我们可以这样理解这个问题，当我们输入左括号时，我们将其压入栈中，当我们输入右括号时，如果与栈顶的左括号匹配，则将栈顶的左括号出栈，（不论如何变换，如果是一个可以匹
2021-10-13 15:14:52
1684
原创 小白 【详解】C语言 多项式加减法 数据结构：单链表
小白 【详解】C语言 多项式加减法 数据结构：单链表最近学习了链表，老师布置的大作业，开始也不清楚从哪里入手，想着在网上找到一些解析，发现网上没有适合一个小白的对于多项式加减法的详细的解析，刚刚写出了多项式加减法，于是想着尝试一下写一篇csdn的帖子，本文主要讲解其中的代码的以及思路，希望也可以和小伙伴们沟通交流，并且如果有问题，希望可以指出。问题描述：给定两个多项式，求解其和与差。多项式的项数为M，而最高幂次为N。（1<=M<=10，1<=N<=1000000）输入
2021-09-30 22:38:43
4503
7
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人