- 博客(504)
- 收藏
- 关注
RSS订阅
原创 Transformer Encoder-Decoer 结构回顾
本文基于对的理解，再重新回顾一下有关于auto-encoder、auto-regressive等常见概念，以及Transformer-based model的结构。
2022-12-02 12:12:12
7301
2
原创 overleaf使用指南以及最基本LaTeX语法回顾
本篇接上一篇，"LaTeX新手半小时速成手册（不速成你打我 "算是latex使用的一些拓展，连带介绍一下overleafoverleaf是一个非常方便的在线LaTeX编辑器：https://www.overleaf.com/begin新建账户绑定邮箱之后我们就可以进去新建一个project：如果你是为了写论文之类的那么可以upload一些会议的template如果是想要写笔记之类的，那么可以选择Blank或者example template一个非常重要的根本性概念需要告诉大家：LaTeX
2021-03-04 21:48:38
55033
11
原创 LaTeX新手半小时速成手册（不速成你打我
期末大作业LaTeX排版，一个学期没听课，学了b站半小时完成大作业。写此速成手册以作备忘。b站链接：小风寒呐1. primary一篇论文最主要的构成，以中文为例1.1 整体框架1.1.1 声明类相当于在说：“我想写一篇文章”\documentclass[UTF8]{ctexart}文章编码：UF8文章类型：中文1.1.2 导入包相当于在说：“我要开始写文章”\usepackage{mathtools,wallpaper}\usepackage{t1enc}\usepackag
2020-05-26 22:24:32
85573
21
原创 最火的几个全网络预训练模型梳理整合（BERT、ALBERT、XLNet详解）
过去两年可谓是NLP领域的高光年，自从18年BERT提出，狂刷了11项下游任务的记录之后，全网络预训练模型开启了NLP嵌入表示的新时代，真正意义上实现了自然语言处理的迁移学习。作为一个刚入坑没多久的白中白，真心感叹自己接触太晚，但是又愁于感天动地的英文阅读能力，再加上原论文有些语句的描述实在是晦涩难懂，在翻阅大量博客和视屏之后，总算花了一整天时间，把过去几年最火的几个模型原理大致梳理明白了。借此写一篇博客，虽然许多内容参考了其他blog,但也是经过自己消化理解，按照自己的思路罗列的。...
2020-03-15 20:11:49
13841
9
原创 pip freeze导出版本号取消“@ file” （python环境导出总结）
但是这两种方式导出的环境有一定缺陷，最好写成下面：可以移除prefix，即自己本地的anaconda地址，用于保护隐私，虽然这不影响别人安装2. pip:, pip默认会使用本地的缓存文件进行package安装，所以pip freeze的时候，那些使用本地缓存安装的包默认有，这样的话其他人就没办法用你的requirement.txt;而这里提供的这种写法可以让所有package都是版本号。
2024-12-13 14:24:12
549
原创 GPT4 multi-modal input, 使用GPT处理图像
调用API with images， 主要就是需要将图片转为base64编码流：
2024-10-16 23:02:06
426
原创 【搬运】OpenAI GPT模型之间的对比
openai 官方blog(最清楚)：https://platform.openai.com/docs/models其他：
2024-10-16 22:56:04
320
原创 Encoder-decoder 与Decoder-only 模型之间的使用区别
总而言之，个人认为 huggingface目前的模型接口，对于decoder-only模型的使用并不是很友好。在使用过程中需要注意很多细节，不然会遇到许多问题，而这些问题，encoder-decoder模型是完全不会有的。
2024-02-21 11:47:30
2859
3
原创 Computational Linguistics (CL) 期刊 latex 模板
CL并未直接提供latex模板的现成zip文件，需要你自己把他们的source file，一个个下载下来。，所以切记把tex version切换一下。需要注意，CL这个模板很久没有维护了，目前。
2023-12-07 09:32:38
482
原创 linux更换常用软件的默认缓存路径（.conda, .huggingface等）
在使用linux的过程中，我们往往会使用软件安装很多packages，其中的大多数软件（例如conda）会把当前安装的packages缓存起来，以加速之后的相同package的安装。而很多软件的默认缓存路径是user自己的home路径。下面罗列几个常见的软件的缓存路径更改方法。
2023-10-13 02:28:23
2377
原创 Transformer warning: [encoder.embed_tokens.weight] is newly initialized
很多人在看到这个warning的时候会担心，embedding随机初始化，会不会影响到模型性能。参数，顾名思义，就是encoder的embedding weight。如果想要没有这个报错，就升级transformer到最新版本。经过笔者多方查证，这个。
2023-05-15 12:32:50
1397
原创 【反向工程】从科研文献表格，反向还原数据
很多时候会遇到这样一个问题：有一些文章在chart中汇报了实验结果，但是并没有标注上具体的实验数值；如果逍遥获得具体数值，就得用尺子去量。这里推荐一个网站，能够帮助你估计一张chart中，每个数据点对应的横纵坐标；在某些情况下很有用处（至少不用尺子和肉眼去估计了）。
2023-05-02 16:54:49
385
原创 【Latex】有关于Latex tabularray的一些很不错的教程、模板
除了大家熟知的tabulartabularray。笔者这几天初步体验了一下tabularray，个人觉得tabularray明显比tabular的使用体感好不少。不管是从排版的效果、便捷程度，还是从语法上，tabular的语法真的不敢恭维，有点反人类直觉，而且有些排版操作很繁琐，极度劝退初学者唯一的缺点可能就是tabularray的（需要Tex Live 2021之后），所以像arxiv这种用老版本tex编译器的地方就不支持tabularray。另外就是，tabularray编译出来的表格，
2023-05-01 15:59:59
3998
原创 【Latex】如何在表格中使用footnote
Latex table cell中是不支持\footnote的。如果你在table中用\footnote，那么要么这个脚注根本不显示出来，要么就会出现计数出错等问题。总之非常麻烦。
2023-05-01 15:35:55
4083
原创 【报错】arXiv上传文章出现XXX.sty not found
笔者在overleaf上编译文章一切正常，但上传文章到arxiv时出现类似于如下报错：一般情况下观察arxiv的编译log，不通过的原因，很多时候都是由于某一行导入了啥package，引起的报错；但是如果没有任何一个具体的报错，只是告诉你，那么很可能是编译器版本的问题。如上述这个报错，主要是由于，导致tabularray根本无法在内置环境中找到导致的。截止到目前，
2023-05-01 15:16:24
1763
1
原创 【报错】解决读取json时，出现 NameError: name ‘false‘ is not defined
以原因是因为直接以为本流读取json，导致'false''null'被识别为了为定义的python变量。
2023-04-26 14:17:43
1840
原创 上传、下载huggingface仓库文件（模型、数据等）
想要上传文件，例如模型权重的话，首先得找到自己huggingface hub的。最后用如下命令，把相关文件（模型、tokenizer）上传就行
2023-04-24 07:50:15
8030
3
原创 LLaMA模型文件 (搬运工)
如果要使用huggingface transformer训练LLaMA，需要使用额外的转换脚本（具体详见huggingface官网。建议提前确认自己的huggingface版本。或者使用上述已经被转换好的。但是申请的审批时间一般都很长。才能获得官方模型权重。
2023-04-21 14:34:12
5720
2
原创 OpenAI API总结
这里简单总结了一下OpenAI的一些热门文本模型的API名称，及其价格、输入长度限制等重要信息，以便于开发者快速参考。OpenAI 的api 名称，大多很抽象，很多时候我们想要调用模型，却又不知道具体的api的名字。注意：由于OpenAI的模型更新速度非常快，同一个模型的API的名称可能在不同时间段都会有所不同。因此，笔者建立了一个Github仓库，
2023-04-08 14:40:59
742
原创 copilot command line
github账户满足两个条件：1. 有权限访问copilot；2. 申请过copilot cml，并通过。笔者有访问copilot的权限，可奈何仍旧在copilot cml的waiting list。copilot 支持command line了，linux、macos都可以安装。等之后有了访问权限，再来测评！
2023-04-01 14:11:57
253
原创 【报错】RuntimeError: CUDA error: CUBLAS_STATUS_EXECUTION_FAILED when calling `cublasLtMatmul( ltHandle,
有可能你的GPU报错和我的一样，但是cpu报错不同，也就是实际导致错误的原因是不一样的。，超过了模型的embedding最大尺寸，可以在tokenizer设置。由于GPU上的报错一般都比较抽象。
2023-04-01 13:46:26
5300
翻译 【报错】 openai.error.RateLimitError: Rate limit reached for default-text-davinci-003 in organization
原因就是调用API的频率太过于频繁。例如，free trial的用户，每分钟限制的request的上限是20次，15万tokens。超过这部分，访问就会受拒。
2023-04-01 07:07:19
9310
原创 python从另一个路径导入自定义文件
假设我们在一个文件夹下自定义了一个文件函数，然后在位于另一个文件夹的文件中，我们想想要import这个函数。例如，我们想要在file2.py中倒入file1.py。
2023-03-31 09:27:28
434
原创 【latex】如何在latex局部使用中文字符
但是这样全局设置的话会破坏很多latex模板格式，如果我们希望仅仅在局部启用中文字符编译的话可以用。如果想要用中文字符，得换编译器，例如ctexart就支持中文字符编译。
2023-03-19 04:00:01
1231
1
原创 Markdown表格制作
markdown本身很简单，简单的单行单列表格也不例外。但是遇到一些表复杂的需求，例如多行多列单元格（合并单元格），markdown实现起来就非常困难。受限于markdown本身的语法，我们只能使用html嵌入来进行灵活复杂的表格设计。这里提供一个很好的网站：https://html-online.com/editor/，能够将excel表格转为html代码。
2023-03-15 14:02:05
2294
原创 阻止vscode mardown自动生成目录
vscode编辑markdown会出现一个奇怪的问题：若是文件中有目录，一旦保存markdown，任何文件中的标题都会被汇入目录。那么这个标题就不会被自动归入目录。
2023-03-12 19:31:28
431
原创 有关于shields.io的badge的使用
但如果是比较复杂的动态图标，类似于网页访问量，则需要借助一些其他工具，query服务器，返回目标信息。类似于使用上述介绍的。如果是比较简单的动态图标，类似于。
2023-03-10 16:04:51
1082
原创 【latex报错】“running in backwards compatibility mode“
编译latex的时候出现如下warning：!warning虽然不影响文件编译，但是这个“compatibility mode”的问题。
2023-03-03 17:34:09
1005
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人