- 博客(558)
- 资源 (2)
- 问答 (4)
- 收藏
- 关注
原创 【极简】huggingface如何用离线方式2025.1.22
模型在国内可以通过huggingface mirror下载。要么启动命令行上加上标志,要么python加载时候带上。
2025-01-22 10:24:24
340
原创 简明扼要:mujoco.FatalError: gladLoadGL error
【代码】简明扼要:mujoco.FatalError: gladLoadGL error。
2024-12-12 14:59:23
340
原创 简明扼要:Action chunking with Transformers
原链接(我是原作者):https://yonggie.github.io/posts/2023/12/blog-post-1/
2024-12-12 12:11:25
606
原创 can‘t import automodel from modelscope
【代码】can‘t import automodel from modelscope。
2024-09-10 20:42:34
319
原创 反人类的代码写法:a和b都是张量,a[b],会得到什么?
你想啊,你要取出a的某个值,就是a[0]、 a[1]的嘛。(3) 还是对output,拿index里的值替换上面dim指定位置,变成[[(0,2),(0,1),(0,0)]](2) 对output所有值的索引,按shape方式排出来,也就是[[(0,0),(0,1),(0,2)]]比如上述的,a是个一维的[1,2],那么想要索引a的元素,b的元素必须是单个值,而且不能超过1。元素是对a的索引结果。但凡能a[b]的,b的所有元素值必须是一个有效的索引值。倘若a是多维的,b也是多维的,那将是灾难。
2024-09-02 12:16:31
342
1
原创 At least one stride in the given numpy array is negative, and tensors with negative strides are not
给变量经过下面这个函数就可以 了。numpy数组内存不连续导致的。
2024-08-07 22:30:46
294
原创 Missing or invalid credentials. Error: connect ECONNREFUSED /tmp/vscode-git-189207199f.sock at P
解决:换用别的终端。vscode的插件让你输入用户名密码的弹窗 弹不出来了了,就这么简单。我使用vscode的terminal,git push上不去了。
2024-07-23 17:53:31
466
原创 2024.7.16日 最新版 docker cuda container tookit下载!
nvidia官方指导其实就是这几个命令,有墙只能先一步步拆开然后离线手动下载!
2024-07-16 11:16:23
1448
4
原创 vscode使用mobaxterm可视化
打开mobaxterm连上服务器,看看display是什么。,然后在vscode的debug终端里。可以终端xclock测试一下。
2024-06-26 16:23:05
420
原创 PIL保存后的图像莫名的失真,部分不失真部分很失真
查看一下img的值就可以,被正则化了之后基本上全都是是0.00xx。你保存的是不是被正则化的图片**,如果是,改改。PIL会自行**“自救”
2024-06-18 18:46:25
301
原创 warning: Clone succeeded, but checkout failed. You can inspect what was checked out with ‘git status
cd到git目录里,发现里面的lfs文件没有被下载下来。直接ctrl c停了。
2024-06-09 21:17:56
392
原创 如何知道huggingface/modelscope的大模型的模型层名字
或者直接print(parameters.name),但是这样打出来特别多,很难看。下载模型后,有个文件叫。你下载的大模型位置在。
2024-05-27 15:05:32
529
1
原创 记录pytorch第一次遇到Segmentation fault (core dumped)
之后我发现所有报错的代码都是我一个库里面的,注释掉了之后还是这个库,一到这个库就有问题。,好像确实会因为cpu内存满了就G了,我加载的可是大模型。结果仔细检查了一下,根本没有,我全都to cuda了。用faulthandler进行debug还是有用的!于是pip list了一下,发现这个。然后配齐版本,发现没问题了!看了这个帖子,下载工具,然后。他妈的,连个提示都没有。也没出来什么有用的信息。
2024-05-23 17:06:04
418
原创 Transformer中forward和generate的区别
generate函数使用不同的策略选择下一个词,如贪心搜索(greedy search)、集束搜索(beam search)或采样(sampling)等。这些策略在生成过程中引入一定的随机性,增加生成的多样性。generate专门用来生成文本;forward用于返回logits和其他用途。
2024-05-21 10:24:24
706
原创 git submodule 只clone单个module
参考:https://stackoverflow.com/questions/16728866/how-to-only-update-specific-git-submodules。
2024-05-18 23:14:01
381
原创 【极简】docker常用操作
容器container是动态的,是基于镜像的,类似于一个进程。,volume,把容器内的路径映射到宿主机,可以实现文件共享。就能以那个image创建container并且进入。退出docker并且停止这个container:输入。这样访问宿主机的10003等于访问容器的22端口;如果你想顺便进入contrainer,那就加上。,port,把容器的某个port映射到宿主机上,,environment,设置环境变量。也可以用id,但是tag写起来方便。,把环境变量也带到容器里面。镜像images是静态的。
2024-05-15 16:58:34
292
原创 【极简】如何估算大模型inference所需的内存量
所以比如llama7b,只需要7*0.93≈9G,再加10,内存19G就可以(实际会更少,因为小头远低于10G),注意这个是以8bit运行,4bit减半,16bit(float)加倍,32bit(double)炒鸡加倍。1b 字节≈ 0.93G,这个是以8bit运行,4bit减半,16bit(float)加倍,32bit(double)炒鸡加倍。详细的:https://developer.aliyun.com/article/1496103。模型后面的xxb的单位是字节。16float=2字节。
2024-05-14 16:51:59
527
原创 服务器没有图形界面没有显示器怎么办
有L P R三种模式。本地端口转发(ssh -L)意味着是SSH客户端(本机,windows)开始侦听新端口。远程端口转发(ssh -R)意味着是sshd服务器开始侦听额外的端口。或者换个写法。
2024-05-14 13:25:36
1404
原创 hssd数据集进一步简介
镜像主页:https://hf-mirror.com/datasets/hssd/hssd-hab。什么是scene:就是一个场景,或者说一个房间、双层房间等等。stage:静态的mesh,用来放上各种object。什么是object:具体的小物体,手机、沙发等。
2024-05-14 09:41:27
655
原创 slRegisterDistribution failed with error: 0x8000000d Error: 0x8000000d ?
怎么用管理员权限打开powershell?powershell用管理员打开,输入。
2024-04-16 20:11:20
1034
1
原创 gisterDistribution failed with error: 0x800701bc Error: 0x800701bc WSL 2 ??
【代码】gisterDistribution failed with error: 0x800701bc Error: 0x800701bc WSL 2??
2024-04-16 19:59:33
360
原创 Installing, this may take a few minutes... WslRegisterDistribution failed with error: 0x8007019e Err
按下win键后,搜索“启用或关闭windows功能”
2024-04-16 19:49:44
443
原创 【亲测有用】2024年timm从本地加载模型
timm本地加载。有图有真相:https://github.com/huggingface/pytorch-image-models/discussions/1826。其他的过时的方法就别看了。(当然我这个过几年也会过时)
2024-04-16 16:55:53
1179
1
原创 transformers in tabular tiny survey 2024.4.8
对category、binary和numeric值进行embedding后再进行transformers最后进行classification。2020, arxiv,Google Cloud AI,Attentive Interpretable Tabular Learning, 封装的非常好,都可以当工具包使用了。feature selection用的是17年的某个选择模型,最后agg一下做predict。使用的序列化方法有几个,有人工也有AI生成。吧,与当时的baseline比有提升。
2024-04-09 10:20:36
1520
原创 Windows 10 商店安装应用出现0x80073d05 WslRegisterDistribution failed with error: 0x80071772
应用商店下载的东西得在C盘才行。
2024-04-03 16:52:30
267
hive中能set变量保存select出来的一个值吗
2021-09-26
vscode远程,tensorboard在vscode中无法显示,如何debug?
2021-07-02
torch多gpu使用分配问题,有无一套cpu gpu都通用的代码?
2021-05-22
请假下各位老铁 tkinter怎么用for循环显示图片?
2020-04-15
TA创建的收藏夹 TA关注的收藏夹
TA关注的人