- 博客(186)
- 资源 (64)
- 收藏
- 关注
RSS订阅原创 解决 ExecMethod时的错误WBEM_E_INVALID_METHOD_PARAMETERS
我做的功能是调用hyper-v wmi provider中的方法删除/创建虚拟机。以上代码中methodname是L"DestroySystem"，所在的类名为“Msvm_VirtualSystemManagementService”，调用此类中的方法（其它一些类也类似），如果使用静态方式调用，会报 WBEM_E_INVALID_METHOD_PARAMETERS。折腾了一周的问题解决了！先说结论: wmi中的方法分静态和非静态。非静态方法需要在类名处传入实例的path. 如以下代码所示。
2025-03-27 15:51:23
298
原创 Bert模型以及后继者RobERTA, NomicBERT, ModernBERT和NeoBert比较
Bert模型以及后继者RobERTA, NomicBERT, ModernBERT和NeoBert比较，包括架构，参数量，速度等
2025-03-05 15:45:29
136
原创 draw.io 导出svg图片插入word后模糊（不清晰 ）的解决办法
导出SVＧ时，把“嵌入字体”去掉即可，此时插入ｗｏｒｄ，会使用ｗｉｎｄｏｗｓ字体渲染，字体将清晰。长文本无法自动换行，需要改用多个文本框，自己控制长度。
2024-12-22 15:41:11
1250
2
原创 GGML模型转换教程（pytorch-＞ GGUF格式）
本教程持续更新，介绍怎样将一个pytorch原始模型转换为ggml支持新格式gguf格式，并编写c程序推理模型。本文的目标是提供一种简单教学，方便大家入门。
2024-10-31 18:44:13
1178
原创 使用intel 独立显卡训练AI模型（pytorch版本）
Intel Arc A770 Photon 16G 不到2000元16g显存，值得用来入门上手。注意，目前是beta状态，足够稳定，但安装时需要注意下位置。安装好anaconda, 创建好虚拟环境，安装。穷学生能不能学AI?
2024-10-31 08:08:11
912
原创 Windows WSL环境下安装 pytorch +ROCM 支持AMD显卡
windows 下安装WSL 环境( windows subsystem for Linux), 安装ubuntu 22.04环境。安装好后，创建pytorch环境，注意，只支持python 3.10。三、安装pytorch+rocm。安装pytorch +rocm。二、安装anaconda。
2024-10-28 14:37:31
2816
原创 zotero for android客户端 每日构建
即时发布开源论文管理工具 zotero for android客户端，增加非ssl webdav支持，方便大家在平板上阅读管理论文。
2024-10-26 08:33:54
464
原创 怎样将latex文档转为word文档？
直接在word中插入公式，勾上latex 选项，然后将latex中的数学公式，不包括$的部分放到latexlive.com中转换，复制mathml格式即可。最简单的转换方式：latex编译成pdf文档，使用wps转换为word格式即可。latex中的图片通常为pdf格式，解决办法是使用转换工具将pdf转为svg矢量格式。没什么好说的，所有使用latex的文字，直接复制到word中，去掉不需要的latex标记即可。使用wps 将pdf转为word文档，直接从word文档中复制表格即可。
2024-09-26 11:14:35
1029
原创 解决 git 命令 Problem with the SSL CA cert (path? access rights?)
etc/pki/nssdb 错误。
2024-05-31 17:05:24
661
1
原创 dll过多导致 LoadLibrary 1114错误的解决办法
在较低版本的操作系统，如windows 7 上，如果一个应用程序加载过多的dll, 会收到1114错误，dll初始化失败。原因是 TLS(FLS) index 消耗完毕，无法再创建更多的tls index, 导致无法加载dll.解决办法，hook FLSAlloc 函数，自行分配TLS/fls 空间。
2024-04-27 10:17:39
1066
原创 将带alpha通道的4通道png图片转换为3通道图片
在CV 人工智能模型中，通常是用3通道数据进行训练。在遇到4通道png图片时，需要预处理转换为3通道后再行处理。目标检测类任务，建议用方法2;OCR之类文字检测任务（只需要轮廓），建议用方法1.2. 保持原始色彩，只去掉alpha通道。
2024-03-07 10:56:26
955
1
原创 CMAKE + visual studio 中强制设计链接方式为MT
CMAKE中可以通过FLAG设置MT, 但是，如果用visual studio打开，有时不生效。以下方式可以强制设置MT方式，在CMakeLists.txt中添加即可。
2024-02-26 18:13:35
599
原创 短内容中文编码检测方法
对于检测中文编码，如GBK/BIG5, 长内容可以有很多方法，比如uchardet, chardet之类的函数库。但是对于短内容，比如文件名，用以上函数库，效果并不理想。经过搜索发现一个有效的库：compact_enc_det.如果不设置语言，效果很明显减弱。
2024-02-26 17:21:12
447
原创 在职读博这六年，回忆珍惜的读博经历
本篇继续是一个大坑，挖完后会陆续填坑。本人于2018年申请了全日制工程博士定向。这意味着可以在职读博。从刚开始的见人劝人读博，到后期的努力劝退其它人的读博念想，这是人生经验的总结。俗话到：年轻人不要赌博（读博）。五、大论文撰写与小论文rebuttal。4.2 北大核心写作过程。4.1 SCI写作过程。
2024-02-15 09:37:41
566
原创 效果较好的中文论文提示词
数字经济是继农业经济、工业经济之后的主要经济形态，以数据资源为主要要素，数据的安全性保障越来越重要\upcite{GuoWuYuanGuanYuYinFaShiSiWuShuZiJingJiFaZhanGuiHuaDeTongZhi}。数据是内容的载体，电子文档又是数据的容器，内容敏感性或机密性的判定是影响数据安全的重要因素，因此对电子文档内容进行敏感性与机密性的判定是保证数据安全的手重要手段。数字经济是继农业经济和工业经济之后的主要经济形态。数据是内容的载体，而电子文档是数据的容器。
2024-02-15 09:01:01
970
原创 锐龙笔记本Windows 11休眠无法唤醒问题的解决（6800h, 7840H/Hs)
锐龙笔记本运行Windows 11时经常会遇到休眠后无法唤醒的问题，表现为休眠后 按键盘或鼠标无反应，只能长按电源开关关机后再开机。网上有很多说法，比如显卡问题或其它问题。在设备管理-系统设备-AMD GPIO Controler 中，找到电源管理，将“允许 计算机关闭此设备以节约电源” 勾去掉，设置为图上的状态。再试试，是不是休眠睡死无法唤醒的问题解决了？
2024-01-27 15:48:16
10952
2
原创 解决xp环境下loadlibrary时目标dll中静态变量初始化错误问题
xp下用loadlibrary加载dll时，目标dll中如果有静态变量，会导致初始化失败，这是xp的缺陷。注意，所有的工程都要修改添加第一个图中的选项。
2024-01-18 11:18:41
456
原创 怎样用chatGPT编写并发表SCI 1区论文？
从我审阅过的多数英文论文来看，语言表达与成熟度问题是永远的问题。大模型来了，我们不能只用它写情书，还得派上点正经用途，那就是用来写英文论文（严格讲是润色论文）。润色：以论文风格润色句子：The verbalizer is an effective manner to promote the results of text classification.用自己中级水平的英文编写表达意思句子，术语要把握好。以论文风格润色英文句子并保留latex标记：X。以论文风格润色以下英文句子：X。
2024-01-17 09:14:08
1076
原创 GGML 或GGUF的14种不同量化模式说明
对应于不同类型的量化。它们遵循特定的命名约定：“q”+ 用于存储权重的位数（精度）+ 特定变体。，因为它保留了模型的大部分性能。或者，如果要节省一些内存，可以使用 Q4_K_M。一般来说，K_M版本比K_S版本更好。我不推荐 Q2 或 Q3 版本，因为它们会大大降低模型性能。
2023-12-12 07:08:59
29045
2
原创 cmake中将静态库.a 链接到.so 动态库中
set_property(TARGET kaldi-native-fbank-core PROPERTY POSITION_INDEPENDENT_CODE ON) #核心是这句，设置位置无关，即添加-fPIC。
2023-06-13 20:11:58
859
原创 vscode 或visual studio远程开发中设置gdb捕获子进程
【代码】vscode 或visual studio远程开发中设置gdb捕获子进程。
2023-05-31 19:48:28
757
原创 低资源大语言模型LLM研究者的希望 LIMA + 4Bit 量化训练
1. 4Bit 训练方法，可以在A6000或6000 ADA这样的消费级显卡上进行65B模型的微调。预测后面的 大模型研发工作将进入井喷状态，各种大模型会层出不穷。指令微调数据的质量， 每条指令遵从的质量和多样性才是关键。2. 人工收集加工1000条或稍多的高质量指令微调数据成为可能。指令微调只是给模型增加风格，并不能提升能力。RLHF人类遵从的强化学习训练不是必要的。越大的模型才有更强的潜力。LIMA模型的研究 （
2023-05-24 06:59:39
1425
原创 pytorch 模型量化处理及导出onnx格式模型
量化时需要对算子进行量化处理，对输入数据fp32格式进行量化处理到int8, 再输入模型中。量化处理可以加快推理速度，减少模型占用空间 ，提高推理性能的必要选择。
2023-05-21 07:35:45
4127
10
原创 吃鱼不养鱼：大语言模型（LLM)应用方法探讨
核心架构是 以LLM为中心，作为中枢调度，Langchain方式作为顾问团（提供业务相关资料），Tools作为小助手，被LLM调用来获得具体的能力。这种方式可以补充大模型对于实时知识的不足以及具体业务能力（如复杂 数据计算）的不足，利用大模型的推理与归纳能力。大语言模型需要65B或更多参数量才能涌现足够的推理能力，这对于训练或微调是极大的资源与人力挑战，那有没有办法不训练模型来充分利用大语言模型的能力？这还真有，办法是顾问团与小助手。
2023-05-09 06:55:51
541
原创 AMD 显卡在windows下完美兼容transformer/pytorch
2. pip install torch-directml==0.2.0.dev230426 # 这个版本会变化 ，目前不支持安装的是1.13支持的版本，不能兼容transformer.经过微软的努力 ，支持pytorch 2.0的directml-torch 已经可以试用，经过测试，已经可以完美支持transformer库。你的amd显卡可以在windows下用来炼丹了。建议windows 10或11环境。1. 安装anaconda。
2023-05-03 06:44:52
4711
8
原创 onnxruntiem c++代码中的矩阵存贮 方式
在onnxruntime中 cpp/c接口中，输入的矩阵是行式存贮方式。比如 2*3 矩阵，我们用vector表示，它有6个元素，存贮 方式为。* *＊｜＊* * （６个元素平面存贮），竖线表示行分隔符。先存贮第一行，再存贮第二行，类推。
2023-04-29 10:08:12
108
原创 5万元内最经济双卡4090深度学习方案
AMD 7950x + 双4090方案 不到5万，目前最经济的双卡人工智能服务器方案。硬盘： ssd 2T 600元， 16T机械 1900元， 合计 2500元。显卡： 4090 水冷 x 2 1.5wx2 30000元。4 128G DDR5 800x4 3200元。主板： 华硕 x670EA 吹雪 3000元。CPU: amd 7950x 3500元。电源： 长城巨龙 2000w 1200元。机箱： 追风者 620PC 800元。总价： 44200 元。
2023-04-14 07:41:28
4181
5
原创 生成式大语言模型微调训练快速手册
基础模型训练 阶段决定了大模型的能力天花板，由训练语料、模型架构以及训练方法决定。微调阶段只是让模型以人类可以接受的输入及输出 方式将能力显式呈现出来。ChatGPT的流行让大语言模型走入了大家的视线，怎么打造自己的大语言模型成为了一个急需解决的问题。基础模型训练与微调相当于一个人的基础教育阶段（小学到大学本科）以及职业强化阶段（研究生阶段）1. 完全白嫖 （从开放途径获取别人训练微调好的模型）2. 基于现有基础模型进行指令微调 （包括对齐等）3. 完全从头开始，从基础大模型到指令微调。
2023-04-12 04:49:30
2187
原创 Ｗindows 下 AMD显卡训练模型有救了：pytorch_directml 下运行Transformers
注意，如果直接使用pipeline可能会有问题，应该是pipeline不兼容导致的。只需要自己编写具体代码，避开pipeline即可。amd GPU占用率能上去。
2023-02-21 09:00:02
4297
1
原创 Pytorch模型转换为onnx或ncnn的方法兼谈pytorch模型编写规范
使用torch.jit.trace_module( model, {"entrypoint",[parameters]}) 来记录模型，entrypoint在大多数模型中是 forward, 如果有定制，可以修改。影响成功的主要问题是：在模型的forward函数中不能使用条件语句，否则 会影响trace。此时的办法就是去掉里面的条件语句。pytorch-> torchscript->pnnx, 中间有副产品onnx模型。使用torch.jit.save来保存模型。
2023-01-30 20:05:10
645
原创 Windows下用amd显卡训练 ： Pytorch-directml 重大升级，改为pytorch插件形式，兼容更好
新的pytorch-directml 不再是独立的pytorch 移植，变成了一个设备插件，更好用，兼容性更好。原来的版本无法跑transformers, 新版变成一个独立的计算设备 dml, 兼容性更好。
2022-12-22 07:49:15
7197
原创 pytorch - directml 中查看设备支持情况
print(torch.dml.device_name(0)) ＃ 显示第０个ＤＭＬ设备名称。print(torch.dml.default_device()) ＃显示缺省ＤＭＬ设备ｉｄ。print(torch.dml.is_available()) #显示是否有dml设备。
2022-11-13 17:10:50
2748
翻译 floret：轻量级的、稳健的单词向量
floret是fastText的一个扩展版本，它使用Bloom嵌入来创建包含单词和子词信息的紧凑矢量表。floret将fastText的子词带入spaCy管道，其矢量比传统单词矢量小10倍。在这篇博文中，我们将深入研究这些矢量。我们将解释它们是如何工作的，并展示它们在什么时候是有用的。如果你已经熟悉了floret的工作方式，请跳到fastText与floret的比较。对于许多向量表，包括spaCy中的默认向量，向量表包含一个固定的单词列表的条目，通常是训练数据中最常见的单词。
2022-10-30 17:56:38
305
原创 导入并使用 microsoft concept graph (probase)数据库数据
上述文档中数据导入命令在新版ｎｅｏ４ｊ中不再有效，命令改用ｎｅｏ４ｊ－ａｄｍｉｎ。其中$NEO4J_HOME 为neo4j的安装目录（解压运行目录）
2022-10-05 10:06:31
1309
6
原创 imac起死回生，在iMAC 27 2011 mid 上裸机安装windows10
1.下载windows 8.1 iso， 下载bootcamp驱动（www.applex.net 的bootcamp栏目，也可以去apple.com下载）老机器只有win8.1的驱动。iMac 27 2011中 已经不能更新系统了，xcode不能安装，作为mac已经没有价值。2. 用rufus 工具将iso写入u盘, 将bootcamp解开一个目录中，复制到 写windows 8.1的同一个u盘中。用另一台windows 远程上去，运行u盘中的 bootcamp驱动安装程序，看到ati显卡出现，搞定。...
2022-09-01 07:06:50
5888
3
cs224N-2019最新自然语言处理教程视频 -曼宁-斯坦福
2019-07-02
机器学习数学基础 2019.7新版 (剑桥大学出版社）
2019-07-02
2019-Automated Machine Learning Methods, Systems, Challenges, 正式版，Frank
2019-06-19
机器学习数学基础 2019.6新版 (剑桥大学出版社）
2019-05-27
《基于深度学习的自然语言处理》中文PDF+英文PDF.rar
2019-05-21
The Inner Workings - of - word2vec ：一文搞懂word2vec
2019-03-20
理工科概率论（五本连发，良心资源），适用于人工智能及计算机
2019-03-17
机器学习数学基础 2019.3新版 (剑桥大学出版社）
2019-03-17
Python 进阶 中文版
2019-01-30
点集拓扑讲义 (第四版)(熊金城编) pdf高清，真第四版+第三版的讲义答案，二合一包。
2018-11-27
Munkres Topology，拓朴学 第二版 芒里克斯，中英文全本加题解
2018-11-22
Natural Language Processing， 自然语言处理，Gatech 雅可布教授2018新作（无行号干净版）
2018-10-25
最优化导论（第四版）中文，英文，题解
2018-10-15
Getting Started with Kudu Perform Fast Analytics on Fast Data
2018-10-11
剑桥出版社 机器学习数学教材-2018最新版
2018-10-10
elegantbook latex 中英文书籍模板 texstudio+texlive 2023测试通过
2023-10-06
微软concept graph数据，可以使用neo4j进行使用
2022-10-05
imac 27 2011 mid 最新windows 10 显卡驱动，比bootcamp中的新，解决win10蓝屏。
2022-10-02
HEIC 格式照片转换工具，可以将heic格式图片转成png/jpg, 完全免费，无限制。
2022-01-26
TVM 0.8 测试代码及模型文件
2021-03-21
pytorch for ROCM 安装包，amd显卡
2020-10-18
pytorch 1.4 on ROCM 3.1 （AMD GPU) for ubuntu 18.04
2020-03-13
人工智能数学一本通（1896页）：代数、拓朴、微积分及最优化内容（滨夕法尼亚大学）
2019-07-29
机器学习数学基础 2019.7.27新版 带算法示例(剑桥大学出版社）
2019-07-27
112页PPT-深度学习数学基础-以色列特拉维夫大学
2019-07-27
机器学习数学基础 2019.7.8新版 带算法示例(剑桥大学出版社）
2019-07-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人