- 博客(1305)
- 收藏
- 关注
RSS订阅
原创 为什么在Transformer模型处理的输入维度会因为图像分辨率大小的不同而导致patch数量的变化，但是不需要修改模型的维度参数？
因为模型的参数与输入序列的长度无关，而是由模型的架构（例如嵌入维度、注意力头数、层数等）决定的。这是 Transformer 的一个重要优点，使其能够处理变长输入序列而无需重新调整模型参数。主要的就是修改因果掩码（去掉自回归机制），将多次迭代预测下一个token改为直接一次预测。只要模型的参数量不因为输入而发生变化，模型就可以适应各种大小的输入。因为path的数量和模型参数量无关，之和模型的计算量有关。只需要修改位置编码，或者使用可学习的位置编码即可。只有CNN的话，是不需要修改的。
2025-04-02 21:34:10
295
原创 大模型常见架构、组件、协议的汇总和介绍
Magentic-0ne是一个通用型多智能体系统，专门用于解决各种领域中涉及网络和文件处理的开放式任务。3.通过HandoffMessage机制实现任务移交，每个智能体可以指定将任务转给哪些其他智能体4.适用于需要多个专家智能体协作的复杂任务,比如客服系统(客服→>退款专员)或股票研究(分析师→写手)等场景。Autogen 是一个由 Microsoft 推出的框架，它允许用户创建和管理多个自主代理，以协同完成复杂的任务。1.用途:用于需要多个 AI 代理协作完成的复杂任务。追踪整体进度必要时采取纠压措於。
2025-03-19 15:41:18
292
原创 查看异常磁盘读取原因、怎么看哪个程序读写磁盘的软件？
然后此时你通过任务管理器假如看到你的F盘（机械硬盘）总是会读取文件如果只想显示 F 盘活动，点 Filter - Filter...然后 Path begins with F: then Include然后点 Add 再点Apply此时我发现是vmwp.exe会将logcatd.log写入我的F盘的AndrowsData文件夹内。
2025-03-19 10:19:39
247
原创 【训练经验】多模态融合中，哪种方法对下游预测任务最有效？（Concat、Add、Weight add、Attention）
被认为是四种嵌入层融合技术中表现最好的方法。该方法在不同模型和输出模态下，始终优于基线模型。也被证明能够提升模型性能，适用于图形和文本模型。
2025-03-14 20:11:47
185
原创 RAG、Agent、微调等6种常见的大模型定制策略
六种最常见的LLM定制策略，按资源消耗从最少到最多的顺序排列：提示工程（Prompt Engineering）解码与采样策略（Decoding and Sampling Strategy）检索增强生成（Retrieval Augmented Generation）Agent微调（Fine Tuning）基于人类反馈的强化学习（Reinforcement Learning from Human Feedback）
2025-03-13 11:21:15
901
原创 多模态融合的分类、跨模态对齐的方法
多模态融合能够充分利用各模态之间的互补优势，将来自不同模态的信息整合成一个稳定且全面的多模态表征。表征学习通过从原始数据中自动提取各模态有效特征，生成稳定全面的多模态表征。表征学习（Representation Learning） ≈ 向量化（Embedding）
2025-03-10 21:59:16
1063
原创 几种微调（finetune）/后训练（post-training）的方法
方法核心机制优点缺点适用场景SFT标注数据监督学习简单直接，适合明确任务标注成本高明确任务的微调RLHF强化学习+人类反馈捕捉复杂偏好训练复杂，依赖人类反馈对话模型优化DPO直接优化人类偏好简化流程，训练效率高在复杂偏好场景下可能效果有限偏好优化任务静态数据+动态优化动态适应新需求在线阶段计算资源需求高需要持续改进的系统知识迁移减少计算需求，提升推理速度性能可能有所下降部署在资源受限环境生成假数据扩充训练集降低标注成本数据质量可能不高数据稀缺任务。
2025-03-10 13:52:06
692
原创 DeepSeek-R1 + RAG搭建本地知识库
利用DeepSeek-R1与RAG（Retrieval-Augmented Generation，检索增强生成）技术可以快速搭建本地知识库。为确保本地知识库的高效搭建，需先准备DeepSeek-R1模型、相关文档/数据集及部署工具（如Ollama），随后安装Ollama并部署DeepSeek-R1，同时选择并配置文本嵌入模型，最后收集/整理文档并确保其唯一标识符和文本内容，利用文本嵌入模型转换文档为向量以构建快速检索的索引。一、RAG（检索增强生成）检索增强生成（Retrieval-Augmented Ge
2025-03-10 13:29:32
910
原创 【训练异常】resume训练好的模型，继续训练，发现loss不是从上次的loss继续的loss
其实不是，是因为你没有resume optimization，不过你不resume optimization问题也不大，后面loss降得很快就变成上次的了。训练过程中resume训练好的模型，继续训练，发现loss不是从上次的loss继续的loss，但是一会儿loss就降到和上次loss基本一致的情况了。难道是哪里有问题了？
2025-03-10 10:13:32
303
原创 DeepSeek系列、AI发展的五个级别
解决了R1-Zero在可读性和语言混合方面的局限性，显著提升了模型的推理能力。【解决了R1-zero的问题】通过“思考-回答”双阶段训练模板，DeepSeek-R1实现了推理过程的可追踪性，并为奖励计算提供了明确基准，从而输出了结构化的答案。DeepSeek-R1采用了包括准确性、格式和语言一致性在内的多层次奖励机制，确保了模型在推理任务中的高效性和输出内容的可读性。DeepSeek-V2：以创新的模型架构和极低的推理成本，成为性价比极高的大模型选择。DeepSeek-R1的技术创新在于开发了。
2025-03-10 09:12:38
1162
原创 NLP vocab中为什么有的有▁前缀，有的没有呢？
前缀，而有些没有，这与分词器的设计和子词分割方法（如 BPE 或 SentencePiece）有关。vocab中为什么有的有▁前缀，有的没有呢？
2025-03-01 19:13:32
531
原创 word转换为pdf后图片失真解决办法、高质量PDF转换方法
（1）点击word选项卡上的Acrobat插件，（2）点击“首选项”按钮，（3）点击“转换设置”，更改成刚才保存的“Press Quality-higest”，（5）将右侧所有选项全部选为“关”的状态（6）另存为Press Quality-higest.joboptions”文件，然后点击“确定”关闭窗口。（1）点击word选项卡上的Acrobat插件，（2）点击“首选项”按钮，（3）点击“高级配置”按钮（4）点击左侧“图像”按钮。依次点击 文件->另存为Adobe PDF。（4）点击“确定”，关闭窗口。
2025-02-28 10:04:05
1184
原创 【异常错误】pycharm debug view变量的时候显示不全，中间会以...显示
这个是在新版的pycharm中出现的，在setting中这么设置一下就好了：https://youtrack.jetbrains.com/issue/PY-75568/Large-strings-truncated-when-displayed-in-debug-output-or-evaluate-windows-again
2025-02-19 20:33:14
421
原创 【异常错误】XXX has been marked as ready twice
当使用多卡的时候“ --num_processes=2” 【 accelerate launch --num_processes=2 train.py 】
2025-02-19 10:43:00
327
原创 从远程主机使用ssh连接WSL2（配置跳板机）
ssh root(WSL的用户名)@172.36.65.2(WSL的ip) -p 2222。上述文件保存之后，本机已经可以通过。
2025-02-18 21:05:05
719
原创 windows server 安装WSL Ubuntu
打开服务器管理器，添加角色和功能，在功能中钩选【适用于Linux的Windows子系统】然后下一步，直到完成并重启。
2025-02-18 16:32:44
228
原创 WPS怎么使用latex公式？
提示词为：识别为latex公式，latex公式要以内联公式和段落公式写出。可以直接输入为MathML, 然后粘贴到WPS，
2025-01-30 17:51:42
4119
原创 Could not load dynamic library ‘libcudart.so.11.0‘、Could not load dynamic library ‘libcudnn.so.8‘
https://stackoverflow.com/questions/70967651/could-not-load-dynamic-library-libcudart-so-11-0Output in my system.This result shows where the “libcudart.so.11.0” is in my system:
2025-01-05 11:07:47
272
原创 Linux安装pymol并通过pymol的命令行执行python文件
sudo apt-get install pymol打开Linux shell：脚本需要调用PyMOL并显示界面，可以直接通过命令行运行脚本并启动PyMOL：
2024-12-29 16:30:59
557
原创 如何正确书写sh文件/sh任务？bash任务、怎么将bash（sh）的所有输出保存到log/txt中？怎么设置定时bash任务（执行一段时间后自动停止）
正确书写xx.sh文件的方式为：直接运行：bash xx.sh即可。
2024-11-27 21:57:37
499
原创 【WSL 异常错误】WslRegisterDistribution failed with error: 0x8000000d
Ubuntu-18.04替换为你自己的版本。然后就可以执行下一步操作了。
2024-11-26 19:00:49
852
原创 xyplorer怎么更新？XYplorer的一些快捷操作、win+e替换为xyplorer打开
XYplorer：电脑自带的资源管理器替代工具；Listary（ https://www.listary.com/）：快速文件搜索工具quicker: 自定义快捷键功能： Ctrl + o，打开所在的文件夹：https://getquicker.net/Sharedaction?Ctrl + l，打开wsl：https://getquicker.net/Sharedaction?Ctrl+g，压缩、解压缩：https://getquicker.net/Sharedaction?
2024-11-26 13:53:51
571
原创 pycharm使用debug的时候遇到断点不停的问题
3.如果能走到那一步，但是依然没有在附近停下，而且你用了多卡并行，那么就可能是Gevent compatible的问题。在设置Build,Execution,Deployment->Python Debugger里面取消勾选Gevent兼容。2.尝试在你打期望停下的代码附近print("1111111")看看是否输出了这个字符串，验证程序确实走到这一步了。1.首先尝试在程序最开头打断点，检查是否能停下，如果可以，看第二步。
2024-11-23 20:45:02
1047
1
原创 Win + L（锁屏）以后，Compile with `TORCH_USE_CUDA_DSA` to enable device-side assertions.
起初我以为是代码哪里写错了，后面发现每次win + L一段时间以后就会出现这个错误。
2024-11-23 13:40:19
317
原创 quantum mechanical (量子力学) 、molecular dynamics (分子动力学) simulations中的一些名词
部分电荷的计算通常基于量子化学方法，能够反映原子在分子中的电性特征。原子极化率是指原子在外电场作用下，电子云的形状和分布发生变化的能力。极化率越大，表示原子对外电场的响应越强，电子云的偏移程度也越大。在MISATO数据库中，部分电荷是通过不同的量子化学模型计算得出的，通常用于描述分子间的相互作用和反应性。原子极化率（atomic polarizability）**是描述分子中原子电子特性的重要参数。原子极化率在分子间相互作用、化学反应和物理性质（如溶解度、沸点等）的预测中起着重要作用。
2024-10-16 15:10:52
476
原创 使用阿里云盘将服务器上的文件上传/下载到云盘/服务器
upload <本地文件/目录的路径1> <文件/目录2> <文件/目录3> <目标目录>他就会在这个阿里云盘自己创建一个test001文件夹，然后将文件放进去。你就打开这个链接，然后扫码登录以后，再在Linux上按Enter即可。
2024-10-11 18:48:09
593
原创 【异常错误】self.atom_encoder(x)，RuntimeError: CUDA error: device-side assert triggered
应该用1.2.6处理数据，然后用1.2.6去运行，而不是用1.3.6版本。
2024-10-11 11:05:33
456
原创 【异常错误】RuntimeError: CUDA error: device-side assert triggered 遇到这种错误怎么办？ CUDA_LAUNCH_BLOCKIN=1
运行的时候突然就这样了main(args)这种错误一般直接看不出出来到底是哪里错误了，不知道错误的原因是因为CPU和gpu的异步执行：cuda编程默认使用异步执行，大概是因为CPU和GPU的内存是分开的。用户想要将数据从GPU搬运到CPU，必须发起一个kernel launch。因此，当程序执行正确时，GPU异步与同步执行的结果应该是等价的。
2024-10-10 09:12:12
1280
原创 异常错误：([4, 512]) from checkpoint, the shape in current model is torch.Size([5, 512]). ogb包的版本问题
1.3.6的版本会将原子变为5，而以前的老版本会是4，所以只需要。
2024-10-09 22:06:49
279
原创 安装TensorFlow 1.14.0
conda create -n tf114 python=3.6pip install tensorflow-gpu==1.14.0conda install -c anaconda cudatoolkit=10.1.243 cudnn=7.6.5conda install cudatoolkit=10.0
2024-10-08 08:49:25
1283
原创 移动WSL到其他盘
移动过程中，可以看到脚本会先将移动目标导出到一个tar文件，然后再将tar文件导入到 ext4.vhdx 文件中。选择要移动的目标，比如移动Ubuntu-18.04，则输入 1 并回车，然后会提示让我们输入移动的目标路径。根据移动目标的大小，时间可长可短，请耐心等待。cd d:\move-wsl-master（这个是你下载的Move WSL 工具包的位置）3、在PowerShell中运行如下命令，停止正在运行的Linux子系统。移动完成后，脚本会删掉原来C盘中的相应内容，释放C盘空间。
2024-10-06 18:16:53
628
图像生成中的“Classifer guidance、Classifer-free guidance”是什么？
2024-03-20
pycharm运行命令进行debug
2023-04-20
TA创建的收藏夹 TA关注的收藏夹
TA关注的人