- 博客(26)
- 收藏
- 关注
RSS订阅原创 视频类公开数据集
最近在做视频生成相关的研究，需要一些素材，无意发现了一批开源的视频素材，并且还都提供的有开源下载数据脚本，在这个介绍下，重要的是这些数据应该都是可以在期刊论文发表的，并且获得授权不必担心侵权的，这点还是挺好的，所以在这里说明下，当然，如果大家还有更多的希望也可以发我。
2025-03-18 11:34:45
318
原创 LLaMA-Factory+Ollama远程服务器部署，知识库微调训练及文本向量提取
LLaMA-Factory+Ollama远程服务器部署，知识库微调训练及文本向量提取
2025-03-01 10:54:26
1533
原创 deepseek云端部署及结合本地知识库（结合api调用）可视化界面应用
远程服务器配置openweiui+ollama实现deepseek可视化功能。
2025-02-23 17:34:37
853
原创 deepseek API调用
通过在提示词中多给一些准确案例，实现结果精准推理。比如在以下system_prompt中，多给一些EXAMPLE，出结果。","""
2025-02-08 16:26:59
5803
1
原创 远程服务器没办法显示图片
参考：https://blog.youkuaiyun.com/qq_45934285/article/details/140237971。使用plt.savefig(“./outputs_zzk/ok”+“.png”) # 保存观看保存图片。
2024-12-28 11:04:14
249
原创 因果森林理论和实战
广义的随机森林（Causal Tree）：广义随机森林算法随机森林是一种通过集成学习思想将多棵树集成在一起的算法,其基本单元是决策树。随机森林是广义的随机森林的特例（经典的随机森林只能去估计label Y，不能用于估计复杂的目标）。ATE(Average Treatment Effect)指标是一种用于衡量处理效应大小的统计指标在统计分析中，置信区间主要用于描述对总体参数估计的不确定性。它可以帮助我们进行总体参数的推断和比较。例如，如果两个总体参数的置信区间不重叠，可以认为这两个总体参数有显著差异；
2024-12-18 16:03:25
1486
原创 huggingface diffusion课程讲解之实战mimicmotion代码详解
参考：（1）官方学习途径：https://github.com/huggingface/diffusion-models-class/tree/main/unit2（2）视频课程讲解：https://www.youtube.com/watch?实战训练改进思路：mimic上面加一个referencenet，其余全部都不变，想办法让学习更多的细节。
2024-11-27 09:48:05
946
原创 磁盘挂载及新增磁盘删除分区后重新挂载
参考：https://blog.youkuaiyun.com/qq_45664055/article/details/107516419?6、输入 w 保存更改并退出 gdisk，成功创建了新的 50GB 大小的 Linux 文件系统分区。（1）先取消挂载/project_data/data，再取消挂载/project_data。1、进入 gdisk 工具，并输入 o 创建新的保护性主引导记录 (MBR)。/dev/sdc2挂载/project_data/data。/dev/sdc1挂载/project_data。
2024-11-11 14:12:45
317
原创 模型内部可视化专讲
之前的博客已经手敲了一个 Transformer 模型，实际最终训练出来的模型，参数量大概在 1.2 亿左右，文件大小约 505M，在这里我们再来探究一个非常有意思的问题：这个 505M 的文件内部到底存放的是什么？之前的另外一个博客也讲过本地运行过 ChatGLM3-6B，6B 的模型文件分为 8 个，有的版本是 5 个，几个文件加在一起大约 20G，6B 的 130B 模型文件加起来近 240G。不知道你有没有同样的疑问，在我最早接触大语言模型的时候，就非常好奇，大模型文件里到底存的是什么？
2024-11-05 09:28:51
1144
原创 Transformer模型实战训练（带数据集）
Transformer 模型，总共加起来不到 300 行代码，实际上如果你阅读过 GPT-2 和 BERT 的模型构建代码，你会发现它们也没有多少行，所以模型构建本身其实并不复杂，模型的构建过程就是整个深度神经网络的架构过程，虽然有一点难度，但是没有想象的那么难，而我认为难点在于预训练过程，既吃训练资源又需要考虑训练效果，如何调整参数让训练效果更好是难点，这和传统 CV 小模型有点类似。你可以参考我给出的代码。想要模型性能好，是要一步一步调的，这也是我们说前提要有大量的计算资源的原因。
2024-10-16 11:12:22
6416
5
原创 Deep-Live-Cam部署及使用
2.https://www.jianshu.com/p/96988c3bebe6（以后可以借鉴的远程桌面Linux — Gui与Xvfb的使用）1.https://blog.youkuaiyun.com/weixin_33708432/article/details/91536037(我使用的)因为用的是linux远程服务器，是没有图形界面的，所以为了解决这个问题，进行以下方式处理。用ssh -X root@51.159.175.229，然后正常启动就可以解决问题了。官方方法报错了，解决方案：尝试参考。
2024-10-07 19:31:21
1171
原创 《MimicMotion: High-Quality Human Motion Video Generation with Confidence-aware Pose Guidance》论文详解
challenges。
2024-10-07 18:22:15
1139
原创 远程服务器使用chatglm结合langchain关于faiss的实战应用
知识库，用来增强大模型信息检索的能力，称之为检索增强生成（RAG），这是目前非常流行的一种做法，知识库模式相比于微调有 2 个好处。除了大模型 6B 外，你还需要了解 LangChain、向量化、向量库等组件及概念。ChatGLM3 官方提供了一个和 LangChain 结合的 demo：Langchain-Chatchat，还带有 UI 界面，我们可以直接拿过来使用。如果你理解了这个演示项目，那么智能体的原理也就学得差不多了，剩下的就是工程化的事情了。
2024-10-04 00:14:03
1089
原创 《MIMO: Controllable Character Video Synthesis with Spatial Decomposed Modeling》论文详解
最近很多人都在讨论阿里发表的MIMO结果，感知上认为无论效果还是实际应用，效果都挺好，于是选择拜读，花一些时间记录下对这边论文的理解。
2024-09-29 19:54:59
1169
原创 LLM实战远程服务器部署及微调
ChatGLM3-6B 有 3 个参数可以设置。max_length：模型的总 token 限制，包括输入和输出的 tokens。temperature：模型的温度。温度只是调整单词的概率分布。它最终的宏观效果是，在较低的温度下，我们的模型更具确定性，而在较高的温度下，则不那么确定。数字越小，给出的答案越精确。top_p：模型采样策略参数。每一步只从累积概率超过某个阈值 p 的最小单词集合中进行随机采样，而不考虑其他低概率的词。只关注概率分布的核心部分，忽略了尾部。
2024-09-25 14:43:10
1102
原创 linux服务器相关信息查询，gpu驱动及cuda安装（自动及手动详解）
使用google服务器时，给了一台2卡a100gpu linux的debin12系统的服务器，但是上面什么都没有配置，所以需要再重新进行cuda装机，里面涉及到一些服务器自身设备信息的查询和cuda的安装，在这里详细介绍几种方法。
2024-08-30 13:33:35
2153
原创 lora定制化训练及使用云端部署教程（从部署到使用经验总结）
文本主要介绍利用云端算力，定制化lora生成图片。通过广泛浏览和借鉴多人的文档，借鉴经验，找到的一种最快速最全面的方案。能够完成从lora训练，到模型使用，再到炼丹经验的整个过程。
2024-08-22 15:40:31
1685
5
原创 docker创建镜像内存不足，创建软连接解决问题
拉取镜像发生报错，告知磁盘没有空间了。但是电脑上挂载的磁盘在/scratch还有一个t，于是决定移动下docker数据存储的位置。
2024-08-20 14:52:37
329
原创 nohup实现python脚本后台运行（防止服务器连接中断影响任务中断）
服务器上运行代码会出现这样的问题，比如需要跑大模型这样几个小时或者几天的任务。肯定不可能人一直守着电脑，因为一旦电脑关闭或者网络中中断，服务器和电脑就会断开，一旦连接断开，任务就会中断，导致之前的任务就前功尽弃。所以就提出了nohup的用法，能够使任务直接在服务器上运行，即使任务调也无所谓。文本介绍了相关用法和介绍。
2024-08-18 01:45:03
778
原创 Moore-AnimateAnyone环境配置更换为H100可用环境及运行发生问题
目前正在搞AnimateAnyone相关项目，利用moore在做训练时候之前使用传统gpu，比如a100一直没有什么问题，但是在用H100的gpu时候疯狂报错，为了满足h100的gpu使用，经过无数踩坑，完成moore环境搭建，在这里介绍下。
2024-08-16 14:52:37
643
原创 AnimateAnyone大模型数据训练准备及训练
AnimateAnyone是由阿里提出的一项技术，可以实现通过动作视频的驱动，能够令目标图片按照动作视频一样“动起来”。在这里介绍下项目上如何利用各个功能组件，实现这个模型的训练工作，以及发生的问题。
2024-08-14 11:04:15
1210
2
原创 通过服务器将文件传输到google cloud
由于项目之前在服务器中已经配置好了，并且这个项目五十多g，所以就在找一种方法能够直接上传到google cloud中。于是选择了google cloud中的cloud storage进行大文件的存储。下面展示如何在服务器中直接将数据迁移到cloud storage中。
2024-08-05 19:33:57
630
原创 进入容器内部配置docker项目镜像并上传仓库
直接使用dockerfile固然能够快速部署docker镜像，但是部署时可能发生报错，或者部署后发现有的包没有进行安装，就需要再次进行审查，本文提供一种能直接进入容器中调试，调试完成后直接转为镜像的方法。比较适合于工业项目转镜像的场景。
2024-08-05 11:19:02
474
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人