- 博客(18)
- 收藏
- 关注
RSS订阅原创 机器翻译-术语保护
术语保护问题：在翻译过程中，存在着一些专有名词，模型不一定能将全部术语都翻译正确，因此解决方案就是使用专门的术语表。将原文中的专有名词替换成术语表中的译文。
2025-08-19 13:23:06
446
原创 利用fairseq微调中到英翻译模型
本文介绍了中英翻译模型的完整训练流程。首先通过Qwen3-32B大模型对长文本进行句子切分处理，生成对齐的中英文句子对，并进行数据校对。接着使用fairseq工具进行数据预处理、模型训练和评估，包括分词、生成词表、训练Transformer模型等步骤。最后利用ctranslate2将模型打包部署。文章详细说明了数据处理、模型训练参数设置及常见问题解决方案，如专有名词翻译不准确等问题。整个过程涉及数据预处理、模型训练、评估和部署等多个环节，为中英机器翻译任务提供了完整的实现方案。
2025-07-31 09:13:32
929
原创 self-llm之Qwen3微调-huanhuan-chat 问题解决
修改参数指定cuda，执行时候，选择多张GPU卡，即可多卡训练。在TrainingArguments中添加参数。重新创建虚拟环境，解决。
2025-07-22 16:32:11
179
原创 VLLM部署qwen3
包时，系统缺少必要的 C++ 编译工具链（如 g++），或者 CUDA 编译器（再次执行 pip install vllm 成功安装。继续 pip install vllm。安装 gxx和gcc。
2025-07-17 15:57:17
399
原创 大模型学习笔记——.bin、.pth、.model文件
第一种方式其实是在保存模型的时候，序列化的数据被绑定到了特定的类（代码中的模型类）和确切的目录，本质上是不保存模型结构（代码）本身，而是。2. bin文件是二进制文件，是huggingface的保存格式，保存的是模型的参数，类似于torch第二种保存方式。，并且在加载的时候会使用，因此当在其他项目里使用或者重构的时候，这种方式加载模型的时候会出错。而huggingface的bin模型的代码已经内置在包里，例如。例如：Llama-2有.model文件，但是没有。文件定义的，而不是使用。
2025-07-17 15:48:09
437
原创 如何处理大模型返回的``json数据
这样组合后，大致能解决该问题，但是可能大模型返回有多余的文字，这时候还需要另外的处理方式。返回格式不对可以直接跳过。1.添加提示词让大模型返回纯 JSON 格式。
2025-07-17 10:06:53
371
原创 语音识别模型 whisper-diarization复现中遇到的问题
Python报错：pkg-config could not find libraries ['avformat', 'avcodec', 'avdevice', 'avutil', 'avfilter', 'swscale', 'swresample']安装可能faster-whisper==1.1.0，会报编译错误 ，这里直接跳过，不自动编译。whisper-diarization是多说话人识别模型。2. 安装 ffmpeg和av报错。可直接使用conda安装。
2025-07-15 13:15:14
314
原创 VSCODE - 连接远程linux服务器，报错XHR failed
VSCODE - 连接远程linux服务器，报错XHR failed - frank_cui - 博客园
2025-07-15 10:49:40
303
原创 pycharm设置自动识别conda环境
2.这里选择conda安装的路径。1.选择右下角选择环境，然后添加新的解释器，如下图。3.选择对应的环境即可。然后点击重新加载环境。
2025-07-08 09:46:55
205
原创 datawhale开源学习-coze-ai-assistant-task3笔记
是指一系列自动化步骤的集合，这些步骤通过连接不同的插件和服务来完成特定任务或解决某一类问题。工作流可以帮助用户无需编写代码即可实现复杂的业务逻辑和操作流程。coze的工作流支持可视化开发，只需了解业务逻辑即可。2复现聊天机器人案例串讲（上）
2025-03-16 21:58:13
290
原创 datawhale开源学习-coze-ai-assistant-task2笔记
我认为智能体，是能在日常生活中帮助人们提高效率，完成一些日常任务，通过自动化和智能化的方式帮助人们提高效率、节省时间和精力。4.制作了一个简单中医诊疗智能体。基于一些本地的中医知识库。1.为什么要有智能体？
2025-03-12 14:55:46
203
原创 datawhale开源学习-coze-ai-assistant-task1笔记
1.工作流：工作流可以理解为平时做任务的流程，比如读论文，一套的流程为，首先，先找目前研究方向的论文，然后翻译，通读论文，最后再精读。那么这些步骤组合起来就是一个工作流。每一个步骤都可以使用一个智能体帮助你进行。coze能让没有编程背景的用户也能轻松利用AI技术提高工作效率。利用扣子助手，直接实现加单的英语口语聊天机器人。3.复现一个简单的英语口语bot。无代码创建复杂工作流。
2025-03-10 14:14:02
262
原创 服务器上部署模型-下载模型与数据集
注意看到，里面的链接是/resolve/main/要下载的文件名替换/tree/main。由于有的开源数据集非常大，文件也多，可能一时不需要全部下载，只需指定下载。当然也可以直接将文件仓库里的全部数据集一起下载。下载Scibert到 /MOE/文件。进入到Janus文件。
2025-01-30 14:11:23
499
原创 Error creating positionFile parent directories 大数据flume采集到kafka问题
Hadoop 中的 guava 版本和 Flume 中的版本不一致 到/opt/module/hadoop/share/hadoop/common/lib下看到 Hadoop 中 guava-27.0-jre.jar 到/opt/module/flume/lib 看见Flume中 的 guava-11.0.2.jar 解决方法就是 删除 Flume 中的 guava， 把 Hadoop 中的 guava 复制到 Flume 中， 再重新启动f1 f2 lg 就可以看见啦。可能是拦截器类问题。
2024-11-24 19:52:30
612
原创 [08S01][1] Error while processing statement: FAILED: Execution Error, return code 1 from org. apache
报错[08S01][1] Error while processing statement: FAILED: Execution Error, return code 1 from org. apache. hadoop. hive. ql. exec. mr. MapRedTask. User: atguigu is not allowed to impersonate atguigu。解决方案：在hive目录下的conf文件下的hive-site.xml文件，添加配置。该报错是因为内存等资源不足。
2024-10-30 17:35:22
903
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人