- 博客(28)
- 收藏
- 关注
RSS订阅原创 0312-PromptMRG：诊断驱动的医疗报告生成提示
在生成报告时，来自分类分支的诊断结果将被转换为令牌提示，以显式地指导生成过程。为了进一步提高诊断准确性，我们设计了跨模态特征增强，通过利用预训练CLIP的知识，从数据库中检索相似的报告来辅助查询图像的诊断。此外，基于每种疾病的个体学习状态，通过对分类分支应用自适应逻辑调整损失来解决疾病不平衡问题，克服了文本解码器无法操纵疾病分布的障碍。提出了诊断驱动的医疗报告生成提示(PromptMRG)，这是一个新的框架，旨在通过诊断感知提示的指导提高MRG的诊断准确性。3，名词解释：医疗报告生成（MRG）；
2025-03-12 17:24:30
390
原创 2025/2/22论文阅读
一种用于医学图像分割的混合CNN-Transformer骨干网络。：在编码和解码阶段之间提出，让模型在处理图像时能够更灵活地关注不同区域，用于。MSA模块：多头自注意力模块；：让模型能够同时捕捉图像中不同尺度的信息。
2025-02-22 18:50:00
372
1
原创 2025/2/18本地部署DeepSeek-R1
安装Chatbox，进入后点击左下角齿轮图标进行设置：模型提供方改为Ollama API，运行模型设置为deepseekr1-1.5b。3，Chatbox AI 是一款 AI 客户端应用和智能助手，支持众多先进的 AI 模型和 API，可实现本地部署模型图形化界面。模型，选择合适权重（此处部署1.5b模型）；是一个开源的本地大语言模型运行框架，设计用于简化在本地运行大型语言模型的过程，降低使用门槛。2，DeepSeek-R1是深度求索公司开发的一款具有强大推理能力的人工智能开源权重模型。
2025-02-18 12:57:49
180
原创 2025/1/2
2，Qwen2-VL-2B-Instruct模型权重下载：git clone https://www.modelscope.cn/Qwen/Qwen2-VL-2B-Instruct.git。API是指应用程序编程接口，是一些预先定义的函数或软件系统不同部分组成衔接的约定，而SDK是软件开发工具包，即开发工具的集合。5）qwen2 MoE（Mixture of Experts，混合专家）：作为原始 FFN（前馈网络） 的替代，一，微调Qwen2-VL-2B-Instruct，同时使用SwanLab（
2025-01-02 17:50:43
216
原创 day1223
也称为图表示学习（Graph Representation Learning, GRL），是一种通过学习节点和边的向量表示，有效捕捉和反映图中的结构特性和节点关系的技术。SOTA-MedSeg收集并实现了众多在医疗图像分割任务中表现出色的深度学习模型-Unet是一种用于图像分割的深度学习网络模型，它在医学图像处理领域得到广泛应用。（研究集中在提高模型的泛化能力和处理小样本数据、迁移学习方面）（研究集中在网络架构搜索、图卷积神经网络、多模态数据融合方面）1，零样本和细粒度方面。医学图像分割进展综述。
2024-12-23 20:22:58
381
原创 2024/11/17学习笔记
1，PathML 是一个专注于病理学图像分析的开源工具包，支持图像预处理（如染色标准化）以及模型训练和结果分析。它提供多种预训练模型，适用于全景切片图像（WSIs）处理和分析。3，终端进入Jupyter Notebook（（图形界面，虚拟环境liuxia中已安装2024/11/17安装），ipython是jupyter命令行接口）：jupyter notebook进入。 是一种轻量级的包管理器，专为高效管理 Python 包及其依赖项而设计。的子集，专注于提供快速、高效的包管理功能。
2024-11-17 15:54:15
377
原创 基于多模态大模型的不完整多组学数据特征选择策略
结合多模态大模型的不完整多组学数据特征选择策略为精准医学提供了强大的支持。通过自监督学习、图神经网络、Transformer、强化学习等先进的技术手段，不仅可以解决数据缺失问题，还能够有效地进行跨模态数据融合，提升特征选择的准确性和鲁棒性。随着技术的不断进步，这些策略将在疾病预测、治疗方案制定等领域发挥越来越重要的作用。
2024-11-11 15:29:22
1147
1
原创 虚拟环境操作
创建虚拟环境：conda create -n env_name python=3.8。删除虚拟环境：conda env remove -n env_name。激活虚拟环境：conda activenv_name。退出虚拟环境：conda deactivate。查看所有虚拟环境：conda env list。
2024-11-06 21:08:08
143
原创 2024/11/6 项目实战笔记
data = [json.loads(line) for line in f] #使用列表推导式读取文件中的每一行，并使用json.loads函数将每一行解析为Python对象。因此，data最终会是一个包含多个字典或列表的列表，每个元素对应文件中的一行JSON数据。核心思想是：通过在输入样本上添加一个微小的扰动，这个扰动的方向是模型损失函数关于输入的梯度方向，可以使得模型的预测结果发生变化。是 PyTorch 的一个扩展库，专门用于处理图像数据，它包含数据集、模型、转换函数等。
2024-11-06 16:22:06
212
原创 VsCode连接远程服务器
1，VsCode安装插件Remote Development(内含四个集成插件如图所示-拓展包（4）)解决方法：右击SSH插件，选择设置，将SSH 配置文件的绝对文件路径设置成连接远程服务器时的路径。输入远程服务器的名称、地址、端口号，如ssh 服务器名@服务器地址 -A。3，连接远程服务器失败与解决方案。2，输入SSH连接命令。
2024-11-03 21:03:36
311
原创 计算机高级算法设计与分析
分治法（Divide and Conquer）是一种算法设计范式，它将一个难以直接解决的大问题分解（Divide）成一系列规模较小的相似问题，这些小问题可以递归地解决（Conquer），然后将这些小问题的解合并（Combine）以得到原始大问题的解。它的基本思想是将原问题分解为子问题，通过求解子问题来构建原问题的解。动态规划通常采用自底向上的方式，即先求解基础情形，然后逐步扩大问题规模，利用已解决的子问题来构建更大问题的解。贪心算法在有最优子结构的问题中尤为有效，即问题的最优解包含其子问题的最优解。
2024-10-28 11:23:57
222
原创 基于LLaMA-Factory框架对Qwen2-7B微调实践
2，配置模型本地路径：/home/user2/liu/qwen/Qwen2-7B（此处也可以直接使用Hugging Face模型库中的模型）1，编写python脚本d.py使用modelscope的API下载所需模型。1，Google浏览器访问UI界面： http://0.0.0.0:6006。2，执行脚本：python /home/user2/liu/d.py。方式2：github上下载压缩包并解压至服务器（此处选用方式2）一、安装modelscope。3，微调参数配置+预览+训练。（实验室GPU上跑）
2024-10-10 21:21:14
722
1
原创 2024/10/10学习记录
一个高效的大型语言模型（LLM）微调平台，旨在通过简单的 WebUI 界面，让用户无需编写代码即可在本地微调上百种预训练模型。该项目支持多种模型和微调方法，包括 LoRA、QLoRA 等，适用于从初学者到高级用户的需求。安装：sudo dpkg -i google-chrome-stable_current_amd64.deb。5，linux系统下安装Google浏览器（远程服务器上的界面可以映射到自己笔记本上）安装依赖项：sudo apt-get install -f。获取安装包：sudo wget。
2024-10-10 20:53:54
266
原创 RAG(检索增强生成)实践
近几年, 随着深度学习的发展，尤其是预训练语言模型的出现极大的推动了文本表示技术的发展, 基于预训练语言模型的文本表示模型在学术研究数据、工业实际应用中都明显优于传统的基于统计模型或者浅层神经网络的文本表示模型。它提供了必要的抽象，可以更轻松地摄取、构建和访问私有或特定领域的数据，以便将这些数据安全可靠地注入 LLM 中，以实现更准确的文本生成。1，RAG 通过在语言模型生成答案之前，先从广泛的文档数据库中检索相关信息，然后利用这些信息来引导生成过程，极大地提升了内容的准确性和相关性。
2024-10-09 12:39:46
647
原创 基于SWIFT和Qwen1.5-0.5B-Chat进行大模型全参微调（魔搭社区）
2，微调后模型推理：CUDA_VISIBLE_DEVICES=0 swift infer --ckpt_dir llm_sft_output/qwen1half-0_5b-chat/v2-20240924-164207/checkpoint-79。1，微调前模型推理：CUDA_VISIBLE_DEVICES=0 swift infer --model_type qwen1half-0_5b-chat --model_id_or_path Qwen1.5-0.5B-Chat。执行--bash run.sh。
2024-09-24 17:35:56
1140
原创 Qlora微调Qwen-1_8B-Chat-Int4
(2)微调执行python finetune.py...... == bash finetune/finetune_qlora_single_gpu.sh。2,使用提供的shell脚本微调，文件目录finetune/finetune_qlora_single_gpu.sh。1， ModelScope 本地加载模型。1，数据准备zy.json。2，切换到Qwen目录下。三、微调(Qlora)1，qwen代码下载。
2024-09-10 19:20:26
390
原创 2024/9/6 Swift框架下模型训练和推理
需要修改infer.sh中路径为训练模型的输出路径----ckpt_dir "/mnt/workspace/swift/examples/pytorch/llm/output/qwen-7b-chat-int8/v0-20240906-094214/checkpoint-100" \。一、qwen_7b_chat_int8。
2024-09-06 11:18:15
578
原创 2024/9/4 RAG实战2、3
2，读取（使用LlamaIndex读取结构化文件中的embedding向量和向量索引数据）一、RAG实战2：如何使用LlamaIndex存储和读取embedding向量。表示从doc_emb目录中读取embedding向量和向量索引，表示根据存储的embedding向量和向量索引重新构建检索索引。二、RAG实战3：如何追踪哪些文档片段被用于检索增强生成。注：下面两项工作在RAG实战1基础上展开。
2024-09-04 17:00:47
194
原创 RAG实战1-基于LlamaIndex构建第一个RAG应用
llama-index-embeddings-huggingface允许我们使用本地的embedding模型去完成文档的切分和编码等操作；llama-index-llms-huggingface允许我们使用本地的大模型去开发RAG应用。4，下载模型文件：git clone https://www.modelscope.cn/qwen/Qwen1.5-14B-Chat.git。中广泛应用的技术，旨在将高维度的数据（如文字、图片、视频等）映射到低维度的空间。3，下载embedding模型权重：。
2024-09-03 20:04:25
788
原创 搭建一个大模型API服务
6，单卡部署：CUDA_VISIBLE_DEVICES=0 swift deploy --model_type qwen1half-4b-chat --model_id_or_path /mnt/workspace/swift/Qwen1.5-0.5B-Chat。5，模型文件下载：git clone https://www.modelscope.cn/qwen/Qwen1.5-0.5B-Chat.git。3，安装swift：pip install -e .[llm]2，切换到swift路径。
2024-09-03 19:17:44
323
1
原创 Lora微调Qwen-1_8B-Chat模型实践（魔搭社区）
样本放入列表存为json文件，命名为chat.json（可以先下载再上传）（2）fp16精度问题：true改为false。（1）相关依赖包不匹配：根据错误提示更新即可。三、保存微调后模型并测试。此处容易出现的问题-
2024-09-02 11:33:29
577
原创 MobaXterm连接远程服务器
连接服务器：首先，你需要通过MobaXterm的SSH功能连接到你的远程服务器。在MobaXterm中，选择Session -> SSH，输入服务器的IP地址、用户名和密码，然后点击OK连接到服务器。检查显卡信息：连接成功后，你可以通过在MobaXterm的终端中输入nvidia-smi命令来查看显卡的信息，包括显卡型号、驱动版本等。监控GPU使用情况：在训练或推理过程中，你可以通过nvidia-smi命令实时监控GPU的使用情况，包括显存使用、GPU负载等，以确保GPU资源被合理利用。
2024-09-02 10:57:36
1344
原创 文献+论文+综述
广义上指的是一切相关的书籍、期刊文章、学位论文、报告等学术资料，狭义上指的是已经发表的学术研究成果，包括各类学术期刊、会议论文集、学位论文等。文献的主要目的是提供学术研究领域内已经发表的相关资料和知识，包括理论性的综述、实证研究、案例分析等，以支持研究论证、提供背景信息和引用先前的研究成果。（收集和整理已经发表的学术资料）则是一篇完整的学术写作，通常包含研究问题、目的、方法、数据分析、结果和结论等内容，是学术研究成果的主要表达形式，通过发表在学术期刊或会议上来与学术界分享研究成果。（原创研究成果的描述）
2024-03-29 15:56:07
478
1
原创 大模型微调过程随记
PyTorch是一个广泛使用的深度学习框架，它的易用性和灵活性都非常高，适合于各种类型的神经网络模型。此外，PyTorch还有一个庞大的社区，提供了大量的教程和资源，可以帮助你快速上手并掌握PyTorch的使用。4，检索增强生成 (RAG) 是一种人工智能框架，用于通过将模型建立在外部知识源的基础上来补充 LLMs 的内部信息表示，从而提高 LLMs 生成的响应的质量。5，LlamaIndex是一个用于连接大语言模型（LLMs）和外部数据源的数据框架，它可以让LLMs访问和利用私有或领域特定的数据。
2024-03-22 19:13:25
188
原创 ChatGLM3-6B部署+高效微调
法一：针对.bin文件点击进入模型权重页面后，鼠标右击download选择复制链接地址，进入终端后使用wget 链接地址方式下载。7，模型下载：git clone https://huggingface.co/THUDM/chatglm3-6b。下载前需要先安装git-lfs工具（拉取大文件）：apt-get install git-lfs。将THUND/chatglm3-6b修改为../chatglm3-6b。5，升级pip版本：python -m pip install --upgrade pip。
2024-03-18 15:56:26
2847
1
原创 大模型相关知识学习随记
2，多模态大模型：多模态大模型是一种基于深度学习的机器学习技术，其核心思想是将不同媒体数据（如文本、图像、音频和视频等）进行融合，通过学习不同模态之间的关联，实现更加智能化的信息处理。能够跟人类进行多轮的交互，也融入了多模态的知识理解，且有文案创作能力，能够续写小说，编写邮件等。3，ModelScope和HuggingFace：为了构建国内的AI模型分享网站，阿里公司在大语言模型火爆AI领域的大背景下选择跟进，推出了对标huggingface的modelscope（理解为国内开源模型分享网站）。
2024-03-16 15:53:38
798
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人