- 博客(116)
- 问答 (1)
- 收藏
- 关注
RSS订阅
原创 技术博客的初发心 做个匠人精神的布道者
都说慢工出细活，希望能在繁重和焦躁的工作当中放慢速度，给大家准确和详细的参考。这导致在搜索的过程中，可以找到大量相关文章，但是能真实解决问题的文章却不多。这导致了很多文章的代码不全、文章结构和图片在转载或复制的过程中出现错乱。由于行业的特点，在工作和实践的过程中，需要查阅大量的文献和技术专栏。技术博客在完善的过程中，都是一边解决项目问题，一边做记录。使得查阅了很多文章，问题没有解决，而且花费了大量的时间。但在查阅资料的过程中，发现大量的文章是二次编辑或转载。有些文章结构导致理解错误，有些代码无法复现。
2023-08-16 11:22:31
282
原创 Specialty Coffee Evaluation 精品手冲咖啡评测
业余时间是咖啡师 主攻精品手冲记录咖啡评测ROSECAFE蓝鸟酸度明显 很酸 温度低时 哈密瓜味明显 尾韵有些红富士 不明显虽然是充了氮气保存 但是感觉豆子时间长 没有很新鲜豆叔 (豆叔是烘焙师，散装英语去过很多国家，还自己给咖啡写故事，人实在，干货多)age曼特宁复刻大航海时代的咖啡 适合冰滴 冷萃入口香辛料刺激味道 回甘明显 高甜度花月夜特点 高香 干豆 磨粉 都很香热 发酵感明显 酸感 比较柔和 任何温度 明显的 菠萝 芒果...
2021-10-13 05:30:00
755
原创 PEFT-Transformers、Unsloth、LLaMA-Factory 微调框架 横向对比
三款微调框架各有侧重：PEFT-Transformers灵活可控，适合深度定制；Unsloth加速显著，适配消费级显卡的单卡小显存场景；LLaMA-Factory开箱即用，便于快速验证。选择应基于目标：追求效率选Unsloth，注重便捷选LLaMA-Factory，需精细控制则用PEFT-Transformers。多卡全参微调建议结合PEFT+DeepSpeed。
2026-10-26 17:04:05
204
原创 Docker 两步快速部署 LLaMA-Factory
本文介绍在无GPU环境下通过Docker部署LLaMA-Factory的完整流程：创建目录，编写docker-compose.yml文件，挂载数据、输出与缓存目录，镜像启动服务。访问http://localhost:7860即可使用WebUI。若端口异常，可检查进程占用或防火墙设置。对于有NVIDIA GPU的环境，需安装nvidia-docker，配置GPU资源后启用GPU加速
2026-10-09 10:30:00
213
原创 Docker 部署Unsloth 绕开环境配置难题
本文介绍使用Unsloth进行大模型微调的流程。通过创建Python虚拟环境隔离环境，拉取unsloth/unsloth:latest或core镜像，分别以GPU或CPU模式启动容器。注意：仅Jupyter、GGUF工具等模块可在CPU运行，而FastLanguageModel训练仍需GPU支持
2026-10-07 18:05:18
298
原创 Unsloth 微调 构建自己的大模型 没有GPU也能微调
本文介绍如何使用 unsloth 框架在 CPU 环境下微调型，使其成为垂直领域的专用模型。文章从解决 Python 系统环境保护机制导致的安装问题入手，详细讲解虚拟环境的创建与使用、CPU 版 PyTorch 的安装与验证、unsloth 的安装步骤，以及 bitsandbytes 版本兼容性等关键问题。随后通过娱乐运势模型的实战案例，展示数据格式化、LoRA 权重配置、模型训练与保存的完整流程，并给出模型测试示例。最后总结 CPU 微调过程中可能遇到的常见问题及解决方案
2026-10-07 11:08:19
196
原创 Docker 部署 Open WebUI 五分钟快速部署
Open-WebUI是一款专为Ollama设计的开源可视化界面，通过API与Ollama后端通信，支持模型切换、对话历史记录、参数调整及容器化部署。基于Docker，可快速搭建本地大模型交互系统，实现便捷的模型管理与使用。需先部署Ollama，再连接Open-WebUI，确保端口互通与网络配置正确，即可在浏览器中高效运行本地大语言模型。
2026-09-19 19:03:33
121
原创 使用Docker安装Ollama 并部署DeepSeek 手把手详细版
使用Docker部署Ollama可实现环境隔离与快速部署，支持LLaMA、Gemma等主流大模型
2026-09-17 18:32:59
195
原创 Oracle VM VirtualBox 扩容虚拟机Linux硬盘容量 CentOS Ubuntu
本文详细介绍了在VirtualBox中为Linux虚拟机扩容硬盘的完整步骤。首先在VirtualBox界面扩展虚拟磁盘容量，然后进入Linux系统进行分区操作：1)使用fdisk创建新分区；2)通过pvcreate将新分区初始化为物理卷；3)用vgextend扩展卷组容量；4)使用lvextend扩容逻辑卷；最后针对不同文件系统类型（xfs/ext4）执行相应命令完成文件系统扩容。文中还特别指出了操作过程中的常见错误及解决方法，并提供了两种文件系统（xfs和ext4）的具体操作差异。
2025-09-15 10:30:00
944
1
原创 ChatGPT 一本正经的胡说八道 那也看看原理吧
ChatGPT凭借强大生成能力引发热议，其核心原理基于SFT、RM与PPO三阶段训练：通过有监督精调（SFT）提升语言生成，人工标注数据构建奖励模型（RM）以优化输出质量，再用近端策略优化（PPO）强化学习实现人类偏好对齐。提示工程（Prompting）将任务转化为语言模型预测，结合完形填空与前缀模式，使模型更精准响应。尽管技术先进，但“信息茧房”与“思考劫持”风险凸显，反映AI依赖人工干预的局限性。
2023-03-06 19:49:10
5134
原创 HFT-CNN 模型复现（论文 Learning Hierarchical Category Structure for Multi-label Short Text Categorization）
HFT-CNN: Learning Hierarchical Category Structure for Multi-label Short Text Categorization论文复现 2018 EMNLP
2022-09-24 15:45:14
639
原创 TensorFlow BERT fine-tune 训练中断解决办法 或 使用开源模型继续fine-tune 参数配置
TensorFlow bert模型中断后如何继续训练
2022-07-11 19:33:17
975
原创 linux pip 原始默认源地址
https://pypi.org/simple可以这样用pip install six -i https://pypi.org/simple
2022-05-17 10:29:49
3701
原创 Dice Loss for Data-imbalanced NLP Tasks (Dice Loss，替代cross entropy(CE)处理数据不平衡问题)
https://github.com/ShannonAI/dice_loss_for_NLP通过定义Dice Loss，替代cross entropy(CE)处理数据不平衡问题。问题在样本不平衡的情况中，主要有以下两种难以克服的难点 the training-test discrepancy: 如果不能很好的平衡样本标签，那么模型学习过程通常会朝着有更多标签的类别收敛。 the overwhelming effect of easy-negative examples: 如果容易判...
2022-05-01 06:15:00
946
1
原创 Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning
问题研究对预训练的语言模型进行微调后就可以在众多下游任务中获取 SOTA 的结果，但这个过程的机制并没有得到很好的理解。尤其是在低数据情况下，为什么可以使用 vanilla gradient descent 方法在只有数百或数千个标记样本的数据集上调整具有数亿个参数的模型概念本征维度 (intrinsic dimension)对一个高维优化问题，获取对应目标的满意解所需的最小参数维度具体公式请参加论文实验根据 GLUE 指标在 MRPC 和 QQP 两个微调数据.
2022-04-26 07:00:00
1350
原创 Python 中 Mysql 外部参数传递
问题在mysql语句中涉及到变量，将参数传递到mysql语句中方法total_num=100sql_sent="SELECT * FROM data_test WHERE num>'%s'" % (total_num)cur.execute(sql_sent)conn.commit()data_all=cur.fetchall()使用%这种方法进行select、update没有问题，但是如果是insert就会有问题，目前也不知道是什么原因cur.execute(
2022-04-25 17:12:17
2569
转载 轻量化微调 Parameter-Efficient Fine-Tuning
导读近年来，大规模预训练模型在自然语言处理任务上取得了巨大的成功。对预先训练好的语言模型进行微调是目前自然语言处理任务中的普遍范式，在许多下游任务上表现出了极好的性能。全参数微调，即对模型的所有参数进行训练，是目前将预训练模型应用到下游任务的最通用方法。然而，全微调的一大弊病是对于每一个任务，模型均需要保留一份大规模的参数备份，在下游任务量很大时这种做法会相当昂贵。在预训练模型越来越大，不断逼近到千亿甚至万亿参数规模时，这种问题会被无限放大。轻量化微调(Parameter-Efficient F
2022-04-25 16:53:34
4195
原创 conda虚拟环境 pip安装相关包后无法使用 解决
conda create -n test python=3.9问题使用conda创建虚拟环境test后，虚拟环境中python为3.9，使用pip安装numpy等，在使用时找不到[root@z /]# pythonPython 3.9.12 | packaged by conda-forge | (main, Mar 24 2022, 23:22:55) [GCC 10.3.0] on linuxType "help", "copyright", "credits" or "licen.
2022-04-08 17:38:25
6981
原创 Python 创建词云 注意事项
1. python创建词云 只能显示英文 需要下载中文字体simhei.ttf是中文字体 有公开资源可以下载加载字体所在目录 font_path2. 出现了重复词其中参数collocations是默认值，会统计搭配词，改为False默认collocations=True，会统计搭配词，改为Falsedef gen_WordCloud(word_num_dic): # 4.生成词云 wc = WordCloud( font_path='./simhei.ttf'
2022-04-02 11:38:56
1352
原创 MySql 跳板机 python连接方法及配置
#跳板机host_jump=跳板机ipport_jump=跳板机portuser_name_jump=跳板机用户名ssh_password=跳板机密码#数据库host_mysql=数据库ipport_mysql=数据库portuser_name_mysql=数据库用户名password_mysql=数据库密码database=数据库名称local_bind_port=22 #本地端口自行定义server = SSHTunnelForwarder( (host_jump,.
2022-03-30 15:35:22
1461
原创 SSL问题 ssl certificate: [SSL: CERTIFICATE_VERIFY_FAILED]
pip install --upgrade pip或 使用pip安装一些包时，出现SSL证书相关问题Cache entry deserialization failed, entry ignoredCould not fetch URL https://pypi.tuna.tsinghua.edu.cn/simple/tensorflow/: There was a problem confirming the ssl certificate: [SSL: CERTIFICATE_VERIFY_FA
2022-03-03 09:51:17
3263
原创 linux 安装 TensorFlow-GPU(1.X.X) CUDA CUDNN各种坑指南
安装环境 centos7 虚拟机 (Ubuntu安装原理相同，命令不同)TensorFlowGPU版本 1.14.0、1.15.0 测试了两个版本显卡 Tesla T4上来就入坑装了好几次TensorFlow，在 import tensorflow as tf ，一直出现‘非法指令’，最终发现是CPU内核指令级的问题，花费了很多时间排查这个问题...第一坑cat /proc/cpuinfo先查看一下CPU的flagsprocessor : 0vendo
2022-01-21 17:04:42
1970
转载 centos7安装python3保姆教程
centos7自带版本是python2.7如果要用的3.0以上的版本需要手动安装，下载地址：https://www.python.org/ftp/python/1、先查看系统python的位置在哪儿whereis pythonpython2.7默认安装是在 /usr/bin目录中，切换到/usr/bin/cd /usr/bin/ll python*从下面的图中我们可以看到，python指向的是python2，python2指向的是python2.7，因此我们可以装个..
2022-01-19 17:43:02
2940
6
原创 python 计算两个地址之间的距离方法(经纬度)
首先需要获取经纬度，可以使用各种api获取，例如百度地图或高德地图输入两个地址上海市徐汇区桂箐路靠近华鑫天地上海市浦东新区张江高科技园 通过api获取的经纬度上海市徐汇区桂箐路靠近华鑫天地 经纬度： 121.407124,31.169677上海市浦东新区张江高科技园 经纬度： 121.593357,31.214343lon1 = 121.407124lat1 = 31.169677lon2 = 121.593357lat2 =31.214343注意返回数值单位的处理
2021-12-31 15:48:46
1797
原创 python 短文本相似 内置库 fuzzywuzzy 速度快
首先安装pip install python-Levenshteinpip install fuzzywuzzy示例from fuzzywuzzy import fuzzfrom difflib import SequenceMatchers1 = "你公司在哪"s2 = "你公司地址在哪里"s3 = "我不知道"# difflibsequenceMatcher = SequenceMatcher()sequenceMatcher.set_seqs(s1, s1)pri
2021-12-31 15:37:29
969
原创 python mysql like写法
在python写mysql会遇到问题，like写法，会显示错误sql_sentence="SELECT * FROM test_sql WHERE title like '%测试%'"这种写法在SQL数据库中没有问题，但是在python中需要换一种写法，多加两个%sql_sentence="SELECT * FROM test_sql WHERE title like '%%测试%%'"...
2021-12-31 15:27:16
1128
原创 urllib.error.URLError: ＜urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed
SSL出现问题urllib.error.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed解决办法方法1 全局取消证书验证import sslssl._create_default_https_context = ssl._create_unverified_context方法2 升级pythonPython 3.7.4以上的版本不会遇到这个问题ref
2021-12-29 14:53:56
1378
原创 SBERT-WK: A Sentence Embedding Method byDissecting BERT-based Word Models
https://arxiv.org/pdf/2002.06652.pdfI. INTRODUCTIONOne limitation of BERT is that due to the large model size, it is time consuming to perform sentence pair regression such as clustering and semantic search.One effective way to solve this problem i
2021-12-24 17:04:03
1024
原创 A Survey of Transformers(整理总结)
https://arxiv.org/abs/2106.04554引言Transformer 最初是作为机器翻译的 Seq2Seq 模型提出的。后来的工作表明，基于 Transformer 的预训练模型 (PTM) 可以在各种任务上实现 SOTA。因此，Transformer，特别是 PTM，已成为 NLP 中的首选架构。除了语言相关的应用，Transformer 还被 CV，音频处理甚至其他学科采用。在过去几年中提出了各种 Transformer 变体（又名 X-former），这些 X-fo.
2021-12-22 09:59:49
1389
原创 BERT的三个Embedding详解
BERT将输入文本中的每一个词（token)送入token embedding层从而将每一个词转换成向量形式两个嵌入层，segment embeddings和 position embeddingstoken embeddingtoken embedding 层是要将各个词转换成固定维度的向量。在BERT中，每个词会被转换成768维的向量表示假设输入文本是 “I like strawberries”。下面这个图展示了 Token Embeddings 层的实现过程:输入文本在送入
2021-12-20 15:31:45
32507
17
原创 Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context
Transformers have a potential of learning longer-term dependency, but are limited by a fixed-length context in the setting of language modeling. We propose a novel neural architecture Transformer-XL that enables learning dependency beyond a fixed length wi
2021-12-20 11:34:47
543
原创 XLNet: Generalized Autoregressive Pretraining for Language Understanding
XLNet is a generalized AR pretraining method that uses a permutation language modeling objective to combine the advantages of AR and AE methods. The neural architecture of XLNet is developed to work seamlessly with the AR objective, including integrating T
2021-12-14 17:44:04
843
原创 AR (Autoregressive) and AE (Autoencoder)
AR语言模型(AutoRegressive LM)：只能获取单向信息，即只能前向读取信息并预测t位置的单词或者从后向读取信息并预测t位置的单词，却不能同时获取双向信息，代表例子是GPT，GPT2，XLNet，ELMOAR LM的优点：比较擅长生成类任务缺点：只能获取单向信息，不能获取双向信息。在ELMO／BERT出来之前，大家通常讲的语言模型其实是根据上文内容预测下一个可能跟随的单词，就是常说的自左向右的语言模型任务，或者反过来也行，就是根据下文预测前面的单词，这种类型的LM被称为自回归.
2021-12-14 15:35:16
1984
原创 How to Fine-Tune BERT for Text Classification?
investigate different fine-tuning methods of BERT on text classification task and provide a general solution for BERT fine-tuning.investigate the different approaches to fine-tuning BERT for the text classification task. There are some experimental fin
2021-12-13 18:37:31
1373
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人