- 博客(51)
- 收藏
- 关注
RSS订阅原创 GPU机器-显卡占用
不论在读研、实习还是正式的算法同学，经常会想跑训练&推理任务找不到卡，即使有卡还需要重新装环境，比较麻烦，所以许多经常使用公司内部云平台GPU开发机时候，会在跑完任务时候，跑一些无用的任务占用GPU，防止机器被kill下面提供一个通用的gpus占用任务，方便大家占卡，但如果很久不用还是最好释放资源给别的同学实验哈。
2025-10-31 11:05:23
716
原创 conda 环境配置
公司里面因为a100 等gpu往往为了资源灵活分配，使用数据挂载、docker镜像自动部署，模型训练所需命令执行。通常我们可以直接部署一个常用的docker 镜像环境，进行快速创建训练&推理机器，但随着我们使用框架不同，部分库更新版本问题灵活变动，经常需要手动调整，重新配置。因此这里编写shell命令，在数据挂载中，提前dump好比较大的pip和工具，如anaconda3、torch、cuda工具库等。
2025-10-30 16:56:13
204
原创 排序-评价指标
整体来说，召回之后，我们得到若干个doc 内容（可能包括title，abs，前置label，pv,uv,时效性，权威性等特征），需要与query侧特征+用户侧特征进行交互，得到满足query+用户需求的 多个doc的打分，进行排序展示给用户。最近要跳到排序的组，之前都是做QP相关的，基本就是query分类（行业、意图），NER实体抽取，query改写，纠错，连qd相关性的模型都很少做，感觉突然跨到搜索链路后端也有点慌。注意：视频本身时长分布极不均匀，必须分 bucket 看（0–30s，30–300s…
2025-10-30 15:02:05
548
原创 我的来时路
感觉生活也是很舒适滴，但随着组织架构变动，每个月逐渐同事跳槽、离职，干的活因为上下游同事离职停滞，到老板离职，无人关心，到合并到别的组成为边缘透明人物，再到每天在公司坐在发呆，一个人吃饭、健身，熬到下班，不知道日子什么时候是个头。所以也没有很长远的职业规划，算法上也没有任何影响力，仅仅基础基本了解，使用尽量快速上手，架构逻辑代码尽量让GPT5帮我改改，模型训练也没有很好优化思路，可能各个公司互相参考框架模块之间的交互逻辑，互相模仿，持续迭代迭代数据，尽量让项目能LR。
2025-10-29 11:19:41
222
原创 symbol cublasLtHSHMatmulAlgoInit version libcublasLt.so.11 not defined in file libcublasLt.so.11
cuda debug
2024-03-04 21:25:21
608
2
原创 ValueError Your setup doesn‘t support bf16gpu. You need torch=1.10, using Ampere GPU with cuda=11.0
debug 深度学习训练，bf16
2023-11-08 17:05:35
4991
3
原创 TypeError Object of type int64 is not JSON serializable
debug python json numpy
2023-05-19 11:02:47
876
原创 论文笔记 CoT：提示+推理+大模型=思维链提示
Google Brain CoT 思维链提示，为后面Instruction Finetune 打下基础的论文
2023-04-10 15:42:05
3155
1
原创 句向量 Sentence Embedding
句向量 Sentence embedding 对比学习 SimCSE SCD Bert-flow Bert-whitening
2022-07-11 12:48:17
2852
2
原创 SCD Self-Contrastive Decorrelation for Sentence Embeddings
ACL2022 句向量 句嵌入向量 sentence embedding 对比学习 自监督 NLP
2022-07-11 00:10:58
435
原创 A Closer Look at How Fine-tuning Changes BERT
ACL 2022 bert的fine-tune机制对向量表示的影响分析
2022-07-05 17:38:58
693
原创 ParaBLEU:Generative Pretraining for Paraphrase Evaluation
ACL2022 生成任务评测 ParaBLEU
2022-05-29 11:56:41
182
原创 GLM General Language Model Pretraining with Autoregressive Blank Infilling
ACL2022 统一预训练模型
2022-05-29 11:52:49
2087
1
原创 CLIP的后续工作
CLIP的后续工作clip作为Open-AI给咱做的一个玩具，自从21年2月到22年5月看了一下差不多有一千篇有关的工作和论文，下面介绍一下一些比较有趣的工作，在github上star比较多的工作。StyleCLIP论文链接：https://arxiv.org/pdf/2103.17249.pdf项目链接：https://github.com/orpatashnik/StyleCLIP结合StyleGAN和CLIP的工作，提出了三种结合方法：以文本为指导的 latent 优化，其中
2022-05-18 16:29:06
2218
4
原创 SimCTG：缓解GPT2在生成任务上token的各向异性
2022 腾讯AI lab的文章，使用SimCTG对比损失loss和decode解码方式，来缓解生成模型的各向异性问题，解决重复生成问题，有代码示例。
2022-05-15 23:07:41
1256
原创 CLIP学习笔记
CLIP 学习笔记论文：Learning Transferable Visual Models From Natural Language SupervisionopenAI在2021年2月发表对NLP和CV圈都很重要的一篇工作主要是通过4亿个文本图片对，进行对比学习预训练，得到词和图片的embedding转换器，在图片分类zero-shot上达到很好效果，后续也可以接很多工作。clip的github地址 openai/CLIP: Contrastive Language-Image Pretrai
2022-05-13 15:38:45
2229
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人