- 博客(17)
- 收藏
- 关注
RSS订阅原创 DeepSeek-R1解读：纯强化学习，模型推理能力提升的新范式？
本文通过对Deepseek-R1技术报告的解读，带你深入理解强化学习如何在Deepseek-R1中重塑LLM的post-training进程
2025-01-26 21:56:05
879
原创 大模型参数高效微调技术（PEFT）探究
Parameter-EfficientFine-Tuning（PEFT，参数高效微调）技术旨在通过最小化微调参数的数量和计算复杂度，来提高预训练模型在新任务上的性能，从而缓解大型预训练模型的训练成本。
2025-01-19 19:26:07
757
原创 一文详尽之Embedding（向量表示）！
在大模型时代，embedding（向量表示）的重要性愈发凸显。不论是在RAG（Retrieval-AugmentedGeneration）系统，还是在跨模态任务中都扮演着关键角色。本文带你详细了解文本向量的前世今生，让你能够更好地了解向量，使用向量。
2025-01-19 18:44:11
1449
原创 论文阅读 METAGPT: META PROGRAMMING FOR A MULTI-AGENT COLLABORATIVE FRAMEWORK
METAGPT首先提出了模拟人类标准化操作流程（SOPs）的多agent协作框架去解决AI自动化编程问题，有效地解决了基于聊天的多agent系统面临的级联幻觉问题。同时提出了基于结构化信息的跨agent通信协议，要求不同的agent按照其特定角色和背景提供必要的结构化输出。
2025-01-16 21:49:40
1181
1
原创 Pytorch 自学笔记（三）：利用自定义文本数据集构建Dataset和DataLoader
Pytorch自学笔记系列的第三篇。针对Pytorch的Dataset和DataLoader进行简单的介绍
2025-01-15 17:31:49
741
1
原创 论文阅读 AutoDev: Automated AI-Driven Development
为什么要读这篇论文？学习一个coding agent的技术架构，建立对coding agent架构的基本认知。在此基础上再进一步探究MetaGPT、LDB、AgentCoder等业界SOTA coding agent的技术架构。
2025-01-15 17:10:06
1094
1
原创 Tiny-universe学习笔记：Qwen-blog
本文是参与[DatawhaleTiny-universe组队学习](https://github.com/datawhalechina/tiny-universe)的学习笔记第一篇，笔记中的代码均参考transformers-4.39.3中的Qwen2模型实现，基于torch开发，代码路径为transformers-4.39.3/src/transformers/models/qwen2。
2024-05-15 20:55:18
2656
2
原创 零基础入门金融风控-贷款违约预测_Task3
本文在task2基线方案的基础上，进行了缺失值的填充，利用平均数填充了数值型特征，利用众数填充了类别型特征。
2020-09-21 21:15:14
353
2
原创 零基础入门金融风控-贷款违约预测_Task2
贷款违约预测_Task2本文结合数据分析，给出了本次比赛的基线方案，该基线方案线上评测得分为0.7391。
2020-09-18 20:29:10
573
3
原创 零基础入门金融风控-贷款违约预测_Task1
贷款违约预测_Task1零基础入门金融风控-贷款违约预测_Task1数据概况预测指标零基础入门金融风控-贷款违约预测_Task1数据概况数据包含三部分：训练集（train.csv）、测试集A（testA.csv）、提交结果样例（sample_submit.csv）。其中，包含47列变量信息，其中15列为匿名变量。为了保证比赛的公平性，将会从中抽取80万条作为训练集，20万条作为测试集A，20万条作为测试集B，同时会对employmentTitle、purpose、postCode和title等信息进行
2020-09-15 20:41:31
294
原创 Datawhale大作业_基于Bert实现文本分类
Datawhale大作业基于Bert实现文本分类ImportParameters and HyperparametersTokenizerLoad IMDB DatasetLoad Pretrained-BertModelTrainEvaluatePredict_sentimentTrain Loop基于Bert实现文本分类Import# 基于Pytorch实现import torchimport torch.nn as nnimport torch.optim as optim# 使用tra
2020-07-06 22:56:31
306
原创 CS224n学习笔记 13_Contextual Word Embeddings
CS224n学习笔记 13Representations for a wordTips for unknown words with word vectorsTwo problems for these representations for a wordPeters et al. (2017): TagLM – “Pre-ELMo”ULMfitThe Motivation for TransformersTransformer OverviewScaled Dot-Product AttentionBer
2020-07-03 23:55:45
310
原创 Pytorch 自学笔记（二）：Pytorch中常用的激活函数与损失函数探究
Pytorch自学笔记系列的第二篇针。对Pytorch中常用的激活函数与损失函数进行一个简单的介绍
2020-07-02 17:43:54
4547
2
原创 CS224n学习笔记 12_Subword Models
CS224n学习笔记 12Human language sounds: Phonetics and phonologyCharacter-Level ModelsBelow the word: Writing systemsPurely character-level modelsPurely character-level NMT modelsFully Character-Level Neural Machine Translation without Explicit SegmentationSub-
2020-06-30 23:33:26
482
原创 CS224n学习笔记 02_Word Vectors and Word Senses
CS224n学习笔记 02Word2vecMain idea of word2vecWord2vec: more details基于统计的词向量GloveCo-occurrence MatrixConclusionWord2vecMain idea of word2vec首先回顾一下，word2vec的主要思想：遍历整个语料库中的每个单词；使用单词向量预测周围的单词；更新向量以便更好地预测。Word2vec: more detailsword2vec 为什么设计两个向量？更容易优
2020-06-27 22:39:46
213
原创 CS224n学习笔记 01_Introduction and Word Vectors
Pytorch 自学笔记（一）CS224n学习笔记 01_Introduction and Word VectorsHow do we represent the meaning of a word?How do we have usable meaning in a computer?1. WordNet2. One-Hot: Representing words as discrete symbols3. Word Vector: Representing words by their contex
2020-06-24 18:28:20
269
原创 Pytorch 自学笔记（一）：使用字符级特征来增强 LSTM 词性标注器
最近开始系统的学习Pytorch，准备写一个系列的blog（大概5篇左右），记录一下自己学习的进程。这第一篇笔记，写的是PyTorch官方教程中LSTM篇的课后练习题实现，网络很简单，但确实是我用Pytorch实现的第一个模型，值得写一篇blog来mark一下。
2020-06-21 10:55:40
2426
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人