- 博客(3)
- 收藏
- 关注
RSS订阅原创 初识大模型（三）：AIgoAI项目的落地实现
渐进式领域迁移：前5% step使用0.1倍学习率知识保留：采用EWC(Elastic Weight Consolidation)策略。
2025-04-13 21:34:46
614
原创 初识大模型（一）：AIgoAI项目的大模型技术全景解析
彻底摒弃RNN/CNN的序列处理方式，采用纯注意力机制并行计算效率提升8-16倍（相比LSTM）最长依赖距离从200 tokens（LSTM极限）扩展到数千tokensMasked Language Model (MLM)：随机遮蔽15%的token进行预测Next Sentence Prediction (NSP)：判断句子间关系输入：用Python实现快速排序，要求时间复杂度O(n log n)输出：监督微调（SFT）：人工标注对话数据奖励建模（RM）：人类对输出排序标注。
2025-03-30 22:23:28
834
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人