- 博客(4)
- 收藏
- 关注
RSS订阅原创 关于llm-agent讲座的思考
当前的大语言模型研究单LLM作为大脑，还未在多模态大模型作为Agent的研究有很多探索。发现LLM会受到单词字母顺序混乱造成扰动出错，但是人的大脑不会，人的大脑是形状感知到上下文理解，这是很有意思的研究。扰序研究方向可以作为一个benchmark，好的模型越来越好，反之鲁棒性差的模型会更差。第三个研究方向是大语言模型的信息分层，针对不同用户给出不同层面规模的回答。重点关注图结构与模型剪枝的关系。权重的下降与模型剪枝去掉无关分支是一个意思。将关键点的连接关系构建成三元组，用知识图谱的形式进行推测。
2024-10-09 19:44:21
393
原创 NeRF（Neural Radiance Fields）
神经辐射场（Neural Radiance Fields，简称NeRF），用于生成高质量的三维重建模型。从多个视角的图像中提取出对象的几何形状和纹理信息，然后使用这些信息生成一个连续的三维辐射场，从而可以在任意角度和距离下呈现出高度逼真的三维模型。
2023-07-27 16:26:34
240
1
原创 CLIP模型
最大的作用是打破固定类别的分类，实现zero-shot 不需要像imagenet一样啊做1000类，或者像Coco一样做80类 在进行识别新物品（不一定要原来数据集中拥有的）时，只需要添加对应的新标签进去即可识别。实现图片特征与文字特征的相似度计算，label只需要对角线的一对图片与文字。扩展应用包括：ai绘图，视频检索，文本生成等。
2023-07-27 16:22:42
151
1
原创 MAE的作用
做法：随机mask一定百分比的patch，将未mask的patch作为输入，经过encoder-decoder，在decoder时重建输出重建图片，MSE loss只计算mask部分的patch。decoeder不重要，我们需要的是已经自学习特征的encoder。自监督学习，相当于高效的预训练encoder。
2023-07-27 14:39:44
242
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人