小白的博客

将原始LiDAR数据作为输入，利用LLMs卓越的推理能力，来获得对室外3D场景的全面了解，将3D户外场景认知重构为语言建模问题，如3D captioning, 3D grounding, 3D question answering。

手动尝试最优的提示无异于大海捞针，于是便有了自动离散提示搜索的方法，但提示是离散的，神经网络是连续的，所以寻找的最优提示可能是次优的。而如果采用固定预训练模型的某些层，只微调接近下游任务的那几层参数，又难以达到较好的效果。PEFT（Parameter-Efficient Fine-Tuning）是hugging face开源的一个参数高效微调大模型的工具，里面集成了4种微调大模型的方法，可以通过微调少量参数就达到接近微调全量参数的效果，使得在GPU资源不足的情况下也可以微调大模型。

通过利用预训练的视觉模型和语言模型来提升多模态效果和降低训练成本，预训练的视觉模型能够提供高质量的视觉表征，预训练的语言模型则提供了强大的语言生成能力。

BLIP提出了一种基于预训练的方法，通过联合训练视觉和语言模型来提升多模态任务的性能。BLIP(Bootstrapping Language-Image Pretraining)是salesforce在2022年提出的多模态框架，是理解和生成的统一，引入了跨模态的编码器和解码器，实现了跨模态信息流动。在AIGC中通常用来给图像生成prompt，好的prompt对交叉注意力的微调非常关键，例如ControlNet中的Automatic Prompt就是BLIP生成的。

(a)表示传统的视觉基础模型，如对分类任务进行预训练的ResNet。(b)表示视觉语言基础模型，例如CLIP，对图像-文本对进行预训练。(c)InternVL，它提供了一种将大规模视觉基础模型(即InternViT-6B)与大型语言模型对齐的可行方法，并且对于对比和生成任务都是通用的。比较各种通用视觉语言任务的结果，包括图像分类、视频分类、图像文本检索、图像字幕和多模态对话。InternVL在所有这些任务上都达到了最佳性能。

提出了一种新的白盒变压器架构，名为，通过操作来实现数据的表示学习。这种架构的设计使得内部表示更易解释，相比于黑盒变压器，CRATE的内部表示具有更清晰和易提取的语义含义。通过最大化 coding rate reduction——∆R(z)，可以促使特征zi​被紧凑地编码为低维高斯分布的混合物，其中不同的高斯分布在统计上是不相关的。还探讨了之间的联系，指出去噪等价于学习数据分布的表示。因此提出了一种结构化的去噪-扩散理论，以此来构建一致的编码器-解码器对 f, g。

vit

bert系列

Swin Transformer

CLILP

BERT

InstructGPT

gpt

ai医生

微调nlp

nlp

nlp

embedding

RNN

nlp

Pytorch是一款facebook发布的深度学生框架，由其易用性，友好性，深受广大用户青睐tensor常见数据类型