挑大梁的专栏

并加入引条件(Conditioning)，可以是目标分类、文本、图片，以更准确、更好的进行Decoder。多张图像引导 人脸、商品数字分身 LoRA/DreamBooth。：VAE(变分自编码器)将图像特征压缩到原始尺寸的。单张图像引导 SD Outpainting 模型。单张图像引导 SD Inpainting 模型。图像引导生成，1 作为输入 2 引导输入。特征注入式引导生成 ControlNet。特征注入式引导生成 IP-adapter。特征注入式引导生成 InstantID。

vLLM 无缝支持多个 Hugging Face 模型，包括 Aquila、Baichuan、BLOOM、Falcon、GPT-2、GPT BigCode、GPT-J、GPT-NeoX、InternLM、LLaMA、Mistral、MPT、OPT、Qwen 等不同架构的模型。vLLM 比 HuggingFace Transformers（HF）的吞吐量高出 8.5 倍-15 倍，比 HuggingFace 文本生成推理（TGI）的吞吐量高出 3.3 倍-3.5 倍。支持张量并行处理，实现分布式推理。

多模态学习的核心在于特征对齐多模态大语言模型的本质在于All-to-one(LLM)的特征对齐范式多模态大语言模型在处于飞速发展阶段。

通过余弦距离将文和图转换至同一向量空间。将图像的分类闭集引入至开集。Mask Image Modeling 无监督图像特征学习。2 基于transformer架构的图像-文本联合建模。3 大规模 图-文 Token对齐模型CLIP。支持图文交替输出，输入文本或图像，输出自然语言。4 多模态大语言模型OpenAI GPTv4。

角色后跟随的是metadata，对于function calling来说，metadata是调用的函数和相应参数；get_weather\n```python\ntool_call(location=“北京”)```实际应用中，我们只需要将上述数据，与ChatGLM 3的标准数据格式对齐，就可调用其原生的数据加载器，自动完成数据拼接。微调：在预训练的基础上，使用自己的特定数据集上进行训练，对训练参数进行微调。\n根据天气工具的信息，北京的天气是：温度 12 摄氏度，有雾。

通过HuggingFace，可以指定模型名称，运行自动下载对应Tokenizer。这些损失函数也可以组合使用（在模型蒸馏的场景常见这种情况），例如。为了让训练过程更好的收敛，人们设计了很多更复杂的求解器。6.定义数据规整器：训练时自动将数据拆分成Batch。加载数据集—>数据预处理—>数据规整器—>训练器。——假设是概率分布 p,q 是离散的。是一个预先定义的权重，也叫一个「超参」4. 加载Tokenizer。(等价于欧式距离，见下文)：转成模型接受的输入格式。

项目地址：https://github.com/langfuse。官方网站：https://langfuse.com/通过docker compose up -d安装。将解析数据上传至创建的数据集my_dataset。实际调用,判断是否为新问题，需要回答。构建 PromptTemplate。创建自己的项目获得API Key。初始化大纲和问题列表。加载prompt测试。

将大语言模型作为一个推理引擎。给定一个任务，智能体自动生成完成任务所需的步骤，执行相应动作（例如选择并调用工具），直到任务完成。

在8线小城的革委会办公室里，黑8和革委会主任的对话再次展开。黑8：主任，您知道吗？除了OpenAI API，现在还有一项新的技术叫做Assistants API，它可以帮助我们更好地进行对话和沟通。主任：Assistants API？听起来很神奇，它有什么特别之处吗？黑8：是的，主任。Assistants API不仅可以生成自然流畅的文本，还能理解对话中的语境和情境，从而更加智能地回应用户的需求。它可以模拟人类对话，进行智能问答、提供建议和解决问题，为我们的工作和生活带来更多便利。主任：这听起来确实很有用。

LLM的知识不是实时的LLM可能不知道你的私有的领域/业务知识。

黑8决心将对 OpenAI API 的学习应用到更多实际场景中，以展示新时代技术的巨大潜力。在接下来的日子里，他不断探索和尝试，将 API 中的各种功能融入到不同的生活场景中，取得了一系列令人瞩目的成果。首先，他将 OpenAI API 中的文本生成功能应用到了日常写作中。通过简单的 function calling，他可以请求 API 生成文章大纲、段落或完整的文章。例如，在准备一个关于项目的解决方案时，他使用 API 生成了一份生动而具有说服力的文章，引起了人们的关注和共鸣。

提示工程也叫「指令工程」Prompt 就是你发给大模型的指令，比如「讲个笑话」、「用 Python 编个贪吃蛇游戏」、「给男/女朋友写封情书」等貌似简单，但意义非凡Prompt」 是 AGI 时代的「编程语言」Prompt 工程」是 AGI 时代的「软件工程」提示工程师」是 AGI 时代的「程序员」学会提示工程，就像学用鼠标、键盘一样，是 AGI 时代的基本技能提示工程也是「门槛低，天花板高」，所以有人戏称 prompt 为「咒语」大模型对prompt开头和结尾的内容更敏感。

月黑风高，乌云密布，树木低垂，黯淡沉闷。这黎明前的风暴，预示着新时代的变革即将到来。在一个8线小城市的办公室中世界上有男人、女人、人妖，米国有1/3男，2/3女…，以后会增加一个非常重要的人种，他就像孙悟空拔毫毛，变化出拥有各种本事的自己。如果咱们不懂驾驭他，做他的师傅，咱们可就被统治了。这是什么妖怪啊？人工智能大模型： 哪有那么夸张，离咱们远了去了，你小子是不是疯了，危言耸听，自以为是。梁主任啊，这妖怪来头还不小呢，正以一日千里的速度赶来。咱们非常有必要提升对他的了解和认知。您知道吗？