ljp1919的专栏

为将Qwen大模型部署到手机，实现断网下Qwen模型正常使用，本文选择MLC-LLM框架。MLC LLM（机器学习编译大型语言模型，Machine Learning Compilation for Large Language Models） 是一种高性能的通用部署解决方案，将任何语言模型本地化部署在各种硬件后端和本机应用程序上，并为每个人提供一个高效的框架，以进一步优化自己模型性能。该项目的使命是使每个人都能够使用ML编译技术在各种设备上本机开发、优化和部署AI模型。

上篇主要介绍Llama2的基本情况和基于官方模型实测Llama2在中英上的效果，包括。今天这篇小作文作为Llama2的下篇，主要介绍如何用中文语料对Llama 2的基座模型(7B版)进行微调并实测微调后模型的效果。本文实验完整代码请找小编索取。后续将实战Code Llama感兴趣的小伙伴可以关注下！

这3点都是在构建具体应用过程必须要考虑的。通过OpenAI的内容审核接口可以检查用户输入的内容是否符合OpenAI的使用政策，包括识别是否存在不良信息、仇恨言论、暴力内容、色情内容等，并对其进行过滤或标记。小伙伴们好，我是卖热干面的小女孩。主要是配置 ChatGPT 的api key和封装调用ChatGPT api的函数。从上述结果可以看出，使用分隔符可以预防Prompt注入。从返回结果可以看出，ChatGPT对各个类别进行鉴别并返回对应的得分。，从回复的结果看，确实是用英文回复，而不是中文。

你可以想象它在助手的耳边低语，引导它的回应，而用户不会注意到系统消息。所以我们现在追加另一个系统消息，它是另一条prompt，我们说创建一个刚刚订单的 JSON 摘要，列出每个项目的价格，字段应包括1）披萨，包括尺寸，2）配料列表，3）饮料列表，4）辅菜列表，包括尺寸，最后是总价格。现在我们已经给模型提供了上下文，也就是之前的对话中提到的我的名字，然后我们会问同样的问题，也就是我的名字是什么。给系统设置的消息是，“你是一个友好的聊天机器人”，第一个用户消息是，“是的，你能提醒我我的名字是什么吗？

例如，在一个特定的短语中，“我的最爱食品"最有可能的下一个词是"比萨”，其次最有可能的是"寿司"和"塔可"。因此，在温度系数为零时，模型将总是选择最有可能的下一个词，而在较高的温度系数下，它还将选择其中一个不太可能的词。这里指的文本扩展(Expanding)是将短文本，例如一组说明或主题列表，输入到大型语言模型LLM中，让模型生成更长的文本，例如基于某个主题的电子邮件或论文。

大型语言模型的一个非常好的特点是，对于许多这样的任务，你只需要编写一个prompt即可开始产生结果，而不需要进行大量的工作。同样，如果你试图总结在线购物电子商务网站的许多评论，对于这些评论来说，弄清楚是什么物品，谁制造了该物品，弄清楚积极和消极的情感，以跟踪特定物品或特定制造商的积极或消极情感趋势，可能会很有用。随着全球化与跨境商务的发展，交流的用户可能来自各个不同的国家，使用不同的语言，因此我们需要一个通用翻译器，识别各个消息的语种，并翻译成目标用户的母语，从而实现更方便的跨国交流。

梅子留酸软齿牙，芭蕉分绿与窗纱。日长睡起无情思，闲看儿童捉柳花。小伙伴们好，我是微信公众号的小编：卖冰棍的小男孩。。后续会持续整理模型加速、模型部署、模型压缩、LLM、AI艺术等系列专题，敬请关注。紧接前文，今天这篇小作文主要介绍ChatGPT Prompt 编写过程中的一些迭代优化细节。在机器学习里，先完成一个能跑通的模型，才能对它进行改进迭代；提示工程(prompt engineering)也一样，最初版本的 prompt 或许不够完美，需要学会如何一步步细化要求，进行迭代改进。

Prompt注入是指如果用户将某些输入添加到Prompt中，则可能会向模型提供与原本想要执行的操作相冲突的指令，从而使其遵循冲突的指令而不是执行真正想要的操作。在这个例子中，学生的答案是错误的，但如果我们没有先让模型自己计算，那么可能会被误导以为学生是正确的。例如，在以下的示例中，告诉模型其任务是以一致的风格回答问题，并先给它一个孩子和一个祖父之间的对话的例子。以下示例中，要求 ChatGPT 生成三本书的标题、作者和类别， 并要求以 Json 的格式返回给，为便于解析，还指定了 Json格式的键。

绿树阴浓夏日长，楼台倒影入池塘。水晶帘动微风起，满架蔷薇一院香。小伙伴们好，我是微信公众号《小窗幽记机器学习》的小编：教形意拳的老男孩。更多、更新文章欢迎关注。后续会持续整理，敬请关注。今天这篇小作文主要是为了庆祝网上铺天盖地高呼666和999的讯飞版ChatGPT：星火的诞生。参与今天评测有以下4个：星火、文心一言、bing chat和chatgpt。

Vicuna-13B是在LLaMa-13B的基础上使用监督数据微调得到的模型，数据集来自于ShareGPT.com产生的用户对话数据，共70K条。使用 GPT-4 作为判断的初步评估表明，Vicuna-13B 达到了 OpenAI ChatGPT 和 Google Bard 90% 以上的质量，同时在>90%的情况下优于 LLaMA 和 Stanford Alpaca 等其他模型。剧透下，后文实测效果，其实吧，还行吧。此外，将冗长的对话分成更小的部分，以适应模型的最大上下文长度。月黑见渔灯，孤光一点萤。

春风桃李花开日，秋雨梧桐叶落时。小伙伴好，我是微信公众号《小窗幽记机器学习》的小编：卖核弹的小女孩。

Stanford Alpaca是一个Instruction-following的LLaMA模型，即一个对LLaMA模型进行指令调优的结果模型。更多细节可以参考。

本文尝试以NLP领域中的常用模型BERT为例(仅将输入文本进行encode)，综合评测包括**Pytorch、ONNX、JIT、TensorRT和OpenVino**在内这5种推理方案的性能。

本文以 BERT-base 的为例，介绍2种常用的推理加速方案：ONNX 和 TorchScript，并实测对比这两种加速方案与原始Pytorch模型格式的inference性能

文章基于词-词关系分类，提出一个统一的实体框架 W2NER，关系包括 NNW 和 THW。框架在面对各种不同的 NER 时非常有效。

本文主要介绍在 multi-class 分类任务中，使用 micro 类指标， micro-precision, micro-recall和micro-F1值都是相等这一情况的说明。

MarkBERT 也是一种考虑如何将词信息引入到模型的方案。MarkBERT基于字的模型，但巧妙地将**词的边界**信息融入模型，具体操作是将词之间插入边界marker。出现边界marker意味着前一个字符是词的尾部字符，而紧接着的字符是另一个词的起始字符。如此可以统一处理所有词，不存在词的OOV问题。

汉字作为象形文字有其潜在的特殊字形信息，而这一点经常被忽视。FGN是一种将**字形信息**融入网络结构的中文NER方法。除了用一个新型CNN对字形信息进行编码外，该方法可以通过**融合机制**提取**字符分布式表示**和**字形表示**之间的交互信息。FGN主要有2个创新点： (1)FGN 提出一种新型的CNN结构，即**CGS-CNN**，以**获取字形信息**和**相邻图之间的交互信息**。(2)提出一种**滑动窗口和注意机制**来融合每个**字符的BERT表示**和**字形表示**。

中文NER通常以字符为单位进行序列标注建模，即一般使用character-based模型。这主要是由于中文分词存在误差，会带来错误传导，所以一般character-based的中文NER模型通常要优于 基于word-based(经过分词)的序列标注建模方法。而在character-based模型中引入词汇信息可以显著提升中文NER效果已经得到多方验证。FLAT也是一种将词汇信息融入character-based模型的解决方案。

SoftLexicon是一种简单而有效的**将词汇信息纳入字符表示**的方法。这种方法避免设计复杂的序列建模结构，并且对于**任何NER模型**，它**只需要细微地调整字符表示层**来引入词典信息。在4个中文NER基准数据集上的实验结果表明，该方法的推理速度比现有SOTA方法**快6.15倍**，性能更好

LatticeLSTM 出自于 ACL2018中的Chinese NER Using Lattice LSTM。LSTM-CRF模型在英文命名实体识别任务中具有显著效果，在中文NER任务中，基于字符的NER模型也明显优于基于词。

背景本文简要介绍如何使用 Triton 部署 BERT模型，主要参考 NVIDIA/DeepLearningExamples准备工作下载数据进入到/data/DeepLearningExamples-master/PyTorch/LanguageModeling/BERT/data/squad后，下载数据:bash ./squad_download.sh下载模型wget --content-disposition https://api.ngc.nvidia.com/v2/models/n

基本信息标题：Autoregressive Entity Retrieval机构：阿姆斯特丹大学、Facebook AI Research、巴黎高师、巴黎文理研究大学、法国国家信息与自动化研究所、英国伦敦大学学院作者：Nicola De Cao, Gautier Izacard, Sebastian Riedel, Fabio Petroni论文代码：https://github.com/facebookresearch/GENRE论文地址：https://arxiv.org/abs/2

背景在使用其他组织或个人发布的RoBERTa预训练模型时，一般除了模型文件之外还会有merges.txt和vocab.json。相比于BERT只需要一个vocab.txt，为何RoBRETa需要2个？作用是什么？说明Bert采用的是字符级别的BPE编码，直接生成词表文件。Roberta采用的是**byte level的BPE(BBPE)**编码，预训练结果中的merges.txt中存储了BBPE过程中merge得到的所有token，可以简单理解成就是字典。vocab.json则是一个字典中基本单元到索

基本信息题目：DeBERTa: Decoding-enhanced BERT with Disentangled Attention机构：微软研究院作者：Pengcheng He, Xiaodong Liu, Jianfeng Gao, Weizhu Chen论文地址：https://arxiv.org/abs/2006.03654论文代码：https://github.com/microsoft/DeBERTa简介Q： 文章要解决的问题是什么？A： 改善 BERT 和 RoBER

0. 背景机构：Facebook AI、华盛顿大学、普林斯顿大学作者：Vladimir Karpukhin, Barlas Oğuz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, Wen-tau Yih论文地址：https://arxiv.org/abs/2004.04906收录会议：EMNLP 2020论文代码：https://github.com/facebookresearch/DPR1. 摘要

摘要这里尝试通过一问一答的方式来简介MiniLM。Q： 这篇文章要解决什么问题？A：预训练模型的低效问题。预训练模型过大的话，有2个弊端：(1)推理速度慢(2)内存空间占用大。Q： 文章如何解决上述问题？A： 提出了一种通用的面向Transformer-based预训练模型压缩方法：MiniLM。MiniLM有3个核心点：(1)蒸馏teacher模型最后一层Transformer的自注意力模块(2)在自注意模块中引入值之间的点积(3)引入助教模型辅助模型蒸馏Q：文章方案最终效果如何？A：

当古希腊神话遇到BERT，于是有了BERT-of-Theseus背景论文标题：BERT-of-Theseus: Compressing BERT by Progressive Module Replacing论文作者：Canwen Xu, Wangchunshu Zhou, Tao Ge, Furu Wei, Ming Zhou机构：武汉大学、北京航空航天大学、微软亚洲研究院论文地址：https://arxiv.org/abs/2002.02925收录会议：EMNLP 2020论文代码

“芝麻街”喜添新成员——Big bird0. 背景题目：Big Bird: Transformers for Longer Sequences机构：Google Research作者：Manzil Zaheer, Guru Guruganesh, Avinava Dubey, Joshua Ainslie, Chris Alberti, Santiago Ontanon, Philip Pham, Anirudh Ravula, Qifan Wang, Li Yang, Amr Ahmed论文地

这里写自定义目录标题背景摘要介绍模型预训练目标GSG预训练语料和下游任务实验结果消融研究Larger模型效果处理低资源数据集人工评测总结：Google发布天马-地表最强文本摘要生成模型,打败人类，我只要1000个样本)背景机构：Google Research作者：Jingqing Zhang, Yao Zhao, Mohammad Saleh, Peter J. Liu论文地址：https://arxiv.org/abs/1912.08777收录会议：ICML 2020论文代码：https:/

背景用BERT对句子进行向量化实施TensorFlow版直接用肖涵博士的bert-as-service。使用方法真的很小白，简单概括为2点：server和client安装。pip install bert-serving-server # serverpip install bert-serving-client # client, independent of `bert-serving-server`在server安装完后，启动服务，比如：bert-serving-start -mod

这里写自定义目录标题0. 背景1. 安装2. 创建新项目3. 查看NLU训练数据集4. 定义模型的配置5. 书写自己的Stories6. 定义 Domain7. 训练模型8. 与助手进行对话0. 背景事先说明：本系列Rasa教程基于Rasa 1.6.1版本。Rasa是一个开源机器学习框架，可用于构建具有上下文理解能力的AI助手(assistant)。Rasa有两个主要模块：Rasa N...

0.背景机构：谷歌大脑、CMU作者：Zhilin Yang、Zihang Dai发布地方：arxiv面向任务：Language Understanding论文地址：https://arxiv.org/abs/1904.09482论文代码：https://github.com/zihangdai/xlnet0-1. 摘要由于上下文双向建模的表达能力更强，降噪自编码类型中的典型代表BE...

0.背景机构：CMU、谷歌大脑作者：Zihang Dai、Zhilin Yang发布地方：arxiv面向任务：Language Understanding论文地址：https://arxiv.org/abs/1901.02860论文代码：https://github.com/kimiyoung/transformer-xl0-1 摘要Transformer具有学习长程依赖关系的潜力...

0. 简介BiDAF采用多阶段的、层次化处理，使得可以捕获原文不同粒度的特征。同时使用双向的attention流机制以在无需摘要的情况下获得相关问句和原文之间的表征。1. 相关工作现有的端-端机器阅读理解中使用到attention机制有3类。第一类是动态attention机制。attention权重的动态更新是基于给定的query、contex及其先前的attention。 Hermann...

背景论文题目：《QANet: Combining Local Convolution with Global Self-Attention for Reading Comprehension》区别于目前大多数包含注意力机制（attention model）和循环神经网络（RNN）的阅读理解模型，QANet 的嵌入编码器和模型编码器摒弃了 RNN 的复杂递归结构，仅仅使用卷积（convoluti...

0-背景机构：Google 大脑作者：Ashish Vaswani等发表会议：NIPS2017面向任务：机器翻译论文地址：https://arxiv.org/abs/1706.03762论文代码：https://github.com/tensorflow/tensor2tensor/blob/master/tensor2tensor/models/transformer.py本文主要...