自定义博客皮肤VIP专享

*博客头图：

点击选择上传的图片

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

点击选择上传的图片

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

点击选择上传的图片

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览取消提交

自定义博客皮肤

上一步保存

qq_42056934的博客

原创 LLM tool 1/22

post-hoc使用self-consistency用来判断确定度。prompt带来的额外信息量。

2024-01-23 01:45:40 951 1

对seq2seq的编码器来说，无论输入的句子有多长，最后都会被encode到同一个维度（也就是只保留最后的hidden state)，这就会导致一些信息量的溢出。在decoder block之间流动的还是一个向量表征的句子，到了最后一个block往后，就是一个linear，再是经过softmax得到的logits。Transformer不像是seq2seq天然带有先后的顺序关系，而是并行的，所以token之间的位置关系需要有另外的东西来限制，就是位置编码。学会发声，学会发表自己的观点，这是一种能力。

2024-01-22 01:09:14 892