thankyvision

混迹于检索领域也有多年，从2011年开始，先后经历过大小的检索相关项目：非线性编辑媒资库检索（图片检索+文本检索），字幕自动生成（语音识别+文本匹配检索），节目检索（图片检索+音频检索），搜剧（图片检索+视频处理），相册管理（图片识别检索+文本检索+视频分析）等项目，对end to end的流程及优化技术还算了解，对AI模型的ensemble使用及performence炼丹接触较多，后面针对RAG做一些粗浅的分析，欢迎指正和讨论，勿喷~。菩提修妙树，接引证法源，屠龙万仙阵，玉虚祭封神。

k和v是同一种事物的抽象表示，q是同一种或不同种的抽象表示，通过qk的相关性计算（attention score），得到v中真正核心有用的内容。transformer理论上能建模无限长序列，不像lstm或rnn（不能建模长序列，容易遗忘性），而且能够并行计算（lstm是有时序依赖的，不能并行计算），这是它强大的第二个原因。你可以理解为，v是你的本体，k是影分身，q是敌方忍者。transformer的mask机制，能挑选控制attention的位置和方向，从而进行效果或性能的优化，这是它强大的第三个原因。

ChatGPT还不是彻底的产品化（仍旧位居高成本，仍旧不够智能），虽然有各种融入产品的计划，但效果如何需要拭目以待。目前的自媒体宣传的比较浮夸，但其实ChatGPT的训练集仍旧比较不足，结果不像宣传的那样出众，并且有可能千篇一律。注重数据语料，目前国内互联网网民基数大，原始数据多，但如何标注及清洗，需要仔细考虑。结合自身领域，构建产品空间，借助ChatGPT，改变产品质量，切忌夸大。技术分析及可能的改进（性能+效果）我会在另外的帖子中拆解，敬请期待。注重产品化，注重持续投入，注重研究外的实战。