- 博客(10)
- 收藏
- 关注
RSS订阅原创 Transformer模型生成文本的原理及微调方法
在Transformer模型中，由于自注意力机制本身不考虑序列中元素的顺序，因此需要额外的位置信息来指示每个元素在序列中的位置。这通常指的是残差连接（将输入直接加到输出上）和层归一化（对层的输出进行归一化，以保持数值的稳定性）。首先，输入的文本（或其他类型的数据）被转换为嵌入向量。模型利用预训练学到的知识和微调过程中学到的特定任务知识，对输入文本进行编码，生成一个内部表示（通常是一系列的向量）。模型首先在大量无标注的文本数据上进行预训练，学习语言的基本规律和知识，如词汇的语义、语法结构、上下文关系等。
2024-09-24 14:05:28
1128
原创 A100、V100等GPU私有化部署小模型ChatGLM4-9b并发测试方案
租聘服务器之后，运行chatGlm4-9b模型，服务启动之后，通过apifox 多线程去批量调用，不断增加并发量，直到成功率不足100%停止，连续三次结果的平均值，即为当前GPU的并发量。在后面给其他客户评估服务器资源时，例如客户要求100路并发，我们评估了A100服务器，要15-20台，成本比开发成本都搞了。A100等大内存显卡，多模型部署测试 价格不确定， 先按照200来计算，等200块用完了根据实际情况来调整。先单模型跑，查看极限并发量，然后再查找资料，看怎么多模型部署。并发量测试 300左右。
2024-09-23 17:38:28
760
原创 JAVA代码进行语义相似度聚类并生成热点数据
根据工单信息梳理出来工单的核心要点内容，生成热点信息，和百度的热搜类似，要求生成每月的热点事件。以下是我根据代码梳理了一个合并热点的工具类，提供一个方法，入参是标题列表，最后返回合并结果，及合并的热点标题。
2024-09-11 16:06:53
584
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人