- 博客(5)
- 收藏
- 关注
RSS订阅原创 实现Qwen2-1.5B和简单RAG（langchain）的ipex_llm、openvino推理加速以及性能对比
其中ipex_llm和openvino都对大模型进行了相关优化加速，这次使用openvino、ipex_llm和原本无处理的模型进行一个性能对比还有模型的效果对比，不过量化肯定会造成LLM准确率的下降，不过对于部署边缘设备上这些处理必不可少。效率上，在服务器芯片上是OpenVINO更胜一筹，但是不是绝对在任何环境下都是它最快，不过int4量化后是实质上的提升。在回答质量上，见仁见智了，ipex_llm翻译了中文，但有重复回答的问题，其他两个没翻译但是回答更由条理，内容不重复。
2024-08-11 17:34:07
1463
2
原创 onnxruntime推理，sesstion.run()的经验贴
注意，如果输入是float64的，在C++里面要使用double类型代替Ort::Value::CreateTensor<int64_t>里面的int64_t，首先，进行推理时要打开模型获取信息。
2024-05-19 20:45:10
798
1
原创 转onnx模型时导出bert模型的中间层输出，如“hiddens_states“, “last_hidden_state”, “attentions“
我在一个tts项目中想要转换onnx模型并使用onnxruntime推理，而这个过程使用了bert模型的中间层输出进行加工处理，发现了这个方法可以成功将bert模型的以上几个特征保存到onnx的输出中，再通过onnxruntime的session.run跑出在python版本中相同的结果，精度有少量差异。GitHub地址：https://github.com/dogdogpp/bert_hidden_staes。
2024-05-19 20:19:33
337
1
原创 基于pyecharts的心血管疾病数据处理与可视化分析
基于pyecharts的心血管疾病数据处理与可视化分析这是我写的源码和数据集，百度网盘自取链接链接：https://pan.baidu.com/s/1JpDA1hipgmm5v8MG9192lg提取码：yyds仅供参考学习请不要盗取自用，谢谢一、赛题背景心血管疾病 (CVD) 是全球第一大死因，估计每年夺走 1790 万人的生命，占全球所有死亡人数的 31%。五分之四的心血管疾病死亡是由心脏病发作和中风引起的，其中三分之一的死亡过早发生在 70 岁以下的人群中。心力衰竭是由 CVD 引起的常
2022-01-19 22:23:44
5202
7
原创 数据结构大作业，BF\KMP算法、链表和顺序表，基于C++代码
数据结构大作业，BF\KMP算法、链表和顺序表，基于C++代码第一题：请基于BF算法和KMP算法，设计一个病毒基因算法（要求至少5组输入和5组输出#include<stdlib.h>#include<iostream>using namespace std;#define MAXSIZE 200typedef struct { char *ch; int length;}String;int inistring(String &str,cha
2021-04-24 16:58:43
473
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人