- 博客(422)
- 资源 (27)
- 收藏
- 关注
原创 【bug】OPENCV和FPGA的版本对应关系
sampleYOLOV7MultiInput进行视频推理出现Segmentation fault (core dumped)问题!debian只有这一个opencv版本,所以只能改ffmpeg的版本,那个相关issue他自己编译的opencv其实不是很可取,一个是时间长,再者很容易报错。我是debian的系统,apt-get install opencv-dev只能安装3.2的版本, opencv3.2对应我试的可行的是3.2.18。如果opencv和FPGA的版本不对应,则会出现如下warning。
2025-03-30 15:44:51
133
原创 【docker】docker应用举例
依赖管理:确保 requirements.txt或setup.py 文件中列出的所有依赖都能在不联网的环境中正常工作,一定要保证所有的包都在此,要不然后面很麻烦很麻烦。将 my-python-app.tar 文件通过 U 盘、移动硬盘或其他方式传输到不联网的目标机器。首先,在项目根目录下创建一个 Dockerfile,用于定义 Docker 镜像的构建步骤。# 安装项目依赖(加--no-cache-dir应该能使得打包的镜像小)通过以上步骤,你可以在不联网的机器上成功部署 Python 项目。
2025-03-30 15:33:59
95
原创 【智能体】 react functioncall
ReAct 技术与 Function Call 技术介绍 1. ReAct 技术 ReAct 是一种用于增强语言模型推理能力的技术,通过在模型的推理过程中引入“思考”(thought)步骤,帮助模型更好地理解和规划下一步行动。核心思想: ReAct 在传统的“行动-观察”(action-obser。AI - ReAct 技术与 Function Call 技术介绍 - frank_cui - 博客园。
2025-03-30 15:30:56
112
原创 【运维】负载均衡
开头先理解一下所谓的“均衡”,不能狭义地理解为分配给所有实际服务器一样多的工作量,因为多台服务器的承载能力各不相同,这可能体现在硬件配置、网络带宽的差异,也可能因为某台服务器身兼多职,我们所说的“均衡”,也就是希望所有服务器都不要过载,并且能够最大程序地发挥作用。老规矩,先占坑,后续更新。
2025-03-30 15:24:12
361
原创 【RAG】核心概念
某池塘有1400条鲤鱼,300只虾,300只鳖。现在以捕鲤鱼为目的。撒一大网,逮着了700条鲤鱼,200只虾,100只鳖。那么,这些指标分别如下:准确率=700/(1400+300+300)=35%精确率=700/(700+200+100)=70%召回率=700/1400=50%分母不同链接:https://zhuanlan.zhihu.com/p/146711298。
2025-03-11 10:14:22
26
原创 [RAG] 基本概念
某池塘有1400条鲤鱼,300只虾,300只鳖。现在以捕鲤鱼为目的。撒一大网,逮着了700条鲤鱼,200只虾,100只鳖。bm25 BM25的核心思想是基于词频(TF)和逆文档频率(IDF)来,同时还引入了文档的长度信息来计算文档D和查询Q之间的相关性。首先通过embedding模型,将query向量化,然后计算得出最近的数值最高的几个。准确率=700/(1400+300+300)=35%精确率=700/(700+200+100)=70%召回率=700/1400=50%# 召回率 精确率 准确率。
2025-03-11 10:13:10
34
原创 【大模型训练】Qwen2.5-7b的训练记录
可以看到把原来的你是谁都给训练坏了,但是我们不关心这个,我们训练的是数学方面的,只关心数学。可以用四个80G的A800 gpu全参跑起来。可以看到已经可以有thinking过程了。的第一个训练案例,看看有没有学到。可以看到没有反思过程,且结果错误。
2025-02-24 09:25:46
53
原创 【oneapi】oneapi做代理
这样外部就可以通过访问DeepSeek-R1来访问deepseek-ai/DeepSeek-R1。模型填 deepseek-ai/DeepSeek-R1和DeepSeek-R1。base url 填 https://api.siliconflow.cn。名称填DeepSeek-R1。分组填default。
2025-02-19 13:59:31
75
原创 【大模型训练】 用LLAMA_FACTORY复现deepseek-r1的蒸馏过程
2. 从链接https://huggingface.co/datasets/open-r1/OpenR1-Math-220k/则可以从本机的服务器中根据ip直接访问 http://192.168.100.100(服务器地址):11111(开放端口)中下载parquet文件全部放到OpenR1-Math-220k文件夹中。1. data文件中新建OpenR1-Math-220k文件夹。dataset_info.json中新增。4. 启动LLAMA_FACTORY。如果11111是开放的端口,
2025-02-13 17:06:43
433
原创 【docker】docker改动镜像并重新编译举例
FROME: Docker 默认会尝试从远程仓库拉取镜像,如果本地镜像名称和标签与 FROM 指令完全匹配,Docker 会优先使用本地镜像。参考: https://github.com/vllm-project/vllm/issues/12980。会发现本地有vllm/vllm-openai:v0.7.2镜像,id为f78c8f2f8ad5。发现有了新的被改动过的镜像vllm-qwen2.5-vl-pip-transformer。可以将本地的镜像保存到本地tar包。若不放心把images。
2025-02-11 21:45:19
207
原创 【go】交叉编译
复制了一份项目代码task为task_bk,但是原来的task删除了,再次。把task_bk变成task出现这种情况,可以看出可以正常编译出文件,file->settings->GOPATH->设置为当前的项目目录。Goland中导入包标红但是能用解决办法。发现go像是c++,做后台还是比较好的。
2025-02-10 14:31:19
200
原创 【文件操作】写入json文件
dump是导出的意思,这样看dict和list是自己人,但是string和文件相对于代码就是外人。一般用json.dumps把dict或者list导出到字符串。一般用json.dump把dict或者list导出到文件。
2024-12-11 22:02:49
130
原创 【大模型微调】reft
因工作重点做LLM的落地,对模型的 Reasoning 推理能力要求较高,也实践过 CoT 微调。而 o1 能推出 RFT 证明这项技术已经生产可用,故接下来就认真研究下业界方案,尤其关注可落地执行的开源方案。首个拜读的论文是来自字节的 《ReFT: Reasoning with Reinforced Fine-...OpenAI o1 强化微调(RFT)开源方案之字节 ReFT - 腾讯云开发者社区-腾讯云。一个是微调,第二个是PPO强化微调。reft是字节跳动首次开发(占坑,后续开发)
2024-12-11 21:50:44
91
原创 【大模型微调】图片转pdf
vd_source=8318f88fcdf4948d2b21fae7c9cf3184 2024最新!用上面的方法如果对于过长的图片,则一页的长度也很长,上面的解决方案都有问题,最终自己还是用代码解决。https://www.32r.com/zt/dgyjzzrj/ photoshop破解版下载。用acobot保存图片们为pdf即可。有时候图片需要转成pdf。1. 用代码将长图片切割。
2024-12-03 21:47:50
366
原创 【大模型微调】pdf转markdown
启用MathJax支持后,您应该能够在Typora中正确显示使用LaTeX语法编写的数学公式,包括$\mathbf{X}$这样的符号。注意上面的cuda,rapid_table部分, max_time设置长一些,要不然保存的表格都是图片。生成markdown后可以用大模型过滤一遍后者人工过滤一遍,改正后者去除不合适的部分。目前市面上大部分都是pdf文档,要想转换成能训练的文本,调研了各种工具。目前无法显示typora无法显示html的表格,后续看看怎么弄。最终生成的表格是html格式的,可以在。
2024-12-03 21:39:55
378
原创 【RLHF】Reward Modeling
RLHF:基于人类反馈的强化学习(Rainforcement Learning from Human Feedback,RLHF) 可以分成两个环节。,它们的细节我们不去研究,只要知道DPO主要用于分布式训练,适合大规模并行处理的场景,PPO通常指的是单机上的算法就可以了。在这一阶段,模型学习和输出的内容发生了根本性的改变。前面的两个阶段,预训练和微调,模型的输出是符合预期的文本内容;这个阶段输出的评分,并不是给最终的用户,而是在强化学习阶段发挥重大作用。常见的强化学习策略包括。
2024-12-01 10:17:14
106
原创 【LLAMA FACTORY】 freeze模式总结
训练模式有full, lora(+ qlora),和freeze模式,感觉freeze模式很少被提及,这里做一个总结。Freeze(冻结微调)指的是在训练过程中只对模型的小部分权重进行更新,这样可以降低对显存的要求。如果您需要进行冻结微调,请将。
2024-12-01 10:11:24
415
原创 【大模型微调】一些观点的总结和记录
对于垂类模型,更应该关注PT的过程,而不是采集千万百万的SFT数据做训练,一般建议是 大规模预训练+小规模监督微调=超强的LLM模型。原来的风格是列表回复,如果sft数据集很短,则sft后的数据集也会很短,理论上二者的风格应该一致才行。sft微调的越多,遗忘的越多. 不过对于小任务,rank比较低(例如8,16)的任务,影响还是有有限的。,为了保证模型语言能力关键区不被大幅度调整,需要添加通用指令微调数据或者预训练数据。微调方法没有大变数了,只能在数据上下功夫,我能想到的只有提高微调数据质量。
2024-11-30 21:42:46
129
原创 【程序员超级记忆法】关于记忆方法论在代码写作中的一些思考
有本关于敏捷开发方面的书非常不错《高效程序员的45个习惯-敏捷开发修炼之道》,Venkat Subramaniam和Andy Hunt著,该书简短、易读、精炼、深入,深刻且实用。2. dump是转存,倾倒的意思,看来string是被抛弃的外部对象(不当string是python的自家人),只有list或者dict是自己人。1. 无论是dumps或者是loads,都有一个s,是string的缩写,本质两个api是对string和list或者dict的类型转换。不带s的是将文件中的内容转成dict或list。
2024-11-30 11:00:26
56
原创 【医疗大模型】总结
基于主动健康的主动性、预防性、精确性、个性化、共建共享、自律性六大特征,华南理工大学未来技术学院-广东省数字孪生人重点实验室开源了中文领域生活空间主动健康大模型基座ProactiveHealthGPT。我们期望,生活空间主动健康大模型基座ProactiveHealthGPT 可以帮助学术界加速大模型在慢性病、心理咨询等主动健康领域的研究与应用。本项目为 生活空间健康大模型扁鹊(BianQue)。医疗AI与GPT | 梳理全球医疗大模型。
2024-11-22 09:09:07
56
原创 【大模型】prompt实践总结
不同的prompt对不同的模型有不同的效果。编写高质量Prompt的技巧包括以下几个方面:明确“好结果”的标准:在大多数情况下,Prompt的性能上限与我们对“好结果”的理解程度成正比。只有充分理解了所谓的“好结果”具体好在哪些“点”,才能将这些“点”形式化为Prompt,从而更准确地传达意图。例如,明确要求从画风和剧情两个角度入手,为《长安三万里》写影评,而不是仅仅要求写影评1。编写明确而具体的指示:使用“少量示例”(Few-shot)提示法,提供一些示例让模型更好地按照预期执行任务。
2024-11-14 21:05:36
730
原创 prompt资料收集
主观的说:好的PROMPT就像与你的老朋友聊天,既清晰又相关,还得简单直白。# Role: 知识探索专家 ## Profile: - - 即刻App。即刻App,享受探索、表达和创造。2. 好的prompt的标准。1. LANGgpt模板。
2024-11-08 18:44:41
574
原创 【pytorch】load模型报错
有时候load模型报错,可能是pth文件不完整,因为wget下载文件即使下载文件没下载完也是那个文件名,所以都需要md5或者sha来判断是否完整,解决方法是重新下载。
2024-08-08 22:07:01
857
原创 【软件使用】向日葵网络连接错误
一直报这个错误,尝试了修改版本无果,各种密码都正确,最后得出结轮是时间没有同步,查看代理是否更改了时间,做一下同步即可。
2024-08-08 03:48:50
3475
4
原创 【pytorch】解决libcusparse.so.12: undefined symbol: __nvJitLinkAddData_12_1, version libnvJitLink.so.12
解决libcusparse.so.12: undefined symbol: __nvJitLinkAddData_12_1, version libnvJitLink.so.12_libcusparse.so.12: undefined symbol。有个外国博客讨论这个问题比较多,可以参考。环境换成你自己的即可。
2024-08-07 15:43:57
6591
2
原创 【CUDA】CUDA非root用户安装
CUDA非root用户安装,不影响root用户,设置不影响一块登录该账号的人。需要弄到~/.bashrc中生效后者命令行一句句执行,cuda非root用户安装。写到shell脚本里不生效。
2024-08-07 14:34:38
195
原创 【3D目标检测分割】CloudCompare入门
这些数值通常表示一个点的位置(X,Y,Z),颜色(RGB值),反射强度和可能的分类信息。这些信息在地理信息系统(GIS)和三维地图制作中非常有用,可以用来创建数字高程模型(DEM)或进行地形分析。根据提供的数据,这些数字很可能是从一个LiDAR(激光雷达)扫描的LAS文件中提取的。在LiDAR数据中,通常会包含有关地表的高程信息以及一些可选的RGB颜色信息。2. 保存,需要点击左侧栏的一个模型选中变绿然后才能保存,要不然呈现灰色。- 207.43699646: Z坐标值(高程)- 158: Red通道值。
2024-08-07 14:30:01
241
原创 【FPGA】module中CLOCK RESET iCall oDone的含义
一般的module并不只有iData和oData,还有其他的控制信号,如CLOCK RESET iCall oDone。
2024-08-05 22:20:58
1365
弱监督目标检测论文.rar
2020-05-29
中科院利用弱监督目标检测中的不稳定性.pdf
2020-05-29
ICCV2019.pdf
2020-05-29
poly-yolo.pdf
2020-05-29
dorefa-net
2018-07-10
vivado2018-1的license文件
2018-06-11
mnist数据集为keras
2018-06-04
类似于陌路人人的聊天源码
2017-07-28
原始MIT人脸库
2015-08-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人