- 博客(55)
- 收藏
- 关注
原创 基于MediaPipe的手部特征点识别
MediaPipe Solutions 提供了一套库和工具,可以在安卓或者windows应用中快速应用人工智能 (AI) 和机器学习 (ML) 技术。MediaPipe 手部地标任务可检测图片中手部的特征点。识别效果如下。
2024-07-24 14:35:48
425
1
原创 基于Mlc-llm端侧部署大模型
Mlc-llm是高性能的模型部署框架,支持在电脑、手机上运行大模型,使用这个平台可以轻松将主流的qwen、llama、phi等大模型部署到手机上。
2024-07-20 16:11:27
651
1
原创 使用TableGeneration生成已标注的表格数据用于表格识别
TableGeneration 是一个基于 Python 开发的工具,它利用浏览器渲染技术生成表格图像。这个工具的特点在于其高度的可配置性,用户可以根据需求自定义表格的多种属性。生成的表格可以用于各种场景,如数据分析和机器学习中的数据集构建。GitHub 页面。
2024-07-02 16:21:04
1313
原创 使用llama-index连接neo4j知识图谱 达成大模型构建查询知识图谱功能
我们的目标是使用Llama-Index来连接到Neo4j,以构建和查询知识图谱。通过这个过程,我们能够将文档中的信息转化为知识图谱,并通过模型进行查询。以下参考llama-index官方实现。
2024-05-31 14:13:31
4884
原创 Ollama 环境搭建与使用指南
Ollama 通过在本地部署和运行大型语言模型,为用户提供了一个方便、灵活的工具来探索人工智能的强大能力。
2024-04-23 10:08:55
7899
2
原创 Chardet:通用字符编码检测器
你是否在为下图中的报错所烦恼?烦恼文件的编码格式是什么?一遍又一遍的尝试,换来的只有冰冷的报错,今天我们将用Chardet一雪前耻。Chardet是 Mozilla 中自动检测代码的端口。作者试图尽可能多地维护原始结构(主要是出于自私的原因,以便随着原始代码的发展更容易维护端口)。由于作者的贡献,我们可以简单快速的使用到这个库。
2024-02-01 10:43:55
510
原创 在Windows11的WSL上运行Llama2-7b-chat 后记
往期的Llama2-7b-chat中我们试用了官方的demo,但是那个demo只能在代码中传入固定的对话,我稍微修改了一下,使其能在命令行中不间断对话(不具备记忆功能)
2024-02-01 10:43:38
572
原创 Hugging Face: 拥开源模型社区
Hugging face是一个开源的模型社区,里边包含各种各样的模型。Hugging face在github上开源了一个Transformers库,这个库非常的好用,我们可以用这个库做模型的推理、微调。推荐这个库的另一个原因是简单好用,我们看一下huggingface的网站huggingface除了开源模型外,还提供数据集、模型的结构与训练代码,我们甚至可以无痛在这个框架下做模型finetune。
2024-02-01 10:43:09
1472
原创 在Windows11的WSL上运行Llama2-7b-chat 下
上一篇博客讲了我跑Llama的demo的心路历程(),这篇我们主要是讲下怎么配置。
2024-01-30 17:07:33
1157
原创 在Windows11的WSL上运行Llama2-7b-chat 上
最近在玩大模型,玩了ChatGLM3感觉不过瘾,又去玩了Llama2(在Windows上简直难的离谱),下边我讲为大家讲一下我的心路历程。
2024-01-30 17:06:48
723
原创 Windows11快速安装WSL2
1. 本机系统Windows11,因此安装WSL非常快,PowerShell命令行打开,键入完事。3. 不要慌,我们找找万能的百度。百度告诉我,命令行打开PowerShell,键入。2. 理论上这么简单的事情必然不简单了,果不其然,重启后(RNN,退钱!为了不太麻烦就选择了WSL2,废话不多说,正式开始。4. 再次重启后我就放心了,终于可以愉快的玩耍了。1. 在Windows快速验证开源大语言模型。130856474
2024-01-29 13:19:05
614
原创 基于Pytorch的DDP训练Mnist数据集
在前几期的博文中我们讲了pytorch的DDP,但是当时的demo是自制的虚拟数据集(),这期文章我们使用Mnist数据集做测试,测试并完善代码。
2024-01-29 13:17:44
923
原创 Windows本地部署ChatGLM3-6B模型
往期已经进行过ChatGLM3的部署了,感兴趣的可以搜索往期的博客,我们今天主要使用github项目工程提供的demo进行玩耍,ok开始。
2024-01-25 10:45:04
1718
原创 Pytorch分布式训练:DDP
pytorch是支持单机多卡甚至是多机多卡训练的,目前大部分的模型朝着6G甚至好几十G上涨,单凭一张显卡有点难以招架了。上回测试ChatGLM3-6B推理都消耗了8G,单卡全参数训练可能够呛了,研究一下多卡分布式的,后续做chatGLM的finetune。DDP的大致原理是模型进行拷贝,数据多路输入在模型中求梯度、求多个模型的均值梯度统一做反向传播,大致的前向传播如下图,反向太复杂了不描写,感兴趣的朋友自行查找资料。正文完毕,后续上代码。
2024-01-25 10:44:36
839
原创 一个使用pyqt的word文档查重工具
有时候,在参考一篇文档后,我们可能希望避免出现太多重复的内容。为了解决这个问题,您可以使用这个工具来比较两个 Word 文档之间的差异。其主要功能是检测并对比两个文档中相似的部分,并将对比结果输出。使用方法很简单,只需选择两个要对比的 Word 文件,然后点击开始对比按钮即可。这个工具将会高效地分析两个文档,突出它们之间的相似之处,并为您提供清晰的对比结果。
2024-01-24 09:31:42
657
原创 Text-to-SQL发展(附数据集下载)
Text-to-SQL技术旨在实现人与数据库之间的智能交互,其核心任务是将自然语言问题转化为数据库查询语言SQL。通过Text-to-SQL技术,用户可以直接使用自然语言提问,系统则自动生成相应的SQL查询语句,从而简化了用户与数据库的交互过程。
2024-01-23 14:53:01
2149
原创 gradio高级技巧2
Gradio是一个用于构建用户界面的Python库,可以轻松地构建和共享原型、演示和API。它提供了一个简单的方法来加载和运行Python函数,并以可视化的方式展示输入和输出。在本文中,我们将介绍如何使用Gradio的.Interface来构建一个可视化界面。
2024-01-23 14:18:53
1294
原创 好用的Markdown编辑器
日常工作中需要观看或编写不少的md文件,比如从github上下载了一份代码,首先就要打开md文件查看配置,有时候记录工作内容我也习惯使用md文件进行记录,在这里我就分享一下工作中最常用的Markdown编辑器 ->marktext,github状态。
2024-01-18 11:02:49
421
原创 好用的流程图工具
目前市面上的流程图或者思维导图工具挺多的,但是有的会限制使用数量或者收费,典型的有processon、Xmind,推荐今天Mermaid(简单编写一个流程图,原始图片通过基础模型到输出头最后输出结果,左边的就是实现代码是不是很简单。我们选择第一种方式进行编写。
2024-01-16 10:08:25
986
原创 gradio高级技巧
Gradio是一个用于构建用户界面的Python库,可以轻松地构建和共享原型、演示和API。它提供了一个简单的方法来加载和运行Python函数,并以可视化的方式展示输入和输出。在本文中,我们将介绍如何使用Gradio的.Interface来构建一个可视化界面。
2024-01-08 08:59:34
2350
原创 处理自己的视频数据并训练
通过上述代码就能获取到视频帧率、帧数、分辨率信息,根据需求自行确立采样的分辨率与帧数。这是pytorch的数据加载器,这块掌握了基本就ok了,哪都用得上。代码大致如下,需要掌握一些api,并且理解数据的流动。npy数据的好处:读取速度快,省去了解码时间。这是一种时间换空间的策略。
2024-01-03 15:14:30
859
原创 快速入门:使用 FastAPI 和 Docker 构建你的第一个 API
FastAPI 是一个高性能的现代 Web 框架,而 Docker 是一个流行的容器化平台。本文将指导你使用 FastAPI 创建一个简单的 API,并将其容器化为 Docker 镜像,让你快速上手这两个强大的工具。通过这个简单的示例,我们学习了如何使用 FastAPI 快速创建一个 API,并将其容器化为 Docker 镜像。后续将会发布更复杂的fastapi使用以及更复杂的docker使用,欢迎各位持续关注。首先,在项目根目录下创建一个名为。接下来,在同一目录下创建一个名为。现在,在浏览器中输入。
2024-01-03 14:26:32
1050
原创 在Ubuntu系统上解压分卷压缩包
命令将所有分卷文件合并成一个完整的压缩文件。在文件名相似的情况下,可以使用通配符。运行此命令后,压缩文件将被解压缩到当前目录下。首先,假设你有一个分卷压缩包,文件名为。命令来解压缩这个合并后的压缩文件。完成文件合并后,接下来就可以使用。开头的文件内容合并到一个名为。
2023-12-11 08:43:34
3154
原创 清华开源语言大模型ChatGLM3联通one-api实现快速部署
通过http://localhost:3000/ root/123456 登录OneAPI。使用此种部署方法 按照这个进行填写,下一篇文章会讲如何和fastgpt联动。
2023-11-20 11:07:59
2799
2
原创 Gradio构建AI算法网页界面显示教程(附实战代码)
Gradio是一个用于构建用户界面的Python库,可以轻松地构建和共享原型、演示和API。它提供了一个简单的方法来加载和运行Python函数,并以可视化的方式展示输入和输出。在本文中,我们将介绍如何使用Gradio的.Interface来构建一个可视化界面。
2023-11-03 15:33:27
1134
原创 使用gradio进行上传图片时出现 另一个程序正在使用此文件,进程无法访问错误(ERROR: Exception in ASGI application)
找了一大堆结果没成功,好像是window系统不兼容的问题。从gradio官方文档copy的代码运行报错。今天做gradio部署遇到一个问题。采取降级gradio方法。
2023-11-03 13:35:46
1107
原创 高斯滤波解析以及实现
高斯滤波是一种线性平滑滤波器,它使用高斯函数来加权图像中的像素值,以实现图像的模糊和去噪。Gxy12πσ2e−x2y22σ2Gxy2πσ21e−2σ2x2y2其中,xy(x, y)xy是像素的坐标,σ\sigmaσ是高斯函数的标准差,GxyG(x, y)Gxy是高斯权重。高斯滤波的基本思想是,图像中的每个像素都会受到其周围像素的加权影响,而且离目标像素越远的像素影响越小。
2023-09-13 15:31:00
1296
原创 使用OpenCV进行图片分割
图片分割是计算机视觉领域中的一个重要任务,它可以将图像分成不同的部分或对象。OpenCV是一个强大的计算机视觉库,提供了许多用于图片分割的工具和算法。分水岭算法是一种用于图像分割的高级技术,它可以在复杂的图像中分离不同的对象。以下是一个简单的示例:由于分水岭算法是一种复杂的图像分割技术,需要仔细的参数调整和预处理步骤,以确保正确的分割结果。阈值分割是一种简单而有效的分割方法,它将图像分成两个部分:前景和背景。边缘检测是另一种常见的图片分割方法,它可以帮助您找到图像中的边缘或轮廓。
2023-09-07 15:20:14
2046
原创 使用Matplotlib绘制折线图
折线图是一种常用的数据可视化方式,用于显示数据随时间或其他连续变量的变化趋势。Matplotlib是一个流行的Python绘图库,可以轻松地创建各种类型的图表,包括折线图。你可以自定义折线的颜色、线型和标记,以使图表更具吸引力。# 数据# 创建折线图# 添加标题和标签# 添加图例# 显示图表plt.show()
2023-08-18 10:35:47
1174
原创 将Pascal VOC格式数据集转换为YOLO格式数据集
在某些情况下,可能需要将Pascal VOC格式的数据集转换为YOLO格式,以便在YOLO模型中进行训练。
2023-08-18 09:15:30
1062
使用pyqt构建的word文档查重器
2024-01-24
mmcv-full-1.7.1-cp38-cp38-manylinux1-x86-64.whl
2024-01-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人