- 博客(21)
- 问答 (1)
- 收藏
- 关注
RSS订阅
原创 本地低成本部署deepseek-r1
然后最后我们xfc需要这个版本才有r1,需要大家下载一下* Pip：pip install ‘xinference==1.2.1’最后如果没有搞搞清楚v3，r1状况的，先看一下论文文档，扔碎片一个AI里让它们翻译，不要跟着短视频跑。然后你用14B的可以init8,token设置个11000,具体根据自己显卡设置。目前试过的3090也能跑起来,目前我用的是4090d.然后r1是推理模型。token这个你可以从6000慢慢往上加，具体看你显存了。然后这里咱们部署的是不量化的所以要改一下。这个是token长度。
2025-02-08 14:33:25
1308
原创 语音识别(whisper部署)
whisper部署地址:https://github.com/openai/whisper?我们使用 Python 3.9.9 和1.10.1 来训练和测试我们的模型，但代码库预计与 Python 3.8-3.11 和最新的 PyTorch 版本兼容。代码库还依赖于一些 Python 包，最著名的是用于快速标记器实现。它还需要ffmpeg。
2024-12-17 17:16:54
1198
原创 xinference服务器部署下载启动qwen2.5各种版本模型
3.这里如果你一张显卡就CUDA_VISIBLE_DEVICES=0 xinference-local --host 0.0.0.0 --port 9997这样启动,多张显卡还跟以前一样xinference-local --host 0.0.0.0 --port 9997启动。AWG（Adaptive Weight Granularity）：一种量化方法，通过自适应地调整权重的量化精度，以优化模型在特定硬件上的性能和效率。transformers，最普遍的兼容性，但是吞吐差。更新前先停止之前的服务。
2024-09-24 16:41:13
1266
原创 ChatTTS(一款适用于日常对话的生成式语音模型)
1.拉取代码 git clone https://github.com/2noise/ChatTTS.git 2.需要安装对应的库和,安装依赖cd ChatTTS (pip install --upgrade -r requirements.txt)（ pip install torchaudio==2.3.0+cu121 -f https://download.pytorch.org/whl/torch_stable.html ）。
2024-09-02 16:25:51
1416
原创 langchain-chatchat-0.3.0部署
前言xinference之前部署教程发过了,找前面文章一丶创建虚拟环境2.对于一个全新的机子来说新建完虚拟环境无法做到直接激活，重新加载你的shell配置输入以下指令,conda init3.开始激活新建好的环境二丶安装所需要的库三丶启动1.chatchat至少需要一个语言模型和一个向量模型，本文选择Qwen2-instruct和bge-m3这两个模型。
2024-09-02 16:17:00
685
原创 xinference服务器部署下载模型启动
2.这里面缺个包,我的版本是linux 3.11的包的名字叫这个llama_cpp_python-0.2.85-cp311-cp311-linux_x86_64 (1).whl。具体版本根据自己的下载:https://github.com/abetlen/llama-cpp-python/releases/tag/v0.2.85-cu121。前言:之前部署智普 qwen模型都是本地部署的.这里给大家推荐个xinference,具体可以搜一下科普一下.好处是体验语言模型,向量模型更简单方便了.
2024-09-02 16:09:50
1766
4
原创 大模型chatglm3-6b （部署本地教程）
4.去魔搭社区下载模型https://modelscope.cn/studios/ZhipuAI/chatglm3-6b-demo/summary。2.然后根据https://blog.youkuaiyun.com/weixin_45597212/article/details/135553151安装。 1.cuda官网https://developer.nvidia.com/cuda-toolkit-archive。链接https://pytorch.org/get-started/locally/
2024-09-02 15:49:10
376
原创 Lawyer LLaMA(中文法律大模型本地部署)
5.如需使用nginx反向代理访问此服务，可参考https://github.com/LeetJoe/lawyer-llama/blob/main/demo/nginx_proxy.md （Credit to。 4.server.py代码这样的,模型路径手动更改。 1.建议使用Python 3.8及以上版本。下载 **Lawyer LLaMA 2 (启动法条检索服务，默认挂在9098端口。（需要的torch ）下载法条检索模块，并运行其中的。demo_web.py代码。
2024-09-02 15:40:52
1588
5
原创 某眼查风控滑块429解析
我们发现inincaptchajosn接口返回的challenge 和 gt (这个可以固定)核心就是这个Sentry-Span参数,因为全局混淆这个参数需要hook,找到加密位置还原。拿到解密后的validate解密这里也需要请求头的值。典型的检验滑块,这个之前博客有分享.看下记录。然后请求这个接口获得图片还原。
2024-04-11 15:39:48
287
原创 FastAPI（学习）
在这个路由中，我们定义了一个名为 create_item 的异步函数，它接收一个名为 item 的参数，这个参数的类型是我们之前定义的 Item 模型。INFO: Started reloader process [28720]# 一个重载器进程已经启动，PID为28720。INFO: Application startup complete.# 应用程序启动完成，可以开始处理请求了。如果一切正常，我们应该能够在控制台上看到返回的 JSON 对象，它应该与我们发送的请求体完全相同。
2023-10-25 15:25:58
339
1
原创 某查查真实（学习）案例
有5个参数是验证码反过来的.(验证码有3种,第一种极验滑块,数字英文验证码,中文验证码)get(“data”).get(“captcha_type”) # 这里面验证码类型。量大的话基本要弄账号池了,还要固定代理.需要稳定的长期代理。暂时知道的就是堆账号,有好的方法可以分享分享## 标题。除了w值都能在这里面找到,w就是轨迹.之前文章介绍过。企查查登录啥的其实难点不大,风控这些才是恶心的。slide = 极验滑块验证码。signKey：请求获取到的。epass:加密后的验证码。剩下难点就是3种加密了。
2023-08-08 14:46:44
263
原创 py面试心得分享
总结起来就是多面试,不管面得咋样去了就有收货,总结经验面试题,有面试就去别管是不是kpi，最好面试完录个音,最后就是机会都是留给有准备的人的.如果面试都不去,何来找到工作了.最近忙也忘了分享一下找到工作的喜悦了,一共找了2周收了6个of,工资(最低的12k,最高的18k)其实运气占了百分之80吧.也祝所有的应届生找到心仪的工作,其实应届生最好校招。然后环境确实没以前好了,多学习吧,打铁还需自身硬。
2023-06-13 10:30:05
180
3
空空如也
日期格式无法识别：实在找不到了？
2019-08-14
TA创建的收藏夹 TA关注的收藏夹
TA关注的人