自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(101)
  • 资源 (6)
  • 收藏
  • 关注

原创 数据中台架构图

研究了几天数据中台,上一个我们自己的架构图,第一版有点草率,请多多指教

2020-07-21 16:55:19 6960

原创 Redirecting to /bin/systemctl status iptables.service Unit iptables.service could not be found.

centosservice iptables status 报错Redirecting to /bin/systemctl status iptables.serviceUnit iptables.service could not be found.解决办法 yum install iptables-services

2019-12-23 11:30:19 21796 2

原创 python列表进行模糊查询

先看一下代码a=['时间1', '时间2', '时间3', 'ab','asds']dd = [i for i,x in enumerate(a) if x.find('s')!=-1]print(dd)需要注意的是这个方法只适合与都是字符串的,因为find是字符串重的方法, 如果list中有数字和None,都是不行的...

2019-09-24 14:37:55 12567

原创 flask gunicorn 超时问题

这两天遇到一个大坑,用falsk做了一个下载的功能,但是当文件大于20兆的时候,用谷歌浏览器就会重新请求,而且在本地运行都是完美的没有问题解决了两天发现是gunicorn的问题gunicorn中有个默认的请求超时时间是30秒gunicorn -w 2 -b 0.0.0.0:4343 manage:app -t 50 -D加上 -t 50 代表修改为50秒问题解决...

2019-08-06 18:10:23 7359 3

原创 pyecharts出错TypeError: __init__() got an unexpected keyword argument 'width'

今天在使用pyecharts的map绘制地图时候mac一直出错TypeError: init() got an unexpected keyword argument ‘width’很郁闷,win的就不会出错然后网上查了很久没有查到,最后发现可能是版本问题pip install pyecharts==0.1.9.4这个就很好用了from pyecharts import Bar,Pie...

2019-07-16 17:02:38 30297 11

原创 flask 实现下载文件功能

第一种方式: UPLOAD_FOLDER = './info/modules/passport/{}.csv'.format(file_name) # 第一种方法 ROOT_FOLDER = os.path.join(os.getcwd(), UPLOAD_FOLDER) # 整合绝对路径 response = mak...

2019-07-12 09:51:09 10308 4

原创 python列表中出现最多的元素,和元素出现次数

对列表进行操作,查看列表中出现最多的元素,以及出现的次数array = [1, 2, 3, 3, 2, 1, 0, 2]print(max(array, key=array.count))print(array.count(max(array, key=array.count)))计算列表中每个元素出现的次数def all_np(arr): arr = np.a...

2019-07-09 14:08:06 9752

原创 git push error: 无法推送一些引用到XXX 错误

git push -u origin master后报错Username for ‘https://gitee.com’: Lizhiming0321Password for ‘https://Lizhiming0321@gitee.com’:To https://gitee.com/Lizhiming0321/LZMtest.git! [rejected] master ...

2018-11-20 16:47:57 36102 4

原创 No module named 'flask_sqlalchemy'

我记得这个问题遇到好几次了 怪自己没有脑子 ,没有记下来, 所以今天必须记下来 就这样的,一直引入不进去。研究了很久发现是虚拟环境没有用对‘’设置里面 改成正确的虚拟环境 就OK了...

2018-09-04 18:02:38 7922 1

原创 【人工智能】QWEN-AGENT

2.智能体demo,除官方示例外新增一个自定义工具。qwen_agent 部署实践。weather接口demo。

2025-01-10 09:32:48 215

原创 【人工智能】VLLM 启动 QWEN2.5-7B-Instruct

pytorch 对应下载地址。python脚本并发测试。python脚本测试。

2025-01-09 16:17:56 340

原创 【人工智能】QWEN + RAG系统

结合qwen2.5-7b + bge-reranker-base + stella-base-zh-v2 组合成的rag系统。其中测试数据和模型需要自行下载,modelscope就可以。

2025-01-08 16:35:50 287

原创 【人工智能】langchain应用(二)

用户输入问题 -- 知识库 -- 大模型润色 -- 输出答案。

2024-11-15 17:52:49 166 1

原创 【人工智能】langchain应用的简单QA流程链路

这里的知识库函数和实时数据函数暂时为假数据,主要为实现整个流程。使用llm模型为qwen。

2024-11-15 16:44:23 232

原创 【人工智能】langchain + qwen2.5 使用示例

实现本地知识库向量化后保存,然后langchain进行qa数据流。

2024-11-15 15:04:39 649

原创 【人工智能】text2vec-large-chinese模型搭建本地知识库

本demo使用 text2vec-large-chinese 模型进行文本处理,然后再过 bge-reranker-v2-m3进行增强。3. 使用rerank增强 ,rerank模型:bge-reranker-v2-m3。1. 对文本进行向量处理,并保存只至本地。2. 普通相似度匹配。

2024-11-15 14:26:11 560

原创 【人工智能】text2vec-large-chinese 模型 -- 部署及推理 -- 匹配相似度

【代码】text2vec-large-chinese 模型 -- 部署及推理。

2024-11-15 11:23:25 401

原创 【人工智能】bge-base-zh-v1.5 模型 -- 部署及推理 -- 匹配相似度

bge-base-zh-v1.5可以直接从魔搭下载。1.对文本进行相似度比较。

2024-11-15 11:19:07 665

原创 【人工智能】qwen2.5-7b 部署推理

5.修改启动文件中的一些配置,然后运行官方的web_demo.py就可以访问了。2.可以克隆一下github官方demo。4.装完pytorch后可以验证一下。我直接附上一个依赖文件可以直接下载。环境Ubuntu20.04。1. 从魔搭下载模型权重。

2024-11-15 09:48:04 604

原创 PaddleOCR的安装及使用

1.anaconda建立虚拟环境conda create -n paddle3.7 python=3.72.cpu版本安装python -m pip install paddlepaddle==2.0.0rc1 -i https://mirror.baidu.com/pypi/simple# 镜像可能不行,用下面命令python -m pip install paddlepaddle==2.0.0rc1# 或者试一下其他镜像阿里云 http://mirrors.aliyun.com

2022-02-09 16:44:13 4745

原创 srs3.0安装及部署,推拉流测试

1.安装srs3.0版本docker pull ossrs/srs:v3.0-r02.源站配置及启动#源站配置listen 1935;max_connections 1000;daemon off;srs_log_tank console;http_api { enabled on; listen 1985;} http_server { enabled

2021-07-12 18:11:47 2073

原创 蓝鲸智云App应用部署(完整版)

App应用发布部署,其中包含了docker部署gitea,mysql,redis组件2.1新建应用,填写应用信息,如下图所示2.2填写git仓库2.3修改app应用代码中配置修改 config/init.py2.4添加appt 测试服务器信息2.5点击节点管理,配置安装测试服务器agent2.6点击测试服务器信息 — 激活 ---- 此时可能激活失败登陆中控机,编辑 install.config , 新增一行10.0.0.2 appt并将原来 install.config

2021-07-12 18:03:03 3040 5

原创 蓝鲸智云5.1版本安装部署(完整版)

环境要求:1.蓝鲸部署机器:centos 72.App 应用部署机器:centos 7一:蓝鲸安装部署1.1环境准备1.2使用 epel 源yum install epel-release -y1.3关闭 SELinux# 检查 SELinux 的状态,如果它已经禁用,可以跳过后面的命令sestatus# 通过命令临时禁用 SELinuxsetenforce 0# 或者修改配置文件sed -i 's/^SELINUX=enforcing/SELINUX=disabled/g'

2021-07-07 11:08:47 1230

原创 golang环境安装及beego项目运行

1.安装golangwget https://dl.google.com/go/go1.15.12.linux-amd64.tar.gz2.解压tar -C /usr/local -xzf go1.15.12.linux-amd64.tar.gz3.添加环境变量export PATH=$PATH:/usr/local/go/bin测试 go version4.设置代理go env -w GO111MODULE=ongo env -w GOPROXY=https://goproxy.i

2021-05-08 09:33:16 229 1

原创 sqlserver 同步数据库表结构(python实现,适用于同步表中有不一样的字段的)

第二种:还是直接上代码# _*_ coding: utf-8 _*_# @Time : 2020/12/29 13:35 # @Author : lizm# @File : testdk.pyimport decimalimport loggingimport pymssql"""适合两个数据库都有相同表,字段不相同时"""def sync_db_structure(sou_conn, tar_conn): """ 同步数据库表结构 :param sourc

2020-12-30 17:26:19 503

原创 sqlserver 同步数据库表结构(python实现,适用于同步全部表结构)

第一种:直接上代码,可以直接运行import decimalimport loggingimport pymssql"""适用于一个库有,一个库没有的,同步表结构"""class Copy_Mes_Bank(): def __init__(self, **kwargs): self.sou_conn = kwargs['sou_conn'] self.tar_conn = kwargs['tar_conn'] """根据SQL查询数据库数

2020-12-30 17:24:40 591 2

原创 ES 插入报错:‘blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];

这里是因为es开启了只读模式,不能进行写入的操作了我们先看一下是不是http://192.168.130.28:9200/索引/_settings?pretty如果是的话,我们直接在终端执行curl -XPUT '192.168.130.28:9200/索引/_settings' -H 'Content-Type: application/json' -d '{"index.blocks.read_only_allow_delete": null}'...

2020-11-30 09:50:39 629

原创 mysql 主从复制(完整版)

如果我们原库中有很多数据,要提前进行备份复制可以使用mysqldump进行数据备份并还原到从服务器以实现数据的复制。mysqldump -uroot -pmysql --all-databases --lock-all-tables > ~/master_db.sql接下来要导入到从库中。此处省略主服务器:192.168.130.46从服务器:192.168.130.481.进入主服务器,停止主服务mysql服务: systemctl stop mysqld;主节点编辑配置文件vim

2020-11-06 15:44:23 478

原创 CentOS7下安装mysql5.7(完整版)

一、安装YUM Repo1、由于CentOS 的yum源中没有mysql,需要到mysql的官网下载yum repo配置文件。下载命令:wget https://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpm2、然后进行repo的安装:rpm -ivh mysql57-community-release-el7-9.noarch.rpm执行完成后会在/etc/yum.repos.d/目录下生成两个repo文件mysql

2020-11-05 17:39:15 204

原创 flask + gunicorn + webskokrt 启动方法

第一种方法安装pip install gevent-websocket启动gunicorn -k geventwebsocket.gunicorn.workers.GeventWebSocketWorker -b 0.0.0.0:9199 manage:app第二种方法安装pip install gevent 报错的话,不用安装eventletpip install eventletgunicorn -k gevent -w 1 -b 0.0.0.0:9199 manage:ap

2020-11-04 10:41:37 290

原创 python微服务框架nameko入门案例

1.安装注册中心nameko采用RabbitMQ作为注册中心,所以使用nameko必须要先安装RabbitMQ以docker容器的方式运行RabbitMQ是最为简便快捷的方式,两行命令就搞定了,这里介绍如何使用docker运行RabbitMQ。第一步:从DockerHub拉取rabbitmq镜像docker pull rabbitmq:management第二部:运行RabbitMQ容器docker run -d --hostname my-rabbit --name rabbit -p 15

2020-11-03 09:39:30 1201

原创 ETL主题仓库之datax日志分析

这篇是对于datax的日志进行分析方便我们管理直接上代码#!/usr/bin/python# -*- coding: UTF-8 -*-# 0 5 * * * source /etc/profile && /usr/bin/python2.7 /opt/datax/job/save_log_to_db.py > /dev/null 2>&1import reimport osimport pandas as pdimport datetime as dt

2020-09-14 08:51:09 1596 1

原创 python3钉钉机器人主动推送版

我们要进去群里设置然后获取Webhookimport requestsimport jsondef dinding(mag): HEADERS = {"Content-Type": "application/json;charset=utf-8"} key = "access_token" url = "xx/send?access_token=%s" % key data_info = { 'msgtype' : 'text', '

2020-08-28 15:46:27 329

原创 python3 获取天气预报api接口

直接上代码,一个接口# http://flash.weather.com.cn/wmaps/xml/beijing.xml# http://flash.weather.com.cn/wmaps/xml/china.xml我就直接上代码#coding=utf-8# http://flash.weather.com.cn/wmaps/xml/beijing.xml# http://flash.weather.com.cn/wmaps/xml/china.xmlfrom urllib impor

2020-08-28 14:04:48 554

原创 python3获取服务器运行状态及进程详细信息

有了这些信息我们就可以对linux服务器做监控了,也可以对所有的项目进行状态监控了linux 服务器状态import psutil # 进程运行情况import platform # 包含系统信息查询函数import osimport logging## # 硬件信息svmem = psutil.virtual_memory()mem_total = svmem.total # 系统内存总数mem_used = svmem.used # 内存已使用mem_free = svme

2020-08-20 17:23:31 3107

原创 docker 部署 mongodb

拉取镜像docker pull mongo查看镜像docker images运行一个容器docker run --name mongodb -v ~/docker/mongo:/data/db -p 27017:27017 -d mongo然后我们进入容器docker exec -it mongodb bash看看是不是可以进去mongo远程连接开启在MongoDB容器中操作:#更新源apt-get update# 安装 vimapt-get install vim

2020-07-31 17:19:42 198

原创 docker 部署python项目flask + gunicorn + gevent (完整版)

环境:centos,docker我们创建项目文件夹,在创建manage.py可以正常启动就可以了,manage.pyfrom flask import Flaskimport timefrom flask import render_templateapp = Flask(__name__)@app.route('/')def index(): return render_template('index1.html')if __name__ == '__main__':

2020-07-31 16:25:13 1024 3

原创 CentOS下安装MongoDB

我们用wget安装:wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-4.0.1.tgz解压tar -zxvf mongodb-linux-x86_64-4.0.1.tgz重命名mv mongodb-linux-x86_64-4.0.1 mongodb创建文件:db用来存放数据库、logs用来存放日志cd mongodbmkdir db logs添加配置文件cd binvi mongodb.conf内容如下

2020-07-28 17:36:22 140

原创 supervisor 管理 python3 + flask + gunicorn

我们先安装一下supervisor对python3支持不好,须使用python2切记这里不要把他装到python3 的环境中,要不然后续会有很多问题sudo pip install supervisor配置运行echo_supervisord_conf命令输出默认的配置项,可以如下操作将默认配置保存到文件中echo_supervisord_conf > supervisord.confvim 打开编辑supervisord.conf文件,修改[include]files = re

2020-07-28 10:44:42 379

原创 flask+gunicorn+nginx部署

cetnos 7yum install nginxsystemctl status nginx #查看状态systemctl stop nginx #停止systemctl start nginx #启动查看一下端口ps -ef | grep nginxlsof -i:80我们可以访问自己的网址,可以看到欢迎centos 或者 欢迎nginx ,说明成功配置一下我们的nginx配置目录在 /etc/nginxvi /etc/nginx/nginx.conf

2020-07-27 16:06:22 458

qwen2.5 + langchain pip依赖包

qwen2.5 + langchain pip依赖包

2024-11-15

qwen2.5-7b vllm部署

依赖文件-vllm

2024-11-15

qwen2.5-7b 部署

依赖文件

2024-11-15

nginx_flask_cluster.zip

flask + gunicorn + nginx 负载均衡搭建,简单操作,易懂,flask + gunicorn + nginx 负载均衡搭建,简单操作,易懂

2020-12-09

docker_flask.zip

dockerfile 编写简单的python falsk程序,启动为gunicorn,

2020-12-04

python之blibli弹幕爬取及词云制作

blibli弹幕爬取及词云制作,blibli弹幕爬取及词云制作详细代码python带你走向人生巅峰,完整版

2020-11-25

redis3主3从集群搭建完整版

redis 3主3从 集群搭建完整版,各种错误解决,一站式方便快捷,只需要一个文档就够了。redis 3主3从 集群搭建完整版

2020-11-23

asy_kafk_by_demo.zip

速度更快的类flask web框架sanic,基础项目搭建,包括日志文件,只需要新增路由即可,速度是flask的倍级。

2020-07-06

flask_demo.zip

flask基础项目,快速创建项目,万能模板,基础配置全部完毕,只需要写路由即可,python快速创建项目,微小型项目,秒级创建。

2020-07-06

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除