- 博客(162)
- 资源 (3)
- 问答 (7)
- 收藏
- 关注
RSS订阅原创 selenium爬取多个网站及通过GUI界面点击爬取
selenium爬取代码webcrawl.pyimport reimport timeimport jsonfrom selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.chrome.options import Optionsfrom selenium.common.exceptions import TimeoutException, StaleElemen
2024-01-09 18:53:12
736
原创 Scrapy爬取books.toscrape.com使用ProxyPool代理池示例和使用Splash爬取动态网页quotes.toscrape.com示例
根据教程指导操作ProxyPool和代码。
2023-12-23 12:35:18
233
原创 YOLOv5模型训练流程
注意：如果生成的图片没有框，可以降低置信度排查错误，即detect.py文件中的–conf-thres，–iou-thres。结果在yolov5-master/runs/detect/exp下。names为类别名称，在之前的classes.txt中复制。修改完成之后运行即可开始训练。至此，数据集准备完成。nc为标记的类别数量。
2023-08-17 12:44:50
451
原创 filebeat收集普通错误日志和Redis错误日志到logstash，并发送邮件告警
filebeat收集普通错误日志和Redis错误日志到logstash，并发送邮件告警。
2022-10-24 17:35:00
1098
原创 解决xlwings多个pid占用多个excel.exe进程，导致打开生成的Excel一片空白
解决xlwings多个pid占用多个excel.exe进程，导致打开生成的Excel一片空白
2022-09-29 09:14:32
1474
原创 Linux Ubuntu安装Tidb
部署本地测试集群适用场景：利用本地单机 Linux 环境快速部署 TiDB 测试集群，体验 TiDB 集群的基本架构，以及 TiDB、TiKV、PD、监控等基础组件的运行。1.下载并安装 TiUP~$ curl --proto '=https' --tlsv1.2 -sSf https://tiup-mirrors.pingcap.com/install.sh | sh2.声明全局环境变量注意TiUP 安装完成后会提示对应 profile 文件的绝对路径。在执行以下 source 命令前
2022-03-02 18:33:51
2121
1
原创 Ubuntu安装Docker及Docker部署OceanBase
本地最小测试集群1.卸载旧版本sudo apt-get remove docker docker-engine docker.io containerd runc2.设置存储库 sudo apt-get update sudo apt-get install \ ca-certificates \ curl \ gnupg \ lsb-release curl -fsSL https://download.docker.com/linux/ubuntu/gpg
2022-03-02 18:27:46
455
原创 搭建pypiserver私有源
一、Linux搭建1.服务端的配置# 创建虚拟环境conda create -n pypiserver_env python==3.7.0conda activate pypiserver_envpip install pypiserver # 安装pypiserver服务器~$ sudo mkdir packages # 存放包的库,建议创建在根目录下,而且名字必须是packages，如果不是，开启服务器的时候会有错误提示sudo chmod 777 packages # 修改权限p
2022-02-28 16:25:46
1960
4
原创 Jupyterhub嵌入Superset之Jupyterhub配置
上篇地址一、安装Jupyterhub需要 node和npm在~/anaconda3/envs/superset/lib/python3.7/site-packages/incubator-superset/jupyterhub文件夹下（jupyterhub为新建文件夹）1.安装 jupyterhub和notebooksudo python3 -m pip install jupyterhub# 必须安装notebooksudo python3 -m pip install --upgrade
2022-01-21 16:09:07
1611
原创 importlib_metadata.PackageNotFoundError: No package metadata was found for apache-superset
在superset新增页面之后需要superset init刷新权限，但是执行报错：(superset) cwj0@ubuntu:~/anaconda3/envs/superset/lib/python3.7/site-packages/incubator-superset$ superset initTraceback (most recent call last): File "/home/cwj0/anaconda3/envs/superset/bin/superset", line 33,
2022-01-14 16:23:31
12747
原创 Superset新增Jupyter Notebook菜单项
下篇地址此部分隐藏一、下载Jupyter Notebook源码及安装需要npm和nodepip install --upgrade setuptools pipgit clone https://github.com/jupyter/notebookcd notebookpip install -e .npm run build运行npm run build:watch# juoyter notebook --port 8989 # 可指定端口jupyter notebook
2022-01-14 16:07:06
991
原创 Superset1.3.2部分配置教程
注意：superset官方文档说明不支持Windows系统，我开始使用Windows，后面在配置缩略图有错误。OS：Ubuntu20.04Superset：1.3.2这是我在安装中遇到的问题及查询搜集的资料，一些问题的解决办法可能不适合你，但希望还是能够帮到需要的人。一、安装注意事项下面是一些我在安装过程中总结的一些需要注意的：pip install Pillow -i https://pypi.douban.com/simple# 如果不安装xlrd，页面数据列不会出现 上传Excel
2021-12-24 16:55:00
4003
原创 ERROR 1698 (28000): Access denied for user ‘root‘@‘localhost‘ ，Ubuntu20.04中MySQL8.0报错解决。
service mysql restart重启命令sudo vim /etc/mysql/mysql.conf.d/mysqld.cnf在 [mysqld] 最后面加入skip-grant-tables.[mysqld]## * Basic Settings#user = mysql# pid-file = /var/run/mysqld/mysqld.pid# socket = /var/run/mysqld/mysqld.sock# p
2021-12-23 17:23:47
630
原创 安装chromedriver selenium.common.exceptions.WebDriverException:Message:‘chromedriver’ executable needs
selenium.common.exceptions.WebDriverException: Message: ‘chromedriver’ executable needs to be in PATH. Please see https://sites.google.com/a/chromium.org/chromedriver/home将chromedriver.exe复制到C:\Users\CWJ(你的电脑用户名)\AppData\Local\Programs\Python\Python37\Scr
2021-12-14 10:34:25
690
原创 Python 豆瓣电影 Top 250 xpath，beautiful soup，pyquery
xpath:import requestsimport timeimport csvfrom requests import RequestExceptionfrom lxml import etreedef get_one_page(url): try: headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML
2021-12-12 20:50:11
810
原创 Superset数据库报错sqlalchemy.orm.exc.DetachedInstanceError: Instance ＜User at 0x14f05b1db48＞ is not bound
Instance <User at 0x2a016a24688> is not bound to a Session; attribute refresh operation cannot proceed (Background on this error at: http://sqlalche.me/e/13/bhk3)网上提供的方法： 可以找到 环境中这个目录下 superset\Lib\site-packages\superset\utils的core.py文件，修改对应代码块：
2021-12-10 09:46:29
1280
原创 脚本运行报错
运行脚本报错:/system/bin/sh: /data/local/tmp/device_sh: No such filr or directory.找了好长时间，发现是改变代码后换行符的原因：用notepad++打开脚本，在右下角右键将Windows的CR LF改变为Unix的LF。
2021-08-16 11:15:54
251
原创 luffcc项目-17-安装mysql镜像、安装redis容器、后端项目部署到docker容器中
后端项目部署根据分析的项目部署架构，后端需要需要mysql和redis。所有在此需要先把这些外部工具先预装。一、安装mysql镜像之前使用的mysql版本是5.7版本的。# 如果之前的mysql已经镜像没有下载，则下载命令如下：docker image pull mysql:5.7# -e 设置容器内部的环境变量,一个容器在创建的时候,可以多个不同的环境# 启动mysql容器，MYSQL_ROOT_PASSWORD 指代的就是mysql的root用户的登录密码docker run -itd
2021-03-24 15:55:05
350
1
原创 luffcc项目-13-积分抵扣、发起支付、
积分抵扣1.修改用户模型user/models.pyfrom django.db import modelsfrom django.contrib.auth.models import AbstractUser# Create your models here.from lyapi.utils.models import BaseModelclass User(AbstractUser): phone = models.CharField(max_length=16,null=Tr
2021-03-24 15:48:24
429
1
原创 Tornado-03-Tornado、数据库、同步和异步、Tornado的协程（异步Web请求客户端、基于gen.coroutine的协程异步、并行协程）、Tornado的WebSocket
Tornado一、数据库与Django框架相比，Tornado没有自带ORM，对于数据库需要自己去适配。我们使用MySQL数据库。在Tornado3.0版本以前提供tornado.database模块用来操作MySQL数据库，而从3.0版本开始，此模块就被独立出来，作为torndb包单独提供。torndb只是对MySQLdb的简单封装，不支持Python 3。所以如果在当前版本中使用torndb进行数据库操作，需要修改源代码，所以在此，我们使用pymysql。项目中如果要使用ORM，可以使用SQL
2021-01-21 19:17:52
614
原创 Tornado-02-Tornado、路由进阶、视图进阶（视图中内置的钩子方法、视图方法调用顺序、冲刷缓存、用户认证）、模板语法（基本语法、内置标签或函数）
Tornado一、路由进阶路由语法和参数在路由列表的路由成员中，我们一共可以设置4个参数url(r"/uri路径", 视图类, {“参数名”:“参数值”}, name=“路由别名”)server.pyfrom tornado import webfrom tornado import ioloopsettings = { 'debug': True,}class Home(web.RequestHandler): def initialize(self,compan
2021-01-19 22:00:26
717
1
原创 Tornado-01-Tornado、介绍（特点，安装）、入门（项目基本运行，终端运行项目，开启调试模式，路由拆分，视图编写，多进程模式，）、请求与响应
Tornado文档：https://tornado-zh-cn.readthedocs.io/zh_CN/latest/https://www.tornadoweb.org/en/stable/github：https://github.com/tornadoweb/tornado一、介绍Tornado是使用Python开发的全栈式（full-stack）Web框架和异步网络库，最早由4名Google前软件工程师（布雷特·泰勒）2007创办的Friendfeed(一个社交聚合网站)开发而来的。通过
2021-01-19 10:35:22
309
原创 mofang项目bug18-Error in created hook: “ReferenceError: emotion is not defined“
[Vue warn]: Error in created hook: “ReferenceError: emotion is not defined” (found in ) at vue.js : 634ReferenceError: emotion is not defined at vue.js : 1897解决：我的错误为忘记把emotion及相关文件复制到image文件夹下
2021-01-17 10:56:12
271
原创 魔坊APP项目-28-直播、显示房间列表
直播显示房间列表把上面的客户端live_list.html,修改成live.html,并新建live_list.html,代码:<!DOCTYPE html><html><head> <title>好友列表</title> <meta name="viewport" content="width=device-width,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no"&
2021-01-15 15:41:33
774
原创 魔坊APP项目-27-直播、客户端中调整窗口大小、能播放rtmp格式直播流的播放器模块
直播客户端中直播的界面调整和当前窗口一致live_list.html<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Document</title> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <meta na
2021-01-14 15:55:01
605
原创 魔坊APP项目-26-直播、docker安装OSSRS流媒体直播服务器、基于APICloud的acLive直播推流模块实现RTMP直播推流、直播流管理
一、docker安装OSSRS流媒体直播服务器在外界开发中, 如果要实现直播功能.常用的方式有:1. 通过第三方接口来实现. 可以申请阿里云,腾讯云,网易云,七牛云的直播接口,根据文档,下载集成SDK到项目中,在第三方用户平台上, 创建直播流[就是一个管道].有了直播流以后, 在客户端中集成一个推流[就是基于rtmp协议把视频摄像头 采集到的信息push到直播服务器]的播放器或者第三放模块在另一个客户端中, 集成支持播放rtmp视频信息的 播放器插件,基于这个插件向第三方直播服
2021-01-12 15:33:59
635
1
原创 魔坊APP项目-25-种植园，植物的状态改动、当果树种植以后在celery的异步任务中调整浇水的状态、客户端通过倒计时判断时间,显示浇水道具
种植园植物的状态改动一、当果树种植以后在celery的异步任务中调整浇水的状态在进行果树种植的时候, 在服务端设置当前果树到等待浇水的redis变量中.通过celery不断进行周期任务的处理, 改动果树的浇水状态socket.py...from datetime import datetime@socketio.on('use_prop', namespace='/mofang')def use_prop(data): """使用道具""" pid = data.get('p
2021-01-11 19:21:34
187
原创 魔坊APP项目-24-种植园，修复宠物喂食时出现的饱食度没有增加的bug、宠物挂了的bug问题
种植园修复宠物喂食时出现的饱食度没有增加的bug在feed方法中监听是否喂食成功的pet_feed_success通知中, 保存更新后的hp_time.my_orchard.html代码：<!DOCTYPE html><html><head> <title>用户中心</title> <meta name="viewport" content="width=device-width,minimum-scale=1.0,maxim
2021-01-08 19:17:43
158
原创 魔坊APP项目-23-种植园，宠物和种植物的状态改变、宠物的状态改动
种植园宠物和种植物的状态改变1. 宠物的状态改动2. 种植物的状态改动3. 道具的使用宠物的状态改动因为宠物有多个,每个宠物会有不同的初始生命的饥饿时间,所以我们提前在mysql中进行配置参数.INSERT INTO mofang.mf_orchard_setting (id, name, is_deleted, orders, status, created_time, updated_time, title, value) VALUES (29, 'pet_hp_max_2', 0, 1
2021-01-06 17:48:38
223
原创 魔坊APP项目-22-种植园，种植栏的功能实现，客户端根据激活状态和未激活状态分别显示树桩、服务端提供种植植物的相关数据、解锁树桩、植物相关道具使用
种植园一、种植栏的功能实现1. 客户端需要的植物相关参数: 总树桩数量, 当前用户激活树桩数量, 当前种植的树桩数量, 树桩列表状态2. 客户端根据激活状态和未激活状态分别显示树桩3. 服务端在用户进入种植园时提供上面的数据4. 用户如果第一次进入种植园需要初始化参数5. 数据库中必须预设树桩的相关参数6. 用户可以使用道具对树桩进行响应的操作7. 用户可以在背包里面进行果树的种植1.客户端根据激活状态和未激活状态分别显示树桩my_orchard.html, 代码:<!DOCT
2021-01-05 22:35:10
259
原创 魔坊APP项目-21-种植园，宠物栏的功能实现、服务端提供显示宠物的api接口、客户端中展示宠物栏和宠物列表以及饱食度、宠物道具的使用
种植园一、宠物栏的功能实现1. 宠物的显示2. 宠物的使用3. 宠物的饱食度4. 宠物的开锁1.服务端提供显示宠物的api接口socket.py，代码...import mathfrom application import redis@socketio.on('pet_show', namespace='/mofang')def pet_show(): """显示宠物""" room = request.sid user_info = mongo.db.u
2021-01-04 21:37:09
363
原创 魔坊APP项目-20-种植园，背包显示道具、用户购买道具的时候,判断背包存储是否达到上限、背包解锁
种植园一、背包显示道具在背包中显示道具,会涉及到用户的背包格子的显示以及解锁问题,所以我们需要在服务端准备一个参数信息, 用于保存种植园中用户的业务参数,例如:格子的初始化数量, 每次解锁背包格子的价格等等.参数信息的保存与之前项目配置的信息有所不同, 不同的地方在于, 参数信息仅仅是种植园额业务参数,会在项目运营的时候允许有所改动,而项目配置的变量参数则在项目上线以后基本不做改动.所以我们可以使用数据库表的方式来保存种植园的参数信息.orchard/models.py代码:...class
2020-12-31 18:37:09
1044
原创 魔坊APP项目-19-种植园，我的背包、道具购买
种植园一、我的背包打开背包,orchard.html,代码:<!DOCTYPE html><html><head> <title>用户中心</title> <meta name="viewport" content="width=device-width,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no"> <meta charset="utf-8">
2020-12-30 21:49:23
369
使用pytest写的测试用例怎么加到unittest的测试套件中？
2023-02-22
怎么优化加快read_sql的查询速度？
2023-02-06
selenium无界面模式不生效？
2022-12-07
xlwings怎么将单元格中数据部分加粗?
2022-09-23
通过pandas怎么筛选出同时满足多个不同条件的数据
2022-05-17
网页嵌入Jupyter Notebook，用户创建的内容是不是在服务器？应该怎么办？
2022-01-17
执行celery报错
2021-12-22
superset 设置缩略图不能正常显示，而且celery也报错，如何解决？
2021-12-14
TA创建的收藏夹 TA关注的收藏夹
TA关注的人