- 博客(18)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 git安装问题
git安装问题1.下载giturl： https://git-scm.com/download/win2.安装git 傻瓜式安装，默认配置环境变量3.配置环境变量4.git中配置公钥私钥。$ git config --global user.name "your_name"$ git config --global user.email "your_email@example.com"ssh-keygen -t rsa -b 4096 -C "your_email@example
2022-03-07 14:09:36
512
原创 客户端调用网关服务“网络请求错误“
问题：客户端调用网关服务"网络请求错误"分析：刚开始看到这个错误时，什么也没想，直接在网关项目代码全局搜“网络请求错误”结果什么也没搜索到，于是在网关服务所在服务器使用top命令查看到有一个kswapd0进程占用cpu达到100%，然后看了一下内存还有将近2G，还很充足，于是把/proc/sys/vm/swappiness的vm.swappiness改为10，意为内存超过90%才使用swap分区。然后使用jmap -heap pid查看网关服务的堆内存配置发现老年代内存只有133M并且使用量已超
2022-01-24 17:53:38
1228
原创 关于pyinstaller打包安装包的报错，亲测有效
pip install pyinstaller在python安装路径下找到Lib/site-packages/Pyinstaller目录下有个compat.py文件将from win32ctypes.pywin32 import pywintypesfrom win32ctypes.pywin32 import win32api改import pywintypesimport win32api重点：pip install pypiwin32 （别管啥 就是能行）...
2021-07-08 17:33:49
385
原创 GitHub访问速度过慢的解决办法
问题分析：Git的CDN域名遭到DNS污染，导致git本身的分发加速网络失效，所以加速服务器不能用——————> 导致慢DNS：负责域名与IP地址映射；CDN：负责内容分发网络；1，通过修改电脑的hosts文件，将域名解析直接指向IP，绕过DNS步骤； hosts文件路径：** C:\Windows\System32\drivers\etc **2，获取IP地址，在站长工具中找到域名解析服务，找到TTL值较小的IP。地址：http://tool.chinaz.com/dns?
2021-03-09 11:27:44
1520
原创 python 读excle的日期显示为43256.0的
python 读excle的日期：1，例如像43256.0的数据， from datetime import datetime from xlrd import xldate_as_tuple date = '45368.0' date = datetime(*xldate_as_tuple(date, 0)) date = date.strftime('%Y-%m-%d')
2021-01-07 15:24:01
200
原创 类似：%u6D59%u6C5F%字符转中文
有时候从接口的返回值里面获取到的是类似"%u4E0A%u6D77%u60A0%u60A0"这种格式的编码，显然不是python里面的unicode编码。python里面的unicode编码应该是这种格式:\u4e0a\u6d77\u60a0\u60a01，源字符：c = ‘%u6D59%u6C5F%u6B27’2，先替换：d = c.replace("%", “\”)3，解码：print(d.encode(“utf-8”).decode(“unicode_escape”))...
2021-01-04 10:28:17
6484
原创 爬虫 之 RSA（JSEncrypt）加密
Result：RSA下的：非对称加密算法（被称为：公私钥加密）详细解释： （1）乙方生成两把密钥（公钥和私钥）。公钥是公开的，任何人都可以获得，私钥则是保密的。 （2）甲方获取乙方的公钥，然后用它对信息加密。 （3）乙方得到加密后的信息，用私钥解密。破解此算法的两种方式：根据前端加密算法 编写出js代码，1.1 利用 python 的 PyExecJS库可以处理js代码；直接使用Crypto包进行破解import base64from Crypto.Cipher
2020-12-31 13:49:50
1562
2
原创 Tunnel connection failed: 407 Proxy Authentication Required
1，多半是你的代理IP，没有设置白名单，无权限使用2，需要在你的代理服务器上添加你的网关IP。
2020-12-25 11:49:14
4683
原创 mysql 去除多个重复数据的sql语句（真实有效）
问题描述：mysql某张表中存在多个重复数据，目的去重；demo表： 原因分析：在做爬虫时，针对重复数据已经入库，想使用个简单的sql直接去重。解决方案：delete from demo where title in (select bt from (select demo.title bt from demo group by demo.title having COUNT(demo.title)>1) as t)and id not in (select mid from(se
2020-12-24 17:18:13
552
1
原创 Mysql异常关闭，解决mysql数据库锁表问题
1、mysql自身有事务，所以异常关闭后，数据会保存，我们把事务删除即可。2、查看innodb的事务表INNODB_TRX3、SELECT * FROM information_schema.INNODB_TRX;4、发现有id为 616694 的sql，需要手动kill掉KILL 616694;解决问题...
2020-10-19 13:37:51
446
原创 requests库报500错误 ----- 问题解析
最近爬取一个网站，post请求，结果返回状态码：200，内容却是：{“msg”:“success”，‘status’：500，请联系管理员，}问题总结：1.网站后台出现问题，出现无法访问的问题2.post请求带的参数格式不对，可以尝试data=data，换成json=data，保证传入的参数为json对象。问题解决。。。...
2020-10-15 10:22:55
4797
原创 利用scrapy工具，实现一键获取多个项目数据的功能
文章主题怎样在一个scrapy框架中运行多个爬虫项目？实现总过程首先创建scrapy项目：scrapy startproject ScrapyProjects创建具体的spider：scrapy genspider spider_lianjia lianjia.com （网站1）scrapy genspider spider_book yousuu.com （网站2）项目基本配置：settings：BOT_NAME = 'ScrapyProjects'SPIDER_MODULES
2020-10-10 17:42:44
460
1
原创 Python处理word文档
Python处理word文件doc（通过win32接口，转换成docx进行操作）docx（Python-docx）读docx（读word里的表格，）： data = docx.Document(os.path.join(path, "{}".format(name))) table = data.tables[0].rows[0].cells # 所有行索引 ta = data.tables s = [i.text for
2020-07-13 13:41:40
1132
原创 爬虫核心思想
页面解析与数据提取实际上爬虫一共就四个主要步骤：定（要知道你准备在哪个范围或者网站去搜索）爬（将所有的网站的内容全部爬下来）取（分析数据，去掉对我们没用处的数据）存（按照我们想要的方式存储和使用）表（可以根据数据的类型通过一些图标展示）以前学的就是如何从网站去爬数据，而爬下来的数据却没做分析，现在，就开始对数据做一些分析。数据，可分为非结构化数据和结构化数据结构化数据：（先有...
2020-06-24 17:48:50
641
1
原创 Python操作excle方法
**Python操作excle**使用：xlwt、xlrd、xlutils在这里插入代码片from xlrd import open_workbookfrom xlutils.copy import copyimport osexcle_path = os.path.join(os.path.abspath(’.’),‘worker’,‘人员信息.xls’)data = open_workbook(filename=excle_path) # 打开excel文件excel = cop
2020-06-24 17:48:19
206
OpenRTB-API-Specification-Version-2-5
2023-07-28
RPA-Python（包含TagUi）.rar
2021-12-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人