- 博客(14)
- 收藏
- 关注
RSS订阅原创 2021-08-18
python报错 ScrapyDeprecationWarning: scrapy.loader.processors.MapCompose is deprecated, instantiate itemloaders.processors.MapCompose instead. 解决方法：在报错的文件下加入以下打码，就可以忽略 import warnings warnings.filterwarnings("ignore") 该方法源码 def filterwarnings(action, messag
2021-08-18 15:25:52
766
原创 安卓手机App反编译
安卓手机App反编译 jadx 下载：https://github.com/skylot/jadx 里面有详细的操作步骤 在使用的过程发现导出文件一直卡死，直接用命令行导出，报错。。。。 尝试解决，还是不行，修改参数失败，所有换工作 dex2jar + jd-gui dex2jar 下载：https://sourceforge.net/projects/dex2jar/ 解压安装即可 jd-gui...
2019-07-12 17:57:20
1492
原创 crontab定时启动scrapy爬虫
部署到测试环境，并设置定时启动任务 通过FileZille工具，将本地的文件上传到测试服务器上面的python文件夹中 在与spider同级目录下写一个shell脚本，启动所编辑的运行爬虫文件 vi run.sh 1 #! /bin/sh 2 export PATH=$PATH:/usr/local/bin 3 cd /data/project/python/...../run...
2019-05-22 14:00:58
635
1
原创 python统计list中个元素出现次数
利用字典统计 利用pandas统计 利用Counter类统计 1：方法一 data = [1,2,3,4,2,3,4,2,3,4,5,6,6,4,4,5,6,7,4] data_dict = {} for key in data: data_dict[key] = data_dict.get(key,0) + 1 print("data_dict:",data_dict) 输出结果： d...
2019-04-12 10:47:56
11625
原创 Jupyter Notebook设置代码自动补全
Jupyter Notebook设置代码自动补全 1：已经下载安装Jupyter 2：在命令行中输入 python -m pip install jupyter_contrib_nbextensions 3： jupyter contrib nbextension install --user 4:重启jupyter jupyter notebook 此时Nbextensions宽展键已经...
2019-04-12 09:42:19
2759
原创 安装scrapy
**python环境** --判断是否安装scrapy --- import scrapy(如果不能导入成功，说明还未安装) #正式安装scrapy框架（同时也需要安装一些scrapy所依赖的第三方库）# 1：pip install wheel 2：lxml 3: PyOpenssl 4: Pywin32 5:pip install scrapy **...
2019-03-27 16:19:23
177
原创 python基础 ---1
#调用python脚本 python script.py (script.py python脚本的文件名) #python文件中如果未指定编码，执行的时候可能会报错 #以双下划线开头的__foo代表类的私有成员，以双下划线开头和结尾的__foo__代表python里特殊方法专用的标识 #python最具有特色的就是用缩进来写模块 #三引号 “”"""" 可以表示由多行组成，编写多行文本的快捷语...
2019-03-19 18:07:10
165
原创 抓取的网站需要登录，才能采集网站信息
scrapy采集需要登录的网站信息 直接登录网站，鼠标右键–检查，或者直接键盘F12,找到cookie值，此时的cookie是已经登录之后的cookie，将其转化为字典的格式 下面这段代码可以将网页中的cookie值直接转化成字典格式： class DictCookie: def __init__(self, cookie): self.cookie = cookie ...
2019-03-01 16:34:33
2051
原创 python虚拟环境迁移
生成虚拟环境： pip freeze > requirement.txt 安装虚拟环境: pip install -r requirement.txt
2019-02-26 11:30:59
393
原创 selenium模拟登陆
以模拟登陆csdn账号为例： import time from selenium import webdriver （创建谷歌浏览器对象） driver = webdriver.Chrome(r"下载的webdriver本地地址") driver.get(‘https://passport.youkuaiyun.com/account/login’) driver.find_element_by_xpath(...
2019-02-20 16:34:06
544
原创 windows系统下利用scrapyd部署爬虫（scrapy）项目
1：首先python环境已经配置好 2：然后准备一个可以支持scrapy项目运行的虚拟环境，我再本地安装了python3 和Anaconda a：mkvirtualenv --D:\python\Anaconda\anaconda–tool\python.exe env(虚拟环境名称) b：然后进入虚拟环境下载安装scrapyd，和scrapyd-client两个包 3：进行部署 a：在虚拟环...
2018-12-29 14:52:02
554
原创 selenium模拟滑动浏览器有无界面
from selenium import webdriver ‘’‘无界面浏览器’’’ chrome_options = webdriver.ChromeOptions() chrome_options.add_argument(’–headless’) browser = webdriver.Chrome(r“chromedriver.exe保存路径",chrome_options=chrome...
2018-11-15 14:35:44
454
原创 django项目开发基本步骤
Django开发项目的过程 [ ] –下载安装第三方库 pip install django==相应的版本 –创建项目 admin-django startproject projcet (project是你创建的项目名称，可以自己设置) –创建好之后输入tree命令会显示django自动生成的相关目录 —–project...
2018-07-05 17:51:11
318
原创 Git 使用
git分布式版本控制系统linux系统中git常见命令：开始一个工作区（参见：git help tutorial） clone 克隆一个仓库到一个新目录 init 创建一个空的 Git 仓库或重新初始化一个已存在的仓库在当前变更上工作（参见：git help everyday） add 添加文件内容至索引 mv 移动或重命名一个文...
2018-05-22 17:46:45
167
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人