
python
s0i1
s0i1seed
展开
-
Django与scrapy结合,sqlite3.connect() windows数据库路径问题
方法一:绝对路径self.conn = sqlite3.connect('G:\python工程\mysite\db.sqlite3')这是最懒省事的方法方法二:相对路径这种不行(linux下的方式):self.conn = sqlite3.connect('../mysite/db.sqlite3')或许这种:self.conn = sqlite3.co...原创 2018-12-07 18:36:28 · 1182 阅读 · 0 评论 -
python时间问题
首选: datetime.datetime.now() 返回值格式:2018-12-07 17:42:07.954407########################################################################datetime模块定义了5个类,分别是1.datetime.date:表示日期的类2.datetim...原创 2018-12-07 17:46:35 · 193 阅读 · 0 评论 -
xpath中的contains多个条件的匹配
xpath('//div[contains(@class,"a") and contains(@class,"b")]') #它会取class含有有a和b的元素xpath('//div[contains(@class,"a") or contains(@class,"b")]') #它会取class 含有 a 或者 b满足时,或者同时满足时的元素 ...原创 2018-11-27 15:51:30 · 15668 阅读 · 0 评论 -
scrapy网页跳转后进行数据爬取
因为一开始的网站爬取的是一个href,所以需要去跳转一下,即发一个Request<a href="https://XXX.com.cn/w/2018-11-24/doc-ihpevhck4340972.html">你好</a>以下是自己的代码: def parse(self, response): href_set = [] list =...原创 2018-11-26 20:59:54 · 4698 阅读 · 4 评论 -
scrapy xpath()中的/与//的区别
这两天学校的课程要求用django和scrapy写一个新闻网站,在看到//和/的时候,有点迷,就去网上查了一下,发现看的不明不白,今天我就结合自己的实践看一下他们各自的作用:先看看网上的一些博客是怎么说的://a//b/@abc 指的是文档中所有a元素的属性为abc的后代b元素(包括子代元素)(多级);//a/b/@abc 指的是文档中所有a元素的属性为abc的子代b元素(一级);/a...原创 2018-11-26 19:00:41 · 2649 阅读 · 0 评论 -
python3 scrapy安装 error: Microsoft Visual C++ 14.0 is required
pip3 install scrapy报错:error: Microsoft Visual C++ 14.0 is required1从以下网站找到自己python版本号对应的文件:查看自己的python版本 版本:3.7.0 win32表示32位(我安装的是32位) (AMD64)是64位从这个网站找资源:https://ww...原创 2018-11-22 16:20:32 · 257 阅读 · 0 评论 -
pip3报错:Fatal error in launcher: Unable to create process using '"'
python历史:先行安装python3 后发现有些框架python3不支持,又安装了python2,最近不知怎么了,导致我pip3不能使用,于是乎,我想着改环境变量添加到path和PATH: G:\python3;G:\python3\Scripts;G:\python3\Tools\scripts;但是行不通。最后重装了一波。但是解决方案有: 1....原创 2018-10-18 20:09:56 · 650 阅读 · 0 评论 -
windows下scrapy文件转换到linux下报错No module named 'XX.settings'
scrapy安装包还分windows版和linux版,所以有些错误很正常重建工程:scrapy startproject XXX(跟你的工程名一样)把里面自己写的文件和修改过的文件都粘贴进去,即可解决...原创 2018-12-10 19:52:27 · 1621 阅读 · 1 评论 -
python2与python3共存,为了安装TensorFlow去安装python3.6+Anaconda
现在我把python3-32位卸载后,再次在shell下执行python直接调用的就是python2的环境了,说明python3原先是首选可能是因为在path环境变量中它排的比较靠前去官网直接下载python3.6.7的exe版(web版要在安装过程中在线下载),直接安装后直接使用之所以使用python3.6-64位是因为TensorFlow不支持3.7,不支持32位python:...原创 2018-12-23 19:50:15 · 656 阅读 · 0 评论 -
windows下同时安装python2与python3,cmd窗口的python版本选择,以及pip安装文件报错问题
冲突在于两个可执行文件都是python.exe,系统不知道执行哪一个第一步环境变量的修改:计算机->属性->高级系统设置->环境变量,其中有用户变量与系统变量两种: 用户变量的PATH值中在最前面加上想要使用的python版本路径名(例如G:\python3\Scripts\;G:\p...原创 2018-08-07 12:32:52 · 649 阅读 · 0 评论