Python
关注
分享
扫一扫
衣乌安、
愿每天合上笔记本盖子的刹那，都有着剑客收剑入鞘的骄傲。。。\n
阿里巴巴-灵犀互娱内推：https://talent.lingxigames.com/off-campus/position-list?shareCode=tnUSkSaCdjj4vvU3_vDQ0g%3D%3D
展开
-
Python入门知识点
随笔，琐碎知识点，持续更新-----------------------------------------------'''或"""三引号表示多行字符串Python还允许用r''表示''内部的字符串默认不转义 本身类型不固定的语言称之为动态语言，与之对应的是静态语言。静态语言在定义变量时必须指定变量类型，如果赋值的时候类型不匹配，就会报错。例如Java是静态语言 /除法计算...原创 2019-01-29 14:28:40 · 224 阅读 · 0 评论 -
scrapy爬虫不调用process_item函数
首先要确定setting中ITEM_PIPELINES设置已添加：# Configure item pipelines# See https://doc.scrapy.org/en/latest/topics/item-pipeline.htmlITEM_PIPELINES = { 'spider.spider.pipelines.SpiderPipeline': 300,}...原创 2019-02-11 15:31:32 · 1443 阅读 · 0 评论 -
scrapy中使用ip代理
在scrapy中使用ip代理需要借助中间件的功能首先在settings中设置好中间件，中间件优先级数字越小的越先被调用'DOWNLOADER_MIDDLEWARES':{ 'spider.spider.middlewares.ProxyMiddleWare':542, 'spider.spider.middlewares.SelenuimD...原创 2019-02-19 15:40:11 · 1207 阅读 · 0 评论 -
随机获取user-agent
第一种，随机 random 导入：import randomdef getheaders(): user_agent_list = [ \ "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1" \ ...原创 2019-02-19 16:12:42 · 1669 阅读 · 0 评论 -
python项目生产依赖文件
安装pipreqs,并生成requirements.txt清单pip install pipreqspipreqs ./ # pipreqs ./ --force 如果已经生成requirement.txt 1 2 3安装所有的依赖包# 使用requirements.txt自动安装所有依赖包pip install -r requirements.tx...原创 2019-03-02 15:24:26 · 456 阅读 · 0 评论 -
Flask 重定向
url_for首先，我们说说url_for的意义，大家在浏览网页的时候都会有跳转，假设我们写跳转的时候，用url路径，当整个网站路径需要修改时，就需要更改这些代码，如果我们使用的是url_for的话，修改量就很少（通常视图函数是不修改的）。接着，我们看看url_for的使用：@app.route('/post/list/<page>/')def my_list(page)...转载 2019-04-12 16:30:20 · 448 阅读 · 0 评论 -
mongodb 备份与恢复
备份：以下是可用于 mongodump 命令的可用选项的列表。语法 描述 示例 mongodump —host HOST_NAME —port PORT_NUMBER 此命令将备份指定的 mongod 实例的所有数据库。 mongodump --host 127.0.0.1 --port 27017 mongodump —out BACKUP_DIRECTO...转载 2019-05-14 20:08:08 · 284 阅读 · 0 评论 -
常见反爬应对处理
处理cookiecoolie作为前端常用的本地存储方式之一，在各网站往往发挥着很重要的作用，比如：保存用户信息以及登录状态。部分站点会在前端发起http请求时携带cookie，以此来验证用户是否登录，以及登录用户。并对站点信息进行限制，比如某些信息仅在登录状态可见。还有部分网站同一cookie访问频率过高会被封，此时则需要禁用cookie。实际情况允许条件下利用Selenium实现自...原创 2019-06-04 20:55:01 · 1002 阅读 · 0 评论 -
windows下python2和3区分
python环境安装好以后：查看python的环境变量找到python3环境变量对应的文件夹江python.exe更名为python3.exe，然后进入Scripts文件夹，删除pip.exe。这样python2和3就区分了开来。然后终端中输入python进入2的环境，输入python3则进入3的环境...原创 2019-09-02 14:47:10 · 398 阅读 · 0 评论 -
Scrapy：Filtered duplicate request: - no more duplicat
Scrapy默认有自己的去重策略，当你多次请求同一地址时就会触发，从而终止请求解决办法：请求时添加 dont_filter=True,取消过滤yield scrapy.Request('https://www.zhipin.com/',callback=self.parse,dont_filter=True) ...原创 2019-02-15 16:24:29 · 542 阅读 · 0 评论 -
selenium 鼠标操作
用selenium做自动化，有时候会遇到需要模拟鼠标操作才能进行的情况，比如单击、双击、点击鼠标右键、拖拽等等。而selenium给我们提供了一个类来处理这类事件——ActionChains selenium.webdriver.common.action_chains.ActionChains(driver)这个类基本能够满足我们所有对鼠标操作的需求。1.ActionCh...转载 2019-02-05 20:44:54 · 766 阅读 · 0 评论 -
python 自增问题
许多语言里都有自增，像++i就是将i的值增加1。写Python的时习惯性地用了自增运算，结果发现程序中的++i并没有增加1。怎么回事呢？python中的++i到底是什么意思？原来python中的数字类型是不可变数据。意思说的是数字类型数据在【内存】中是不会发生改变，当变量值发生改变时，会新申请一块内存赋值为新值，然后将变量指向新的内存地址。>>> a = 10>...转载 2019-01-23 17:19:42 · 1665 阅读 · 0 评论 -
Linux 下修改sublime的python执行版本
首先安装插件：PackageResourceViewer安装过程就不说了，不至于还不会装插件吧？然后Ctrl+Shift+p 输入 resource，选择PackageResourceViewer：Open Resource 再选择你要看的编译配置文件这里选Python 然后选 Python.sublime-build如图修改"shell_cmd"对应的值（加个３...原创 2018-11-08 20:24:42 · 467 阅读 · 0 评论 -
python 虚拟环境virtualenv
virtualenv是一个创建隔绝的Python环境的工具。virtualenv创建一个包含所有必要的可执行文件的文件夹，用来使用Python工程所需的包。为什么要装虚拟环境呢？- 隔离项目之间的第三方包依赖，如A项目依赖django1.2.5，B项目依赖django1.3。- 为部署应用提供方便，把开发环境的虚拟环境打包到生产环境即可,不需要在服务器上再折腾一翻。在服务器上都不用安...原创 2018-12-30 11:13:01 · 231 阅读 · 0 评论 -
Mongodb 详细安装配置教程（Mac）
# 进入 /usr/localcd /usr/local# 下载sudo curl -O https://fastdl.mongodb.org/osx/mongodb-osx-ssl-x86_64-4.0.5.tgz# 解压sudo tar -zxvf mongodb-osx-ssl-x86_64-4.0.5.tgz# 重命名为 mongodb 目录...原创 2018-12-30 17:04:36 · 562 阅读 · 0 评论 -
Scrapy 获取settings中变量
#引入get_project_settingsfrom scrapy.utils.project import get_project_settingsclass YourSpider(BaseSpider): def parse(self, response): settings = get_project_settings() print "Y...原创 2019-02-02 21:13:35 · 2038 阅读 · 0 评论 -
selenium 基本用法
目录官方文档：https://selenium-python.readthedocs.io/1.selenium安装2.确认是否安装ChromeDriver3.声明浏览器对象4.访问页面&&关闭页面5.查找节点6.获取节点信息7.节点交互8.延时等待9.前进&&后退10.Cookies11.切换选项卡官方文档：ht...原创 2019-01-28 20:33:54 · 572 阅读 · 0 评论 -
mongodb 获取平均值
使用mongo获取平均值需要用到 聚合 使用aggregate()。详细了解聚合可参考： http://www.runoob.com/mongodb/mongodb-aggregate.html首先需要利用 $group将数据进行分组，‘_id’表示分组的标志，如以下代码，将name相同的分为一组。minPayment_avg为自定义字段。$avg 代表进行求平均操作。$minPa...原创 2019-02-14 19:14:08 · 10171 阅读 · 1 评论 -
scrapy读取settings.py文件
get_project_settingsfrom scrapy.utils.project import get_project_settings def __init__(self): #读取设置 self.mySetting = get_project_settings() #get获取参数 self.timeo...原创 2019-02-04 19:28:10 · 421 阅读 · 0 评论 -
PyMongo CRUD操作
CRUD操作：插入数据：http://www.runoob.com/python3/python-mongodb-insert-document.html查询数据：http://www.runoob.com/python3/python-mongodb-query-document.html修改数据：http://www.runoob.com/python3/python-mongod...原创 2019-01-29 14:22:47 · 338 阅读 · 0 评论 -
还在为你的pip安装速度慢忧愁吗？pip换源
修改源方法：临时使用：可以在使用pip的时候在后面加上-i参数，指定pip源eg: pip install scrapy -ihttps://pypi.tuna.tsinghua.edu.cn/simple永久修改：linux:修改 ~/.pip/pip.conf (没有就创建一个)， 内容如下：[global]index-url = https://pypi.t...原创 2019-09-03 10:46:31 · 145 阅读 · 0 评论