小辣鸡的Python爬坑之旅
...
一枚小辣鸡
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
python-SQLAlchemy记录
ORM(object-relational-mapping),对象关系映射,通过使用描述对象和数据库之间映射的元数据,将对象数据持久化到关系数据库中。负责其中转换的工作由各语言使用的框架完成。在Python之中,SQLAlchemy便是一款出名的ORM框架。SQLAlchemy“采用简单的Python语言,为高效和高性能的数据库访问设计,实现了完整的企业级持久模型”。SQLAlchemy的理念是,SQL数据库的量级和性能重要于对象集合;而对象集合的抽象又重要于表和行。因此,SQLAlchemy采用了原创 2020-07-08 23:09:46 · 565 阅读 · 0 评论 -
python-Airtest自动化测试工具的探索
Airtest全称AirtestProject,是由网易游戏推出的一款自动化测试框架,在软件测试的时候使用到了该框架。这里记录一下安装、使用和遇到的坑的问题…Airtest的官网介绍如下:Airtest:是一个跨平台的、基于图像识别的UI自动化测试框架,适用于游戏和App,支持平台有Windows、Android和iOSPoco:是一款基于UI控件识别的自动化测试框架,目前支持Unity3D/cocos2dx-*/Android原生app/iOS原生app/微信小程序,也可以在其他引擎中自行接入.原创 2020-07-04 16:43:35 · 8040 阅读 · 0 评论 -
python-pyspider-安装-入坑记录
前言:由于之前爬虫都是使用requests+BeautifulSoup来写,从未使用过爬虫框架来写,本来打算来尝试一下pyspider框架。没想到在安装的时候就遇上很多坑。特意开贴来记录一下。mark一下版本:python3.7 (32位)安装之前,在网上搜索过pys...原创 2019-08-25 10:22:14 · 2603 阅读 · 2 评论 -
python-pyspider-使用-脱坑记录
前言:经过小小折腾,安装好了pyspider。按照预期,在命令行输入pyspider all,然后再打开pyspider自带的webui就可以愉快地敲代码了。当我输入命令,duang,一连串的报错。填坑记录开始。。。mark一下版本:python3.7(32位)① 首先遇到了经典的语法错误无效:syntaxerror invalid syntax看到这个的时候我一脸懵逼???我还什么都没写...原创 2019-08-25 11:45:54 · 777 阅读 · 0 评论 -
python-scrapy-settings.py
Option含义BOT_NAME项目名SPIDER_MODULES爬虫位置NEWSPIDER_MODULE新建爬虫位置USER_AGENT设置请求头中的User-AgentROBOTSTXT_OBEY遵守robots协议(网站中可以爬取的范围)CONCURRENT_REQUESTS爬虫的最大并发请求数DOWNLOAD_DELAY...原创 2019-08-26 10:38:20 · 224 阅读 · 0 评论
分享