- 博客(4)
- 资源 (10)
- 收藏
- 关注
原创 scrapy学习笔记
scrapy是python最有名的爬虫框架之一,可以很方便的进行web抓取,并且提供了很强的定制型,这里记录简单学习的过程和在实际应用中会遇到的一些常见问题Scrapy运行流程大概如下:引擎从调度器中取出一个链接(URL)用于接下来的抓取 引擎把URL封装成一个请求(Request)传给下载器 下载器把资源下载下来,并封装成应答包(Response) 爬虫解析Response 解析...
2018-03-31 16:59:34
2404
原创 scrapy常见问题
1. 项目名称问题在使用的时候遇到过一个问题,在初始化scrapy startproject tutorial的时候,如果使用了一些特殊的名字,如:test,fang等单词的话,通过get_project_settings方法获取配置的时候会出错,改成tutorial或一些复杂的名字的时候不会 ImportError: No module named tutorial.setti...
2018-03-31 16:54:31
2384
原创 centos中安装python3和scrapy爬虫
虚拟机环境是centos6.5,系统自带python2.6。我先要安装个python3.5,然后再安装scrapy。先更新下系统yum update -y安装依赖包yum groupinstall 'Development Tools'yum install gcc gcc-devel -yyum install libxml2 libxml2-devel -yyum install li...
2018-03-27 16:04:47
2362
原创 redhat7 rhel7怎么修改镜像源 阿里源 源
由于redhat商业化,注册才能使用其源,这里用阿里的centos源代替1 .下载CentOS-Base.repo文件 该文件会下载到 /etc/yum.repos.d 这个目录下面wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo 2. 将$releaseserve替换为7,...
2018-03-27 14:44:34
2946
readera-24-09-08plus2020.apk
2024-11-21
微软常用运行库合集包
2020-07-15
FileSaverJs-demo-master.zip
2020-01-10
ScreenCapture-master.zip
2020-01-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅