qq_39178473的博客

1.scrapy在爬取过程中遇到ajax渲染的页面，只爬取到了js代码，爬不到真实的页面内容。存在两个问题：1）获取到这些网页的链接？2）怎么爬取到这些链接的真实文本内容？解决方法：（前提：可以获取到这些链接）第一，如果链接的处理方式不可以统一，建立域名与爬取策略的联系，通过特定的js请求的目标url获取到json数据进行爬取；（缺点：无法做到完全穷尽，效率低）第二，如果链接的处理方式...

1.settings.py中的重点字段和内涵USER_AGENT 设置uaROBOTSTXT_OBEY 是否遵守robots协议，默认是遵守CONCURRENT_REQUESTS 设置并发请求的数量，默认是16个DOWNLOAD_DELAY 下载延迟，默认无延迟COOKIES_ENABLED 是否开启cookie，即每次请求带上前一次的cookie，默认是开启的DEFAULT_REQU...

1.安装先安装wheel：pip install wheelhttps://www.lfd.uci.edu/~gohlke/pythonlibs/#lxmlhttps://www.lfd.uci.edu/~gohlke/pythonlibs/#pywin32https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted然后下载lxml…，pywin...

1.常见搜索引擎搜索格式：（1）百度搜索引擎：http://www.baidu.com.cn/s?wd=’ 关键词’&pn=‘分页’。wd是搜索的关键词，pn是分页的页面，由于百度搜索每页的结果是十个（最上面的可能是广告推广，不是搜索结果），所以pn=0是第一页，第二页是pn=10…例如https://www.baidu.com/s?wd=python&pn=0，得到的是关...