
scrapy
文章平均质量分 58
matrix_neo_nku
这个作者很懒,什么都没留下…
展开
-
【项目实战】使用Scrapy爬取商品信息并写入MySQL数据库
这个项目写了三天,其中遇到了无数的坑,该项目的目标是爬取当当网上某类书的书名、链接和评论数,并写入数据库,以下是步骤。 1.先创建一个项目,在终端里输入: scrapy startproject dangdang2.并在该项目下,创建一个爬虫文件 cd dangdang scrapy genspider -t basic dd dangdang.com 3.要爬取商品的书名、链原创 2018-01-31 10:57:30 · 516 阅读 · 1 评论 -
SAE新浪微博Python SDK CERTIFICATE_VERIFY_FAILED解决方法
一个搭建在SAE上的Django应用,使用新浪微博提供的Python SDK已经稳定运行一年有余,但最近开始持续出现微博认证失败的状况。 摘录微博Python SDK的错误提示如下所示: ERROR:django.request:Internal Server Error: /weibo/auth/ Traceback (most recent call last): File "/u转载 2018-01-24 20:19:56 · 448 阅读 · 0 评论