- 博客(9)
- 收藏
- 关注
RSS订阅原创 使用pyspider爬取豆瓣评论
python任务10使用pyspider爬取豆瓣评论#!/usr/bin/env python-- encoding: utf-8 --Created on 2018-12-04 20:30:39Project: doubanfrom pyspider.libs.base_handler import *import MySQLdbimport sysreload(sys)sy...
2018-12-09 14:47:42
178
1
原创 使用多线程和日志爬取任意网站
python任务10使用多线程和日志爬取任意网站import threadingfrom queue import Queuefrom selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support.ui import WebDriverWaitfr...
2018-12-02 12:49:58
195
原创 使用selenium+phaotmjs爬取人民微博
python任务9使用selenium+phaotmjs爬取人民微博from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support i...
2018-11-25 14:41:59
216
1
原创 使用scrapy框架爬取安居客
python任务七使用scrapy框架爬取安居客import requestsfrom scrapy.contrib.spiders import CrawlSpiderimport refrom bs4 import BeautifulSoupimport jsonimport urllib.requestfrom …items import YilongItemclass Y...
2018-11-19 18:50:03
346
原创 爬取小说网小说
python任务3爬取小说网小说coding=utf-8import reimport requestsfrom bs4 import BeautifulSoupimport pymysqldb = pymysql.connect(“localhost”,“root”,“zgx675050748”,“RUNOOB”,charset=‘utf8’)cursor = db.cursor...
2018-11-11 13:28:45
242
原创 爬取安居客
爬取安居客代码：coding=utf-8import reimport urllib.requestfrom bs4 import BeautifulSoupimport pymysqldb = pymysql.connect(“localhost”,“root”,“zgx675050748”,“RUNOOB”,charset=‘utf8’)cursor = ...
2018-11-04 17:59:00
207
原创 爬取孔夫子旧书网
python任务5coding=utf-8import urllib.requestimport demjsonimport pymysqldb = pymysql.connect(“localhost”,“root”,“zgx675050748”,“RUNOOB”,charset=‘utf8’)cursor = db.cursor()cursor.execute(“DROP TAB...
2018-10-29 19:15:28
344
原创 爬取糗事百科
python 任务2爬取糗事百科代码部分：#coding=utf-8import urllib.requestimport ref=open(‘D:/python文件/张贵轩-任务2.txt’,‘a’,encoding=‘utf-8’)try:for page in range(1,11):url = ‘https://www.qiushibaike.com/8hr/page/’...
2018-10-21 11:37:32
166
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人