python爬虫
关注
分享
扫一扫
光明小学王小雨
出来挨打
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
1、urllib
一、urllib简介 在python2，有urllib和urllib2两个库来实现请求的发送。而在python3中，已经不存在urllib2这个库了，统一为urllib。 urllib是python内置的HTTP请求库，也就是说不需要额外安装即可使用。它包含如下四个模块： request：它是最基本的HTTP请求模块，可以用来模拟发送请求。就像在浏览器里输入网址然后回车一样，只需要给库方法传入U...原创 2019-05-13 17:51:54 · 1056 阅读 · 0 评论 -
2、requests
一、基本用法 1、简单例子 urllib库中的urlopen（）方法实际上是以GET方式请求网页，而requests中相应的方法就是get（）方法。 import requests r = requests.get('https://wwww.baidu.com') print(type(r)) print(r.status_code) print(type(r.text)) print(r.t...原创 2019-05-15 15:13:33 · 1870 阅读 · 0 评论 -
爬取猫眼电影排行100电影
import json import requests from requests.exceptions import RequestException import re import time #获取单页的内容 def get_one_page(url): try: response = requests.get(url) if response.st...转载 2019-05-16 19:48:50 · 242 阅读 · 0 评论 -
Beautiful Soup
1、基本用法 html = """ <html><head><title>The Dormouse's story</title></head> <body> <p class="title" name="dromouse"><b>The Dormouse's story</b></p...转载 2019-06-02 19:20:33 · 131 阅读 · 0 评论 -
python操作mysql
1、连接数据库 import pymysql #指定数据库地址、用户、密码、端口，使用connect()方法声明一个Mysql连接对象db db = pymysql.connect(host='localhost',user='root', password='123456', port=3306) #调用cursor()方法获得Mysql的操作游标，利用游标来执行SQL语句。 cursor ...原创 2019-06-02 21:48:05 · 2429 阅读 · 1 评论 -
python操作MongoDB
1、插入数据 import pymongo from pymongo import MongoClient #创建连接对象 client = pymongo.MongoClient(host='localhost', port=27017) # client = MongoClient('mongodb://localhost:27017/') #指定要操作的数据库 db = client....转载 2019-06-02 22:43:48 · 104 阅读 · 0 评论 -
python操作MongoDB
1、插入数据 import pymongo from pymongo import MongoClient #创建连接对象 client = pymongo.MongoClient(host='localhost', port=27017) # client = MongoClient('mongodb://localhost:27017/') #指定要操作的数据库 db = client....转载 2019-06-02 23:03:17 · 221 阅读 · 0 评论 -
Selenium基础
Selenium是一个自动化测试工具，利用它可以驱动浏览器执行特定的动作，如点击、下拉等操作，同时还可以获取浏览器当前呈现的页面的源代码，做到可见即可爬。 1、示例 from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import...转载 2019-06-27 10:26:49 · 200 阅读 · 0 评论