Python个爬虫常用库的安装
工具库：
请求库：request seleinum
解析库：beautifulsoup pyquery lxml
存储库：mogodb,mysql,redis
1.urllib / re
[内置的]
import urllib
import re
2.request
第三方安装：pip
pip install requests
不要使用尖括号
3.selenium
有js渲染的网站,可用selenium驱动浏览器
4.Chromedriver【将exe放在已配置好环境变量的目录下，或添加环境变量】
from selenium import webdriver
driver = webdriver.Chrome
driver.get('http://www.baidu.com')
driver.page_source//打印源码
5.phantomjs
from selenium import webdriver
driver = webdriver.PhantomJS()
driver.get('http://www.baidu.com')
driver.page_source//打印源码
6.lxml
7.beautifulsoup
8.pyquery
from pyquery import PyQuery as pq
doc = pq('<html>hello</html>')
result = doc('html').text()
result
//输出为hello
9.pymysql
10.pymongo
11.redis
12.flask
13.django
14.jupyter
jupyter notebook【可在网页运行Python】
以上几个模块都可以用pip install +库名来安装
扫一扫
58万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
