- 博客(7)
- 收藏
- 关注
RSS订阅原创 BeautifulSoup爬取虎扑步行街信息到Mysql
人生苦短，我用python今天给大家爬取虎扑步行街的详细信息效果图如下：首先根据虎扑步行街链接获取前十个页面链接for i in range(1, 10): link = "https://bbs.hupu.com/bxj-" + str(i)接着根据链接获取到页面htmlheaders = {'User-Agent' : 'Mozilla/5.0 (Windows; ...
2019-06-21 00:01:26
505
1
原创 爬虫学习笔记——Selenium爬取淘宝商品信息并保存
在使用selenium来模拟浏览器操作，抓取淘宝商品信息前，先完成一些准备工作。准备工作：需要安装selenium，pyquery，以及Chrome浏览器并配置ChromeDriver。安装selenium：pip install selenium安装pyquery：pip install pyqueryChromeDriver配置：参考Window 下配置ChromeDriver做好这...
2019-04-18 00:03:16
1249
原创 Python爬虫——爬取阳光高考网高校信息
在本次学习中主要爬取的内容如下就简单粗暴直接献上代码吧import requestsimport timeimport jsonfrom bs4 import BeautifulSoupdef get_one_page(): headers = { 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X ...
2019-03-07 09:32:00
4644
原创 《学习日记之Python》——正则表达式爬取高考网的高校信息
今天来学习利用正则表达式爬取高考网的高校信息人生苦短，我用python今天要爬取的是高考网广东地区的高校链接：http://college.gaokao.com/schlist/a14/p爬取如图下红色框框内的信息（包括学校主页的链接）步骤一：查找元素所在位置步骤二：用正则表达式提取所需信息def parse_one_page(html): pattern=re.co...
2019-01-13 23:40:42
1048
原创 《学习日记之Python》——正则表达式
正则表达式 (Regular Expression) 又称 RegEx, 是用来匹配字符的一种工具. 在一大串字符中寻找你需要的内容.注意：先输入import re后，才能用正则表达式以下例子关于正则表达式的学习1.# regular expressionpattern1 = “cat”pattern2 = “bird”string = “dog runs to cat”print(...
2018-12-05 10:52:22
215
原创 《学习日记之Python》——GIF分解成图片
本次学习将GIF拆分成一张张图片用python实现的过程。具体实现结果如下：具体实现代码如下：import osfrom PIL import Imagedef analyseImage(path): ''' Pre-process pass over the image to determine the mode (full or additive). ...
2018-11-26 23:31:05
1868
原创 《学习日记之Python》——关于pip和pymysql的安装及pymysql连接数据库
针对python里数据库MySQL连接pymysql库过程的一些问题，和安装pymysql做一点介绍。 首先先介绍一下在python里怎么创建完成数据库连接。例子： from sqlalchemy import create_engine ##创建一个mysql连接器，用户名为root，密码为1234 ##地址为127.0.0.1，数据库名称为testdb，编码为utf-8...
2018-09-13 16:54:52
1427
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人