Xu_programmer的博客

Python3连接数据库，首先下载连接sql server数据库的pymssql库。Python连接数据库很简单，也有很多库可以用，我用的比较常用的pymssql。连接数据库：connect = pymssql.connect(self.url,self.username,self.password,self.databaseName) ；获取游标：cursor = connect.c...

一、pip安装比较方便的是使用pip安装，pip在安装Python库的时候很方便，建议用此方法。安装pip：进入cmd窗口，进入Python安装目录获得pip安装文件：curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py安装pip：python get-pip.py看到successful就是安装成功了。...

python爬虫最基本流程是，获取请求，解析页面，处理页面数据 。python获取页面的的第三方库很多，像request，urllib，解析方法有最简单的re正则表达式，也有专门用来解析的库xmlx，beautifulSoup等。下面以request，正则表达式为例。一、获取请求，得到网页文本，先上代码：import requests#获取请求response = requests.g......

请求出错爬取页面开始没有问题，爬到某个时刻异常报错，如果是403错误，是被反爬抓到了。解决方法：1，设置headers，建一个user-agent池，每次用不同到user-agent访问，用来模拟不同浏览器访问页面2，设置代理池，每次用不同的ip3，设置延迟，time.sleep(random.randint(0,5))，改变抓取效率，防止被发现ConnectionRese...

BeautifulSoup是一个很简单又好用的库，不过解析速度相对比较慢，使用如下：1，安装pip install bs4 （被加到了bs4中） #python3用pip3 install bs4 ，如果有权限问题，可以试试，pip install bs4 --user2，导包from bs4 import BeautifulSoup3,使用代码from bs4 im...

使用BeautifulSoup和lxml，可以解析代码并不规范的网页，并补充代码方便解析。使用过BeatuifulSoup解析网页，解析速度上并没有lxml快，本人爬取过一个网站，用aiohttp+BeautifulSoup，协程一起爬20多个网页，由于解析超时会中断，改用lxml后，就没有出现这个问题，爬取速度提升了数倍。使用lxml步骤：1，引入包：from lxml import e...