Python14原生爬虫

Q：原生爬虫

A：

what

对Html文件进行文本分析，得到想要的信息

who

今日头条

how

明确目的
找到数据对应网页
分析网页结构找到数据所在标签位置（F12）
写代码：
模拟HTTP请求，向服务器发送这个请求，获取到服务器返回给我们的HTML
用正则表达式提取数据
选择唯一标识的内容，作为定位标签

how much

#断点调试
点代码行小圆点设置断点。F5调试，F10单步，两次F5跳断点，F11进入某一个方法的内部
'''
   模块注释
'''
#导入包/模块
import re 
from urllib import request
#定义爬虫类
class Spider():
'''
   类注释
'''
    url = '网址'
#定义正则表达式'
#网址定位标签一级目录，所有字符串？表示非贪婪
    root_pattern = '<div class="video-info">([\s\S]*?)</div>'
#定位标签目标位置
    name_pattern = '</i>([\s\S]*?)</span>'
    number_pattern = '<span class="video-number">([\s\S]*?)</span>'
#导入网址
    def __fetch_content(self):
        r = requset.urlopen(Spider.url)
#得到数字，是字节码
        htmls = r.read()
#将字节码转换为utf-8格式文本
        str(htmls, encodings='utf-8')
        return htmls
#匹配到一级目录
    def __analysis(self, htmls):
        root_html = re.findall(Spider.root_pattern, htmls)
#定义列表，装入提取数据
        anchors = []
#遍历所有一级目录，提取目标
        for html in root_html：
            name = re.findall(Spider.name_pattern, html)
            number = re.findall(Spider.number_pattern, html)
            anchor = {'name':name, 'number':number}
#将提取的元素添加入列表
            anchors.append(anchor)
            return anchors
#精炼数据，去掉空格，换行等，转换为字符串,strip()去除前后空格
    def __refine(self, anchors):
        l = lambda anchor: {
        'name':anchor['name'][0].strip(), 
        'number':anchor['number'] [0]
        }
        return map(l, anchors)
#数据排序sorted用于排列大小reverse颠倒排序方向（默认false，为升序）
    def __sort(self, anchors):
        anchors = sorted(anchors, key=self.__sort_seed, reverse=True)
        return anchors
#为key函数确认一个运算逻辑
    def __sort_seed(self, anchor):
#正则表达式提取数字
        r = re.findall('\d*', anchor['number'])
        number = float(r[0])
#如果文字以万结尾，结果乘以10000
        if '万' in anchor['number']:
            number *= 10000
        return number
#将结果展示出来
    def __show(self, anchors):
        for rank in range(0, len(anchors)):
            print('rank' + str(rank+1)
            + ':' + anchors[rank]['name']
            + '-----' + anchors[rank]['number'])
#总控方法，入口
    def go(self):
        htmls = self.__fetch_content()
        anchors = self.__analysis(htmls)
        anchors = list(self.__refine(anchors))
        anchors = self.__sort(anchors)
        self.__show(anchors)

spider = Spider()
spider.go()