DedicateToAI的博客

import requests# 这里的headers就是我们上图框中的headersrequest_headers = { 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8', 'Accept-Encoding': 'gzip,...

import requestsurl = 'https://accounts.douban.com/j/mobile/login/basic'request_headers = { 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8', ...

写这么一个算法，能够从过滤html标签后的文本中找到正文文本的起止行号，行号之间的文本就是网页正文部分。有一个规律：正文部分的文本密度要高出非正文部分很多。我们按照这个特性就可以很容易将算法实现，那就是基于阈（读音：yu）值去分析正文所在的位置。那么接下来就需要解决一些问题：如何确定阈值？ 如何分析，一行行的分析？还是？阈值的确定可以通过统计分析得出一个比较好的值，我在实际处理过程...

#! /usr/bin/env python3# -*- coding: utf-8 -*-import requests as reqimport reDBUG = 0reBODY =re.compile( r'<body.*?>([\s\S]*?)<\/body>', re.I)reCOMM = r'<!--.*?-->'reTRI...

with open('./cnews/cnews.train.txt', encoding='utf8') as file: label_list = [k.strip() for k in file.readlines()] #去两边的空格 train_label_list = [k.split()[0] for k in label_list] #标签 train_...