2017-10-23-2

weixin_30888413

于 2017-10-23 18:03:00 发布

阅读量89

点赞数

CC 4.0 BY-SA版权

文章标签： python

原文链接：http://www.cnblogs.com/lh459384111/p/7718179.html

本文介绍了一种使用Python爬取特定网址上的文章内容的方法，并通过jieba分词和wordcloud库生成词云图。该过程涉及网页请求、解析、文件写入等步骤。

# -*- coding utf-8 -*-
import requests
import matplotlib.pyplot as plt
from wordcloud import WordCloud
import jieba
import sys
print sys.getdefaultencoding()
reload(sys)
sys.setdefaultencoding('UTF8')
res =requests.get('http://www.qstheory.cn/2017-10/22/c_1121837612.htm')
res.encoding ='utf-8'
# print (res)
# print(res.text)
from bs4 import BeautifulSoup
html=res.text
soup=BeautifulSoup(html,'html.parser')
# print type(soup)
# print soup.text
# Title=soup.select('h1')[0].text
# print Title
# time=soup.select('span')[0].text
# print time
# mediaresource=soup.select('text')
# print mediaresource
content=soup.select('div.highlight')[0].text
# print content
op=open('shijiuda.txt','w')
op.write(soup.select('div.highlight')[0].text)
op.close()
len_content=len(content)
print len(content)
print len(html)