
python爬虫
Joyceyang_999
不断努力,越来越优秀
我好懒……剩的甲级题目没补的等以后有时间再补吧。。明年开始。。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Scrapy豆瓣爬虫 爬取用户以及用户关注关系
文章目录明确任务1.新建mysql数据库以及数据表1.1 创建数据库1.2 创建用户信息表users1.3 创建用户关注表user_follows笔记一: mysql中utf8与utf8mb4字符编码笔记二:mysql中的排序规则2.PyCharm搭建Scrapy爬虫项目2.1 创建一个Scrapy工程笔记三:scrapy基本命令创建项目运行项目开始爬虫控制台暂停和终止爬虫笔记四:scrapy工程...原创 2020-07-12 15:10:26 · 3533 阅读 · 1 评论 -
给定txt文件,分析文章字符出现次数源码
给定txt文件,分析文章字符出现次数源码import sysfr=open('xyj.txt','r',encoding='utf-8')characters=[]stat={}for line in fr: line=line.strip() if len(line)==0: continue for x in range(0,len(line)...原创 2018-04-22 09:27:53 · 537 阅读 · 0 评论 -
统计QQ聊天记录基础版(分词+统计关键字出现的次数)
最近刚接触python,沉迷爬虫无法自拔,就准备来尝试尝试。虽然代码可能有点乱,我会尽量解释的详细的。目标:从QQ中导出txt文件的聊天记录,用jieba对聊天记录进行分词,统计每个关键字出现的次数,把关键字以及其对应出现的次数导出到csv格式的文件中。1.安装jieba首先要根据python的版本安装jieba库。win10操作系统,win+R输入cmd出现命令行窗口输入pip install ...原创 2018-04-23 20:59:21 · 4079 阅读 · 0 评论 -
统计QQ聊天记录进阶版(分词+统计关键字出现的次数+根据词频制作词云)
继上个博客统计关键字次数的进阶,将关键词的次数制作成词云保存到图片。之前说过的部分现在就不说了,这里主要讲根据词频制作词云。1.安装wordcloud(这里要注意坑)这个安装的过程比jieba复杂,因为直接用pip install wordcloud会安装失败,要先下载对应的python版本对应的wordcloud。这里因为我之前有单独装过python3.7所以第一次我是下载了python3.7对...原创 2018-04-23 21:30:53 · 7339 阅读 · 1 评论