Python学习
关注
分享
扫一扫
文章平均质量分 61
大灰狼学编程
热爱编程的小伙伴
展开
-
Python数据可视化（趋势图、条形图、动态图）
Python数据可视化代码已放到GitHub1.使用matplotlib绘制最简单的趋势图先查看一下数据import pandas as pdunrate = pd.read_csv('unrate.csv') # 使用pandas读取数据unrate['DATE'] = pd.to_datetime(unrate['DATE'])print(unrate.head(12)) # 查看前12条数据 DATE VALUE0 1948-01-01 3.41 1原创 2021-08-29 23:59:06 · 18067 阅读 · 0 评论 -
scrapy漫画爬虫+django页面展示项目
comic这里主要包括两大部分：漫画爬虫，将数据储存到mysql漫画网站搭建，并且进行展示流溪阁在线漫画感觉还不错的请fork,star配置mysqlDROP TABLE IF EXISTS `comic`;CREATE TABLE `comic` ( `id` int(11) NOT NULL AUTO_INCREMENT, `author` varchar(50)...原创 2020-01-07 09:41:15 · 1907 阅读 · 0 评论 -
QQ群信息爬取-------抓包破解接口(2)
QQ群信息爬取-------使用模拟登陆(1)这个比之前的爬取效率更高，爬取的网站https://qun.qq.com/member.html，简单说一下思路首先首先使用模拟登陆获取cookie经过抓包，我发现了Q群的数据接口为https://qun.qq.com/cgi-bin/qun_mgr/search_group_members，使用requests模块向该网站发送post请求，需...原创 2020-01-07 09:41:45 · 26398 阅读 · 11 评论 -
模拟登陆的几种方式
策略一：直接POST数据（比如需要登陆的账户信息)只要是需要提供post数据的，就可以用这种方法。下面示例里post的数据是账户密码：我们来模拟登陆一下笔趣阁，这种网站看起来不太正规，基本都没有什么反爬虫措施，一看就很好爬（嘻嘻）。我特地注册了一个账号，来模拟登陆。账号密码a_hui_tai_lang直接F12可以看到直接发送POST请求到http://www.biquge.com...原创 2020-07-09 18:36:45 · 7147 阅读 · 0 评论 -
scrapy框架学习
scapy常用命令# 创建scrapy项目scrapy startproject mySpider# 先进入项目，使用以下命令，可以在spider目录下，创建父类为scrapy.Spider的的模板，文件名为onespider.py，类名为Onespider，爬虫名为onespidercd mySpiderscrapy genspider onespider "域名"# 先进入项目，使...原创 2020-06-15 14:23:09 · 208 阅读 · 0 评论 -
贴吧一键签到机selenium自动化
感觉有一段时间没有发博客了，今天1024，发一篇福利吧。贴吧签到机，利用selenium模拟浏览器登录，然后根据你关注的贴吧进行签到。1.首先需要安装python2.7，Chrome浏览器，selenium，lxml过程略2.要上代码了具体实现过程：登录获取访问贴吧的地址写个for循环逐个访问并签到2.1首先要解决登录问题我把代码都封装在一个类里面了凑合着看吧其中需要输入的...原创 2020-07-09 18:34:13 · 1261 阅读 · 1 评论 -
如何使用Python发邮件
登录QQ邮箱->设置代码放在GitHub上，python-learning以上具体代码在目录crawler/base/urllib2_re_xml/tieba_email.py有啥私活项目，邮箱联系我的邮箱：loyalwilliams@163.com我的GitHub账号:https://github.com/LoyalWilliams我建了一个大数据的学习交流群QQ：2541...原创 2018-09-21 13:36:14 · 937 阅读 · 2 评论 -
Python贴吧邮箱爬虫
贴吧是个水很深的地方，有很多潜水的鱼，比如底下留下QQ邮箱的这群人帖子的内容大概是留邮箱发视频教学（不是我发的啊）。放点鱼饵，潜水的鱼儿都出来了。我建了个大数据的交流群，正愁没多少人，我想我应该挨个发邮箱宣传一下（坏笑），一个个手动发邮箱太累了。还是写个爬虫，来个精准推广群的广告吧。如果你在贴吧留邮箱，说不定会收到哦。OK，来贴一下代码#coding=utf-8import urllib...原创 2018-09-20 21:16:22 · 1006 阅读 · 0 评论 -
QQ群信息爬取-------使用模拟登陆(1)
代码放在GitHub上，python-learning以上具体代码在目录crawler/base/urllib2_re_xml/tieba_email.py有啥私活项目，邮箱联系我的邮箱：loyalwilliams@163.com我的GitHub账号:https://github.com/LoyalWilliams我建了一个大数据的学习交流群QQ：2541692705Q群：88285...原创 2018-09-25 15:26:53 · 6302 阅读 · 1 评论 -
python爬虫-xpath爬贴吧图片--------------（2）
关于xpath的相关内容请查看上篇python爬虫-xpath爬贴吧图片—————（1） 接下来进入实战案例！！！我使用的是Chrome浏览器（即谷歌浏览器），Chrome插件 XPath Helper 安装完成应该和下面一样，自己安装一下吧 我来爬一下火影忍者吧的图片代码放在GitHub上，https://github.com/LoyalWilliams/python-lear...原创 2018-09-10 15:37:00 · 1223 阅读 · 0 评论 -
python爬虫-xpath爬贴吧图片---------------（1）
我正则用的不好，处理HTML文档感觉头很大。有了xpath后感觉头不疼了，腰不酸了，所以我们就来学学xpath在爬虫中的应用。我们可以先将 HTML文件 转换成 XML文档，然后用 XPath 查找 HTML 节点或元素。什么是XMLXML 指可扩展标记语言（EXtensible Markup Language）XML 是一种标记语言，很类似 HTMLXML 的设计宗旨是传输数据...原创 2018-09-10 14:31:35 · 1264 阅读 · 0 评论 -
Python爬虫--BeautifulSoup4教程、练习
代码放在GitHub上，https://github.com/LoyalWilliams/python-learning.git 以上具体代码在目录/crawler/base/urllib2_re_xml/ 另外本人有点缺钱，有啥私活项目，可以邮箱联系 我的邮箱：loyalwilliams@163.com...原创 2018-09-12 14:05:53 · 1985 阅读 · 0 评论 -
pandas简易学习教程/练习（1）
pandas是Python处理数据的一个科学计算库，这里的代码我都是在anaconda的Jupyter Notebook上运行的，这是个交互式平台可以立马看到结果（很方便），当然也可以在pycharm上运行，如果没有安装运行的环境的可以参考以下博文原创 2017-12-07 16:32:58 · 1019 阅读 · 0 评论 -
Python开发环境--pycharm整合anaconda
python开发环境搭建，pycharm与anaconda的整合原创 2017-12-01 20:17:13 · 17161 阅读 · 0 评论 -
pandas简易学习教程/练习（2）
pandas是Python处理数据的一个数据分析处理库，这里的代码我都是在anaconda的Jupyter Notebook上运行的，这是个交互式平台可以立马看到结果（很方便），当然也可以在pycharm上运行，如果没有安装运行的环境的可以参考以下博文 http://blog.youkuaiyun.com/a_hui_tai_lang/article/details/78689559 废话少说，一切尽在代码原创 2017-12-08 11:48:46 · 673 阅读 · 0 评论