- 博客(15)
- 收藏
- 关注
RSS订阅原创 PyQt实例：设计有折叠效果的左侧选项卡，且点击不同选项卡能进行不同界面的切换
声明：本文仅供学习用，旨在分享首先先来看下效果图：要实现上面的页面切换效果，需要用到一个控件QStackedWidget，叫做堆载窗口控件，QStackedWidget控件与QTabWidget类似，可以有效的显示窗口的控件。以下是代码：# -*- coding: utf-8 -*-from random import randintimport sysfrom PyQt5.QtCo...
2019-11-15 16:53:34
6948
4
原创 PyQt5的环境安装及初级使用
基于公司项目需要，运用了PyQ进行了桌面版APP的开发，在此将一些常用方法进行总结。1、环境的安装及配置：本人运用的是pycharm2016.3.2专业版，python3.6.0 64位，这两者的安装及配置不再阐述。首先是安装相应模块，运用豆瓣源安装，安装顺序为：sip=4.19.8>>>>PyQt5=5.11.3>>>>PyQt5-tools=...
2019-11-15 10:42:16
435
原创 python实战：利用自动化模块pywinauto及selenium登录后爬取淘宝商品信息
现在大型网站对selenium工具都会进行检测，若检测到selenium就判定为机器人，访问被拒或出现像淘宝一样的滑块验证等机制。基于多次失败的经验教训及探讨，此次通过利用 Chrome DevTools 协议pywinauto模块登录淘宝避免...
2019-10-21 11:19:56
2915
1
原创 python实战：破解大众点评用CSS加密数字的反爬机制
**1、**此次我们以该站点：惠州粤菜推荐 为目标站点，来到站点后打开chrome的开发者工具，点击刷新页面，按下图操作你会看到点评数中部分数字被进行了加密，所显示的只有span标签和class 并没有数字信息。点击其中的某个标签，通过查看css信息就会发现在里面有个网址（即上图中的【4】），点击打开该网址你会看到下图：其实这些数字是SVG矢量图，SVG矢量图是基于可扩展标记语言，用于描述...
2019-03-03 10:01:49
4258
4
原创 python实战：破解网易云音乐params及encSecKey加密参数实现歌单内任意歌曲下载（附参数分析过程）
**1、**首先我们打开歌单内的任意一首歌曲，在该页面下打开chrome的开发者工具后切换到Network后重新刷新页面，找到请求到该歌曲播放源的URL，如下图：找到后切换到Headers，可以看到其为一个post请求，URL为：‘https://music.163.com/weapi/song/enhance/player/url?csrf_token=’ ，从上图可知这个URL返回的是js...
2019-02-26 11:29:34
12518
10
原创 python项目实战：用多进程(multiprocessing)+多线程(threading)的方式并发爬取淘宝商品信息并存入MongoDB
用多进程(multiprocessing)+多线程(threading)的方式并发爬取淘宝美食信息并存入MongoDB声明：本文仅供学习用，旨在分享基于上次写的python实战：将cookies添加到requests.session中实现淘宝的模拟登录 ，此次我们实现在该登陆状况下抓取淘宝商品信息（以抓取美食信息为例），并用并发方式来对请求的URL进行访问爬取数据后存入MongoDB。**1...
2019-02-22 14:57:36
1628
原创 python实战：将cookies添加到requests.session中实现淘宝的模拟登录
将cookies添加到requests.session中实现淘宝的模拟登录声明：本文仅供学习用，旨在分享我们知道现在爬取淘宝商品是必须要登录的，在没有登录的情况下搜索商品也会自动重定向到登录页面。之前学着用selenium，pyppeteer等自动化框架模拟登录淘宝，但是无论怎么滑动滑块验证都失败。然而就像星爷《新喜剧之王》中所说得：只要不投降就是成功，同时为了安慰自己受伤的小心灵，决定用co...
2019-02-22 11:25:47
14607
4
原创 python学习笔记：使用tkinter模块创建可视化界面，并将.py程序转化成.exe可执行文件
基于上次写的有道翻译程序python实战：利用chrome抓包插件HTTP间谍分析有道翻译反爬机制，此次我们使用tkinter模块创建可视化界面，并将.py程序转化成.exe可执行文件。**1、**首先我们需下载pyInstaller，pyInstaller的下载地址为 http://www.pyinstaller.org/downloads.html （看好自己python的版本进行下载），建...
2019-02-20 20:38:48
5078
原创 python实战：利用chrome抓包插件HTTP间谍分析有道翻译反爬机制
本次实战目标站点：http://fanyi.youdao.com/?keyfrom=fanyi-new.logo，主要利用HTTP间谍抓包插件分析有道翻译反爬机制，该抓包能帮我们过滤掉一些不需要的常规请求如图片，css等。**1、**首先分析提交翻译请求后URL的规律。打开chrome的开发者工具，输入翻译内容后点击“翻译”按钮，可以看到服务器返回的数据，如下图所示：此时我们点击插件，可以看...
2019-02-20 17:02:21
1799
1
原创 Scrapy设置随机请求头爬取猫眼电影TOP100并用xpath解析数据后存入MongoDB
Scrapy设置随机请求头爬取猫眼电影TOP100并用xpath解析数据后存入MongoDB。**1、**首先我们先创建一个scrapy项目，运行CMD后按下图所示进行创建：在爬虫过程中，我们常常会使用各种各样的伪装来降低被目标网站反爬的概率，其中随机更换User-Agent就是一种手段。当我们的scrapy项目创建完成并执行爬虫程序时，首先会先读取setting文件的配置，而在框架机制里又存...
2019-02-17 08:28:02
844
1
原创 python项目实战：用多进程(multiprocessing)+多线程(threading)的方式并发爬取智联招聘爬虫岗位信息并存入MongoDB
用多进程(multiprocessing)+多线程(threading)的方式并发爬取智联招聘爬虫岗位信息并存入MongoDB本次实战目标站点：https://sou.zhaopin.com/?jl=548&kw=爬虫&kt=3 ，主要是爬取广东省内招聘爬虫岗位信息，并用并发方式来对请求的URL进行访问以爬取数据后存入MongoDB。**1、**首先分析URL的请求规律。打开c...
2019-02-16 18:16:02
623
原创 不用写代码的爬虫：用chrome浏览器的爬虫插件Web Scraper爬取豆瓣动画片电影并运用CouchDB使爬取到的数据有序
用chrome浏览器的爬虫插件Web Scraper爬取豆瓣动画片电影。首先我们来到目标站点：https://movie.douban.com/typerank?type_name=动画&type=25&interval_id=100:90&action= ，主要是爬取好于100%-90%的动画片，可以看到一共有103部。往下滑动鼠标可以看到会出现更多的动画片信息，然而我...
2019-02-15 20:58:02
1649
原创 使用python的requests库爬取糗事百科并用xpath解析数据后存入MongoDB
首先我们来到目标站点：https://www.qiushibaike.com/text/ ，往下拖动鼠标我们可以看到一共只有13页的数据，因此我们需要找到请求这些数据的URL，并找到这些URL的提交规律。**1、**打开chrome的开发者工具，切换到Network后刷新页面，观察到服务器返回给我们的东西里只有第一个请求URL：https://www.qiushibaike.com/text/...
2019-02-14 20:51:36
620
1
原创 不用写代码的爬虫：使用chrome浏览器的爬虫插件Web Scraper爬取天猫商品信息
不用写代码的爬虫：用chrome浏览器的爬虫插件Web Scraper爬取天猫商品信息此处以该页面https://list.tmall.com/search_product.htm?spm=875.7931836/B.subpannel2016046.14.700b4265X81Z8k&q=%C5%A3%C4%CC&pos=1&vmarke
2019-02-14 13:56:42
7484
1
原创 用python的requests库爬取京东某商品的评论并存储到MongoDB
用python的requests库爬取京东某商品的评论内容，评论有用数及时间，并将结果存到MongoDB首先打开所选商品的详情页面，此处以https://item.jd.com/2922989.html为例，打开chrome开发者工具，点击商品评价，在某项评论中找一个关键字（此处以以logo为关键字），使用chrome开发者工具中的Search功能，输入后找到包含该关键字的文件，文件中记录了该评...
2019-02-14 10:45:32
1580
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人