好好学习，天天向上

蛋壳页面上的租房信息不直观，举个例子，如果我是一个程序员，在望京上班的话，附近的地铁线路有13，14，15号线，如果我要尽可能的减少通勤时间，希望能够找到一个价格便宜距离地铁站又比较近的居所，在蛋壳的页面上找的话，我需要一个个点开房源信息，这样太浪费时间。并且我平时又比较忙，没有的太多的时间去现地看房。能不能尽快地帮助我找到符合要求的房源，快速筛选出3-5个最佳的选项。利用python爬虫就可以实现这个功能。开发环境windows 7 x64python2.7vscode代码实现我要找15

DC学院(https://www.dcxueyuan.com/index.html)是数据城堡（https://www.pkbigdata.com/）下面的一个教学平台，有许多大数据和人工智能领域的优质课程。下面介绍如何使用python来爬取DC学院上已经购买的课程。环境开发环境window 7 x64python3.7 (Anacona 3)vscode 编辑器使用的python包有requests 用于模拟http请求bs4 用来解析html文档re 正则表达式pycrypto

单位购买了几个i春秋上的网络课程，用于业务培训，领导希望将这些课程爬取下来，可以离线观看，将这个任务交给我，经过一番努力，摸清了i春秋前端的视频解密的过程，实现了这个爬虫，现将整个过程记录下来。i春秋(https://www.ichunqiu.com/)是国内一家知名的网络安全类媒体，上面有许多非常好的技术资料和视频课程。环境配置使用的环境windows 7 x64python3.7(Anaconda 3)vscode火狐开发版需要使用的python包有requests 用于模拟htt

看雪学院是看雪论坛（https://www.kanxue.com/）下面的一个mooc平台，上面有一些性价比很高的安全课程。下面介绍如何使用python来爬取看雪学院上已购买的课程。环境window 7 x64python3.7 (Anaconda 3)vscode使用python包有requests 模拟http请求bs4 解析html文档re 正则表达式库代码实现这个爬虫很简单，直接上代码。#-*- coding:utf-8 -*- # kanxue_spider.py#

朋友在学习一个在线课程（http://www.zyyrcw.com/，我帮她将这个课程所有视频离线下载到本地，并替她将刷完了要求的课时。开发环境vscode 编辑器anaconda3 python3环境ffmpeg 用来读取视频文件的长度Firefox开放版 用来查看前后端交互的http请求爬取所有的视频地址#-*- coding:utf-8 -*-# 2020年6月18日21:31import timeimport jsonimport requests,re,sys,pick

很多北漂都是通过自如来租房，自如网站提供了地图找房的功能，可以在地图上找到附近的房源，但是这样还是不够直观，这时候爬虫就派上用场了，可以帮助找房者快速的找到需要的房子，节省找房的时间。开发环境Firefox 开发版VSCode 编辑器Anaconda3 (python3环境)Mongodb 用于存储数据爬虫原理首先打开浏览器的开发者选项，观察一下自如的地图找房api接口在浏览器中打开自如地图找房首页 http://www.ziroom.com/map/，将地图大小设置为14，点击减号，在

在如何爬取微信公众号（一）中完成了将爬取公众号文章的元数据存入数据库，其中包括文章的连接、标题、发布时间、摘要和封面图片等信息。下面介绍如何根据文章链接来爬取文章内容。开发环境windows 7 x64python3.7 (Anaconda)vscode 编辑器mongodb4.0 数据库Nosqlbooster mongodb数据库的可视化管理工具mongodb数据库中以文档格式来存储数据，如一条文章数据是这样存储的。//Copy from NoSQLBooster for Mongo

微信公众号是目前最为流行的自媒体之一，上面有大量的内容，如何将自己感兴趣的公众号内容爬取下来，离线浏览，或者作进一步的分析呢？下面我们讨论一下微信公众号文章的爬取。环境搭建windows 7 x64python3.7 (Anaconda 3)vscode编辑器Firefox开发版爬虫原理分析首先网页登陆微信公众平台(https://mp.weixin.qq.com/)，登陆成功后，点击新建群发->自建图文,插入超连接在如下的对话框中，点击选择其他公众号。在弹出的编辑超链接的对