流浪~

采用的环境和IDE 为macos平台上的Pycharm编译器在用命令行创造完一个Djongo之后，出现了权限不足的问题，导致不能编辑该目录。 故百度搜索找到解决办法 sudo chown -R +你的本机用户名 + 你的项目目录enter之后再回到Pycharm，锁已经解开就可以继续开始你的开发了

爬虫输出器 此输出器的主要作用是从经过筛选的下载中获取到对应的值，然后转化成你想要的文件形式来对你所需要的内容进行输出，你可以对其进行排版转化为html的table标签形式，这样一般会比较美观。实现代码#!/usr/bin/env python3# -*- coding: UTF-8 -*-__author__ = 'Gary'# 输出器class HtmlOut

爬虫解析器 此解析器的主要作用是： 1. 对下载下来的页面筛选出你所要的内容，方法主要是通过标签和class属性 2. 可对一些内容进行操作，比如对链接拼接让其成为一个完整的链接。实现代码要用到3个库，一个是BeautifulSoup（需要下载bs4库），还有re库，urllib库。soap可以进行很强大的操作，可以对此进行深入学习。#!/usr/bin/

爬虫下载器 此下载器主要作用是从url管理器中获取新的url并将其从对应服务器中下载下来。实现代码这里的代码与爬虫学习（一）中的互通。 可使用urllib库，或者request库。#!/usr/bin/env python3# -*- coding: UTF-8 -*-__author__ = 'Gary'# 爬虫下载器import urllib.req

爬虫url管理器 此管理器的主要作用： 1. 将新搜寻到的url加入到新url的set( )数据结构中。 2.将已搜寻的url加入到旧url的set( )数据结构中实现代码实现了对url的一系列控制，保证不会有重复的url地址或者不会来回几个地址重复搜寻。#!/usr/bin/env python3# -*- coding: UTF-8 -*-__author

完整的爬虫体系上节已经对爬虫有了简单的了解和实践，接下来我通过慕课网的途径学习到了一个相对完整的框架。为了记录，特将此经调试体系置于此，互相学习。平台MacOS 10.13.3 PyCharm 2016 Python3.6主函数Python 中的主函数与C 或者 java 都相类似，主要的作用就是形成一个总体概括性的大范围，让编程逻辑性更加清晰。主函数如下，难点我已

爬虫 爬虫通俗的理解就是抓取你在网页上看到的信息。俗称爬爬爬嘛。所有网站皆可爬，第一次我们先做一下简单的爬虫尝试，让你初步对爬虫的原理或源代码有所熟悉。平台和需求我采用的平台是 MacOS Pycharm 2016 python3.6另外需要你对Python的基础语法有所了解，另外懂html的标签和css选择器。基础爬虫代码实践#!/usr/local

Scrapy框架Scrapy框架是一个快速抓取web内容的框架，比我之前写的那个爬虫会更简单，更便捷。事先说明 本人转载至http://blog.youkuaiyun.com/zjiang1994/article/details/52779537#comments 经原博主同意具体分析和原博主一样，我也是爬取慕课网的页面（http://www.imooc.com/co...

每次创造新的py文件时都要写同样的头这样确实很繁琐，还好Pycharm 平台有个功能，可以在创造新文件时帮我们自动填写上开头平台：MacOS Pycharm2016.7打开Pycharm的 preference-Editor-File and Code Templates 在右边的Python Script 中填入你想要的自动填写的内容 apply-ok之后，你就可以看到你的文件已经有自动

在进入admin的时候出现’set’ object is not reversible错误 发生版本： python3.6 django 1.11解决方案是在你的urls.py 中把{ } 改为[]原因不详