小小程序员

python是一门面向对象的脚本语言，有丰富的web库和网络处理能力，在开发nginx模块时也会用到。这里对学习到的基础知识点做一个小总结。 变量在定义的过程中不用指定类型，可以用type()函数查看变量或常量类型 i = 1 type(i) type(“hello world”) 函数的定义 def func(arg): command return val 条件执行语句和循环

usage: scrapy crawl first 一、抓取效果 二、源码下载 http://download.youkuaiyun.com/detail/wxq714586001/8821149 三、总结 done: 1、解决了将unicode字符串(类似于‘\uxxx\n\t\t’)转换为实际的文字，困扰了很久。 2、用正则表达式替换字符串。 3、scrapy的基本使用方法。

usage scrapy crawl dou 一、效果 二、源码下载地址 http://download.youkuaiyun.com/detail/wxq714586001/8826869 三、实现过程 done list:     1、定义Item        2、开始爬取网页          a、定义类继承自CrawlSpider         b、定义name/a

一、简介      抓取知乎某一子话题，赞同人数超过10的会被抓取。回答ID、赞同人数、回答时间、内容、提问被保存到mysql数据库中，支持更新(多次抓取时对于同一回答的ID只更新赞同人数)。 usage: scrapy crwal zhihu 二、效果： 抓了一个通宵将编程子话题全部抓完，抓取了13M的内容，下面是保存为json的数据。 但是，数据量一大用json来保存就很不方便

一、运行结果 二、源码 # -*- coding:utf-8 -*- import urllib import urllib2 import re import os import codecs class NBA(object): def __init__(self, team = ur'(热火vs马刺)'): self.base_url = ur'h

一、效果 能捕获按键的输入，无需按enter确认。 二、源码 # -*- coding:utf-8 -*- import select import sys import time import os import termios import re import urllib import urllib2 import codecs import chardet impo

一、实现效果 二、源码 #coding:utf-8 import re import time import codecs import StringIO, gzip import os import urllib import urllib2 from bs4 import BeautifulSoup import chardet def my_cmp(a, b): r

源码下载地址： 一共由两个scrapy工程实现。 第一个工程zhihu_topic:实现抓取关注人数超过2000的知乎话题、相应链接、父子话题并存入MySQL数据库。这个工程只要执行一次，第二个工程会利用这里获取到的链接(link_id)。 usage:     scrapy crawl topic 下面是从数据库中获取一部分话题的截图 第二个工程zhihu： 先贴出