mush_me的专栏

[code="java"] #-*- coding: UTF-8 -*- import pyglet import os import random import hashlib import time import urllib.request from urllib.request import quote import os.path log=None;#False,No...

主要处理的问题有： 1.如何防止重复下载 2.网络访问一般较慢，需要多线程协助提升下载速度 解决方案： 1.先遍历列表页，将图片地址保存到数据库中，保存时，判断是否有重复。 2.使用多线程，下载数据库中的图片 一.下载图片地址 [code="python"] # -*- coding:utf-8 -*- from bs4 import BeautifulSoup imp...

博客日落西山，已经是不争的事实了，只怕哪天会停掉的。 用python把旧的内容做下备份。 [code="python"] # -*- coding:utf-8 -*- import urllib.request from urllib import request from bs4 import BeautifulSoup import sqlite3 domain="TT...

#人生苦短，我用python 在360doc上查到一篇不错的文章，准备复制收藏的时候，提示让我登录。 我没有帐号，只好祭出python，顺利拿到数据，自动根据网页标题，保存成html页面 提示：360doc服务端，检查了header，代码里已经添加了。 [code="java"] import urllib.request from urllib import request imp...

[code="java"] # -*- coding: utf-8 -*- import telnetlib '''Telnet远程登录：Windows客户端连接Linux服务器''' # 配置选项 Host = '127.0.0.1' # Telnet服务器IP username = 'admin' # 登录用户名 password = '123456' # 登录密...

1.找到一个可用的代理服务器源 2.验证并找出可用的代理服务器 以下用python语言编写 从http://www.xicidaili.com/nn/1抓取到代理服务器地址 这个网上说的是高匿，实际不是的，原来的ip还是会被forward过去的。 将代理信息抓取保存到proxy.txt里 [code="java"] #encoding=utf8 import urllib i...

百度已经烂到没法用了，开始使用bing，发现bing的首页背景很适合当桌面。 写个代码，每日自动下载bing首页的图片，自动做我的壁纸 用到以下几个内容： 1.python基础知识 2.pyinstaller打包python成exe文件 3.使用windows自带的任务计划程序 一.下载，自动下载到sample图片目录 [code="python"] import urllib...

经过折腾，python果然是数据抓取的利器。 火车头类的东西，以后我怕是用不上了，用python自己写，速度快而且透明。 数据抓取的大概步骤 1.抓取列表页面链接 2.根据链接，抓取内容，并保存到数据库 以下是cnblog的新闻为例，使用sqlite做数据库（python内置的，当然是首选的） 1.getnewsList.py [code="python"] # -*- cod...

需要beautifulsoup插件，python版本3 [code="python"] # -*- coding:utf-8 -*- from bs4 import BeautifulSoup import urllib import urllib.request import http.cookiejar import string import re referu...

[code="java"] USER_AGENTS = [ "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)", "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6...

mark一个工具类 [code="java"] from urllib.request import quote import urllib.request import sqlite3 class FileUtil: #根据url下载图片，如果没有设置图片地址，自动保存到D:\\download\\图片名称 def downImg(imgUrl,sa...

tutorial/items.py：项目的items文件 tutorial/pipelines.py：项目的pipelines文件，需要注册到setting.py中，会自动执行process_item方法 tutorial/settings.py：项目的设置文件 tutorial/spiders/：存储爬虫的目录，写好文件后，自动生效 目标：抓取cnblog的标题和新闻 ...

1.新建一个项目 [code="python"] scrapy startproject dmozspider [/code] 会在当前目录创建一个dmozspider的文件夹，包含一系列文件 scrapy.cfg：项目的配置文件 tutorial/：项目的Python模块，将会从这里引用代码 tutorial/items.py：项目的items文件 tutorial/pipe...

1.使用pip安装 [code="python"] pip install Scrapy [/code] 安装中间，失败了，提示“error: Unable to find vcvarsall.bat”，搜索的结果是VS编译的问题。。。 2.安装visual stuio 2010专业版 3.修改python\lib\distutils\msvc9complier.py #toolsk...

以前的几个天气预报的接口没法用了，新找了两个接口 一个接口启用了gzip，用代码处理的时候，需要注意下 json-handle的插件地址，可以很方便的解析json http://jsonhandle.sinaapp.com/ 代码1 [code="python"] #encoding=utf8 import urllib import urllib.request import h...

在交管局网站上，看到每月的考试信息都有工具。 想想，可以汇总下，按照考试人数排个名（群众的选择大部分时候都是有道理的） 1.数据先抓取下来 [code="python"] #encoding=utf8 import urllib import urllib.request import http.cookiejar from bs4 import BeautifulSoup ...

运用百度语音识别来读取你的本地内容 1.把本地文字传递给百度语音接口，返回语音mp3 2.将mp3保存到本地 3.用pyglet播放此语音 [code="python"] #-*- coding: UTF-8 -*- import pyglet import hashlib import time import urllib.request from urllib.reques...