mush_me的专栏

[code="java"]#-*- coding: UTF-8 -*-import pygletimport osimport randomimport hashlibimport timeimport urllib.requestfrom urllib.request import quoteimport os.pathlog=None;#False,No...

主要处理的问题有：1.如何防止重复下载2.网络访问一般较慢，需要多线程协助提升下载速度解决方案：1.先遍历列表页，将图片地址保存到数据库中，保存时，判断是否有重复。2.使用多线程，下载数据库中的图片一.下载图片地址[code="python"]# -*- coding:utf-8 -*-from bs4 import BeautifulSoupimp...

博客日落西山，已经是不争的事实了，只怕哪天会停掉的。用python把旧的内容做下备份。[code="python"]# -*- coding:utf-8 -*-import urllib.requestfrom urllib import requestfrom bs4 import BeautifulSoupimport sqlite3domain="TT...

#人生苦短，我用python在360doc上查到一篇不错的文章，准备复制收藏的时候，提示让我登录。我没有帐号，只好祭出python，顺利拿到数据，自动根据网页标题，保存成html页面提示：360doc服务端，检查了header，代码里已经添加了。[code="java"]import urllib.requestfrom urllib import requestimp...

[code="java"]# -*- coding: utf-8 -*- import telnetlib'''Telnet远程登录：Windows客户端连接Linux服务器'''# 配置选项Host = '127.0.0.1' # Telnet服务器IPusername = 'admin' # 登录用户名password = '123456' # 登录密...

1.找到一个可用的代理服务器源2.验证并找出可用的代理服务器以下用python语言编写从http://www.xicidaili.com/nn/1抓取到代理服务器地址这个网上说的是高匿，实际不是的，原来的ip还是会被forward过去的。将代理信息抓取保存到proxy.txt里[code="java"]#encoding=utf8import urllibi...

百度已经烂到没法用了，开始使用bing，发现bing的首页背景很适合当桌面。写个代码，每日自动下载bing首页的图片，自动做我的壁纸用到以下几个内容：1.python基础知识2.pyinstaller打包python成exe文件3.使用windows自带的任务计划程序一.下载，自动下载到sample图片目录[code="python"]import urllib...

经过折腾，python果然是数据抓取的利器。火车头类的东西，以后我怕是用不上了，用python自己写，速度快而且透明。数据抓取的大概步骤1.抓取列表页面链接2.根据链接，抓取内容，并保存到数据库以下是cnblog的新闻为例，使用sqlite做数据库（python内置的，当然是首选的）1.getnewsList.py[code="python"]# -*- cod...

需要beautifulsoup插件，python版本3[code="python"]# -*- coding:utf-8 -*-from bs4 import BeautifulSoupimport urllibimport urllib.requestimport http.cookiejarimport stringimport rereferu...

[code="java"]USER_AGENTS = [ "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)", "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6...

mark一个工具类[code="java"]from urllib.request import quoteimport urllib.requestimport sqlite3 class FileUtil: #根据url下载图片，如果没有设置图片地址，自动保存到D:\\download\\图片名称 def downImg(imgUrl,sa...

tutorial/items.py：项目的items文件 tutorial/pipelines.py：项目的pipelines文件，需要注册到setting.py中，会自动执行process_item方法 tutorial/settings.py：项目的设置文件 tutorial/spiders/：存储爬虫的目录，写好文件后，自动生效 目标：抓取cnblog的标题和新闻...

1.新建一个项目[code="python"]scrapy startproject dmozspider[/code]会在当前目录创建一个dmozspider的文件夹，包含一系列文件scrapy.cfg：项目的配置文件tutorial/：项目的Python模块，将会从这里引用代码tutorial/items.py：项目的items文件tutorial/pipe...

1.使用pip安装[code="python"]pip install Scrapy[/code]安装中间，失败了，提示“error: Unable to find vcvarsall.bat”，搜索的结果是VS编译的问题。。。2.安装visual stuio 2010专业版3.修改python\lib\distutils\msvc9complier.py#toolsk...

以前的几个天气预报的接口没法用了，新找了两个接口一个接口启用了gzip，用代码处理的时候，需要注意下json-handle的插件地址，可以很方便的解析json http://jsonhandle.sinaapp.com/代码1[code="python"]#encoding=utf8import urllibimport urllib.requestimport h...

在交管局网站上，看到每月的考试信息都有工具。想想，可以汇总下，按照考试人数排个名（群众的选择大部分时候都是有道理的）1.数据先抓取下来[code="python"]#encoding=utf8import urllibimport urllib.requestimport http.cookiejarfrom bs4 import BeautifulSoup...

运用百度语音识别来读取你的本地内容1.把本地文字传递给百度语音接口，返回语音mp32.将mp3保存到本地3.用pyglet播放此语音[code="python"]#-*- coding: UTF-8 -*-import pygletimport hashlibimport timeimport urllib.requestfrom urllib.reques...