
python
mush_me
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
python版wobot
[code="java"] #-*- coding: UTF-8 -*- import pyglet import os import random import hashlib import time import urllib.request from urllib.request import quote import os.path log=None;#False,No...原创 2016-04-19 20:49:04 · 152 阅读 · 0 评论 -
多线程下载cnblog新闻图片
主要处理的问题有: 1.如何防止重复下载 2.网络访问一般较慢,需要多线程协助提升下载速度 解决方案: 1.先遍历列表页,将图片地址保存到数据库中,保存时,判断是否有重复。 2.使用多线程,下载数据库中的图片 一.下载图片地址 [code="python"] # -*- coding:utf-8 -*- from bs4 import BeautifulSoup imp...2016-03-31 10:17:58 · 173 阅读 · 0 评论 -
使用python备份搜狐博客
博客日落西山,已经是不争的事实了,只怕哪天会停掉的。 用python把旧的内容做下备份。 [code="python"] # -*- coding:utf-8 -*- import urllib.request from urllib import request from bs4 import BeautifulSoup import sqlite3 domain="TT...原创 2016-02-24 15:17:32 · 187 阅读 · 0 评论 -
使用python从360doc上抓取内容
#人生苦短,我用python 在360doc上查到一篇不错的文章,准备复制收藏的时候,提示让我登录。 我没有帐号,只好祭出python,顺利拿到数据,自动根据网页标题,保存成html页面 提示:360doc服务端,检查了header,代码里已经添加了。 [code="java"] import urllib.request from urllib import request imp...2016-01-27 15:32:57 · 831 阅读 · 0 评论 -
python连接telnet
[code="java"] # -*- coding: utf-8 -*- import telnetlib '''Telnet远程登录:Windows客户端连接Linux服务器''' # 配置选项 Host = '127.0.0.1' # Telnet服务器IP username = 'admin' # 登录用户名 password = '123456' # 登录密...原创 2016-01-26 10:39:51 · 322 阅读 · 0 评论 -
获取可用的代理服务器
1.找到一个可用的代理服务器源 2.验证并找出可用的代理服务器 以下用python语言编写 从http://www.xicidaili.com/nn/1抓取到代理服务器地址 这个网上说的是高匿,实际不是的,原来的ip还是会被forward过去的。 将代理信息抓取保存到proxy.txt里 [code="java"] #encoding=utf8 import urllib i...2016-01-26 08:27:29 · 1042 阅读 · 0 评论 -
每日自动下载bing背景图片做桌面之python
百度已经烂到没法用了,开始使用bing,发现bing的首页背景很适合当桌面。 写个代码,每日自动下载bing首页的图片,自动做我的壁纸 用到以下几个内容: 1.python基础知识 2.pyinstaller打包python成exe文件 3.使用windows自带的任务计划程序 一.下载,自动下载到sample图片目录 [code="python"] import urllib...2016-01-08 10:17:13 · 528 阅读 · 0 评论 -
python数据抓取
经过折腾,python果然是数据抓取的利器。 火车头类的东西,以后我怕是用不上了,用python自己写,速度快而且透明。 数据抓取的大概步骤 1.抓取列表页面链接 2.根据链接,抓取内容,并保存到数据库 以下是cnblog的新闻为例,使用sqlite做数据库(python内置的,当然是首选的) 1.getnewsList.py [code="python"] # -*- cod...原创 2015-12-28 16:28:12 · 233 阅读 · 0 评论 -
用python自动登录iteye
需要beautifulsoup插件,python版本3 [code="python"] # -*- coding:utf-8 -*- from bs4 import BeautifulSoup import urllib import urllib.request import http.cookiejar import string import re referu...原创 2015-12-24 14:24:14 · 114 阅读 · 0 评论 -
useragent
[code="java"] USER_AGENTS = [ "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)", "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6...原创 2016-10-04 16:01:55 · 205 阅读 · 0 评论 -
整理一个python工具类
mark一个工具类 [code="java"] from urllib.request import quote import urllib.request import sqlite3 class FileUtil: #根据url下载图片,如果没有设置图片地址,自动保存到D:\\download\\图片名称 def downImg(imgUrl,sa...原创 2016-09-08 16:26:20 · 469 阅读 · 0 评论 -
scrapy抓取cnblog新闻
tutorial/items.py:项目的items文件 tutorial/pipelines.py:项目的pipelines文件,需要注册到setting.py中,会自动执行process_item方法 tutorial/settings.py:项目的设置文件 tutorial/spiders/:存储爬虫的目录,写好文件后,自动生效 目标:抓取cnblog的标题和新闻 ...原创 2016-09-08 16:00:58 · 283 阅读 · 0 评论 -
scrapy抓取dmoz内容
1.新建一个项目 [code="python"] scrapy startproject dmozspider [/code] 会在当前目录创建一个dmozspider的文件夹,包含一系列文件 scrapy.cfg:项目的配置文件 tutorial/:项目的Python模块,将会从这里引用代码 tutorial/items.py:项目的items文件 tutorial/pipe...原创 2016-09-07 14:18:51 · 284 阅读 · 0 评论 -
安装scrapy
1.使用pip安装 [code="python"] pip install Scrapy [/code] 安装中间,失败了,提示“error: Unable to find vcvarsall.bat”,搜索的结果是VS编译的问题。。。 2.安装visual stuio 2010专业版 3.修改python\lib\distutils\msvc9complier.py #toolsk...原创 2016-09-07 11:03:57 · 106 阅读 · 0 评论 -
获取天气预报的接口
以前的几个天气预报的接口没法用了,新找了两个接口 一个接口启用了gzip,用代码处理的时候,需要注意下 json-handle的插件地址,可以很方便的解析json http://jsonhandle.sinaapp.com/ 代码1 [code="python"] #encoding=utf8 import urllib import urllib.request import h...原创 2016-07-05 16:28:26 · 352 阅读 · 0 评论 -
选择一个好的驾校,用数据说话,我用python
在交管局网站上,看到每月的考试信息都有工具。 想想,可以汇总下,按照考试人数排个名(群众的选择大部分时候都是有道理的) 1.数据先抓取下来 [code="python"] #encoding=utf8 import urllib import urllib.request import http.cookiejar from bs4 import BeautifulSoup ...2016-07-05 11:13:32 · 179 阅读 · 0 评论 -
运用百度语音识别来读文字
运用百度语音识别来读取你的本地内容 1.把本地文字传递给百度语音接口,返回语音mp3 2.将mp3保存到本地 3.用pyglet播放此语音 [code="python"] #-*- coding: UTF-8 -*- import pyglet import hashlib import time import urllib.request from urllib.reques...原创 2016-04-04 22:09:02 · 366 阅读 · 0 评论