python

最新推荐文章于 2025-04-24 19:54:05 发布

zm_21

最新推荐文章于 2025-04-24 19:54:05 发布

阅读量884

点赞数

分类专栏： AutoDeploy 文章标签： python

AutoDeploy 专栏收录该内容

15 篇文章

订阅专栏

利用selenium工具，可支持多种浏览器。网上资料比较多。经过比较，我选择了Splinter模块，因为利用Splinter开发浏览器自动化操作，编写代码比较简单。
一、Splinter的安装
Splinter的使用必修依靠Cython、lxml、selenium这三个软件。所以，安装前请提前安装
Cython、lxml、selenium。以下给出链接地址：
1）http://download.youkuaiyun.com/detail/feisan/4301293
2）http://code.google.com/p/pythonxy/wiki/AdditionalPlugins#Installation_no
3）http://pypi.python.org/pypi/selenium/2.25.0#downloads
4）http://splinter.cobrateam.info/

注：selenium安装后注意下载相应的浏览器的驱动文件，下到后最好和浏览器所在位置放一起，然后将其路径设置为windows的环境变量

from selenium import webdriver

browser = webdriver.Chrome() # Get local session of Chrome

#如可启动浏览器，设置成功

二、Splinter的使用
  这里，我给出自动登录126邮箱的案例。难点是要找到页面的账户、密码、登录的页面元素，这里需要查看126邮箱登录页面的源码，才能找到相关控件的id.
  例如:输入密码，密码的文本控件id是pwdInput.可以使用browser.find_by_id()方法定位到密码的文本框，
接着使用fill()方法，填写密码。至于模拟点击按钮，也是要先找到按钮控件的id,然后使用click()方法。
由于代码较简单，我就只在代码中给出注解说明工作原理。
（测试环境win7+python2.7.3+Chrome）

1）代码
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
#coding=utf-8
import time
from splinter import Browser

def splinter(url):
    browser = Browser('chrome')
    #login 126 email websize
    browser.visit(url)
    #wait web element loading
    time.sleep(5)
    #fill in account and password
    browser.find_by_id('idInput').fill('xxxxxx')
    browser.find_by_id('pwdInput').fill('xxxxx')
    #click the button of login
    browser.find_by_id('loginBtn').click()
    time.sleep(8)
    #close the window of brower
    browser.quit()

if __name__ == '__main__':
    websize3 ='http://www.126.com'
    splinter(websize3)

Python果然是够强大，参考网上一个智普啥的python视频培训，自己又完善了下。要让python打开浏览器，并访问指定网址，很简单只需下面两句话:

import webbrowser as web

web.open_new_tab('www.baidu.com')

如果你想访问一定次数或者一直访问，那就加个while True。下面给出完整程序，然后再解释：

[python] view plain copy print ?

#coding=utf-8
import webbrowser as web
import time
import os
import random
M = random.randint(10,15)
print '随机数 = ', M
N = 10
j = 0
while j < M:
i = 0
while i < N:
web.open_new_tab('http://blog.sina.com.cn/s/blog_723395a70101josb.html')
i = i + 1
time.sleep(1.5)
else:
os.system('taskkill /F /IM baidubrowser.exe')
j = j + 1
else:
print '本次python总共打开了', M * N, '次'
o='c:\\windows\\system32\\shutdown -s '
os.system(o)

#coding=utf-8
import webbrowser as web
import time
import os
import random
M = random.randint(10,15)
print '随机数  = ', M
N = 10
j = 0
while j < M:
    i = 0
    while i < N:
        web.open_new_tab('http://blog.sina.com.cn/s/blog_723395a70101josb.html')
        i = i + 1
        time.sleep(1.5)
    else:
            os.system('taskkill /F /IM baidubrowser.exe')
    j = j + 1
else:
    print '本次python总共打开了', M * N, '次'
o='c:\\windows\\system32\\shutdown -s '
os.system(o)

注意事项:

1、开头是设置编码，支持python打印中文;

2、random.randint(10,15)是生成一个10到15之间的随机数，在这里可以控制访问次数。然后里面又嵌套了一个while，所以最终的访问次数是M*N次；

3、每N次，这里N=10，打开10个浏览器页面后，就要通过taskkill /F /IM baidubrowser.exe命令，杀死浏览器进程。如果是其他浏览器，可以再任务管理器里查看浏览器的进程。通过os.system让windows来执行。如果在linux下要换成kill命令。为啥要每10次就关下浏览器呢？因为如果打开太多，占用资源太多，电脑会挂掉。所以每隔10次关下浏览器。每次打开后，让它休眠一定时间，如果中间不留时间，浏览器还没请求到数据就关了。

4、最后如果刷完了，想要自动关机的话通过shutdown -s命令来实现，方便python半夜执行完任务后自动将浏览器关闭。

xml文件名citylist.xml，数据内容如下：

[html] view plain copy print ?

<?xml version="1.0" encoding="UTF-8"?>
<response>
<list>
<city>
<name>天津</name>
<code>tianjin</code>
</city>
<city>
<name>上海</name>
<code>shanghai</code>
</city>
</list>
</response>

<?xml version="1.0" encoding="UTF-8"?>

<response>
    <list>
    <city>
      <name>天津</name>
      <code>tianjin</code>
    </city>
    <city>
      <name>上海</name>
      <code>shanghai</code>
    </city>
  </list>
</response>

[python] view plain copy print ?

#-*-coding:utf-8-*-
import MySQLdb
from xml.dom import minidom
doc = minidom.parse("citylist.xml")
root = doc.documentElement
citys = root.getElementsByTagName("city")
conn = MySQLdb.connect(host="local",user="local",passwd="local",db="bw_local", charset='utf8')
cursor = conn.cursor()
for city in citys:
#print city.toxml()
nameNode = city.getElementsByTagName("name")[0]
#print (nameNode.nodeName + ":" + nameNode.childNodes[0].nodeValue)
codeNode = city.getElementsByTagName("code")[0]
#print (codeNode.nodeName + ":" + codeNode.childNodes[0].nodeValue)
cursor.execute('insert into original(city,code) values(%s,%s);',(nameNode.childNodes[0].nodeValue,codeNode.childNodes[0].nodeValue))
conn.commit()
cursor.close()
conn.close()
print "success"

#-*-coding:utf-8-*-
import MySQLdb
from xml.dom import minidom
doc = minidom.parse("citylist.xml")
root = doc.documentElement
citys = root.getElementsByTagName("city")

conn = MySQLdb.connect(host="local",user="local",passwd="local",db="bw_local", charset='utf8')
cursor = conn.cursor()
for city in citys:
    #print city.toxml()
    nameNode = city.getElementsByTagName("name")[0]
    #print (nameNode.nodeName + ":" + nameNode.childNodes[0].nodeValue)
    codeNode = city.getElementsByTagName("code")[0]
    #print (codeNode.nodeName + ":" + codeNode.childNodes[0].nodeValue)
    cursor.execute('insert into original(city,code) values(%s,%s);',(nameNode.childNodes[0].nodeValue,codeNode.childNodes[0].nodeValue))

conn.commit()
cursor.close()
conn.close()
print "success"

doc = minidom.parse("citylist.xml")表示将xml文件中的数据全部加载到变量doc中。

root = doc.documentElement表示获取xml的根结点

citys = root.getElementsByTagName("city")获取要结点下面所有tag为city的数据，这里的根结点是<response></response>，也就是说获取整个文件的city

可以通过for city in citys: print city.toxml()查看一下city的数据结构。

[html] view plain copy print ?

<city>
<name>天津</name>
<code>tianjin</code>
</city>

<city>
      <name>天津</name>
      <code>tianjin</code>
</city>

city.getElementsByTagName("name")是获取city下面所有tag为name的数据，是一个数组，因为每一个城市只有一个name，所以可以使用nameNode = city.getElementsByTagName("name")[0]获取到<name>天津</name>这样的结点数据。nameNode.nodeName是获取<name></name>中的name,nameNode.childNodes[0].nodeValue是获取到<name>天津</name>中的“天津”。

结果：

nameNode.nodeName:nameNode.childNodes[0].nodeValue
name:上海
code:shanghai
name:北京
code:beijing
name:保定
code:baoding