Github每日精选（第24期）：python的浏览器MechanicalSoup

MechanicalSoup

可能你看到MechanicalSoup，就会想起BeautifulSoup，是的，这两个的功能用起来差不多，只是MechanicalSoup做的更多一点。

MechanicalSoup 更像一个浏览器一样，但是他不执行’JavaScript’，在浏览器中当我们获取了一个网站的内容以后，MechanicalSoup 就可以像JavaScript一样，查找和获取网站的指定内容了。

github的地址在这里。

安装

PyPy3 也受支持（并经过测试）。

从PyPI下载并安装最新发布的版本：

pip install MechanicalSoup

从GitHub下载并安装开发版本：

pip install git+https://github.com/MechanicalSoup/MechanicalSoup

从源代码安装（在当前工作目录中安装版本）：

python setup.py install

使用MechanicalSoup

获取搜索结果

通过MechanicalSoup，访问Qwant 搜索MechanicalSoup，并打印搜索的结果。例子用起来非常的简单，和以前的不一样的地方就是变得更方便了，我们一口气就进行了网站的获取和解析了，最关键的是解析的规则还是很规范的，轻松的获得了我们需要的内容。

"""Example usage of MechanicalSoup to get the results from the Qwant
search engine.
"""

import re
import mechanicalsoup
import html
import urllib.parse

# Connect to Qwant
browser = mechanicalsoup.StatefulBrowser(user_agent='MechanicalSoup')
browser.open("https://lite.qwant.com/")

# Fill-in the search form
browser.select_form('#search-form')
browser["q"] = "MechanicalSoup"
browser.submit_selected()

# Display the results
for link in browser.page.select('.result a'):
    # Qwant shows redirection links, not the actual URL, so extract
    # the actual URL from the redirect link:
    href = link.attrs['href']
    m = re.match(r"^/redirect/[^/]*/(.*)$", href)
    if m:
        href = urllib.parse.unquote(m.group(1))
    print(link.text, '->', href)

结果如下：

Welcome to MechanicalSoup’s documentation! — MechanicalSoup 1.1.0 ...  -> aHR0cHMlM0ElMkYlMkZtZWNoYW5pY2Fsc291cC5yZWFkdGhlZG9jcy5pbyUyRmVuJTJGc3RhYmxlJTJG
 MechanicalSoup · PyPI  -> aHR0cHMlM0ElMkYlMkZweXBpLm9yZyUyRnByb2plY3QlMkZNZWNoYW5pY2FsU291cCUyRg==
 推荐一款小众且好用的 Python 库 - MechanicalSoup - 简书  -> aHR0cHMlM0ElMkYlMkZ3d3cuamlhbnNodS5jb20lMkZwJTJGZGNmZjgzNGQxNzQ4
 神器-MechanicalSoup - 腾讯云开发者社区-腾讯云  -> aHR0cHMlM0ElMkYlMkZjbG91ZC50ZW5jZW50LmNvbSUyRmRldmVsb3BlciUyRm5ld3MlMkYzNjg4NjA=
 简书 - 创作你的创作  -> aHR0cHMlM0ElMkYlMkZ3d3cuamlhbnNodS5jb20lMkZwJTJGNDQ2YzJmODdiNzEy
 python之mechanicalsoup：官方也有两个坑 - 知乎  -> aHR0cHMlM0ElMkYlMkZ6aHVhbmxhbi56aGlodS5jb20lMkZwJTJGMjkyNTMyMDQ=
 GitHub上3k+star的python库你了解吗？详解 ...  -> aHR0cHMlM0ElMkYlMkZibG9nLmNzZG4ubmV0JTJGd2VpeGluXzQxODQ2NzY5JTJGYXJ0aWNsZSUyRmRldGFpbHMlMkYxMDQzNTU1MDM=
 GitHub上3k+star的python库你了解吗？详解 ...  -> aHR0cHMlM0ElMkYlMkZ6aHVhbmxhbi56aGlodS5jb20lMkZwJTJGMTA3MzQ3MTE3
 再推荐一款小众且好用的 Python 库_Python数据之道的 ...  -> aHR0cHMlM0ElMkYlMkZibG9nLmNzZG4ubmV0JTJGbGVtb25iaXQlMkZhcnRpY2xlJTJGZGV0YWlscyUyRjExNTMyNzA0Nw==
 再推荐一款小众且好用的 Python 库 - MechanicalSoup ...  -> aHR0cHMlM0ElMkYlMkZqdWVqaW4uY24lMkZwb3N0JTJGNjk0MjgwOTM4MjU0NzYxOTg3Ng==

我们打印出的是我们通过规则和正则解析出的，我们需要的内容，包含了网页的名称和地址。

登录 GitHub

使用 MechanicalSoup 最简单的方法是使用该类（此示例 在 MechanicalSoup 的源代码中StatefulBrowser作为示例example.py提供）：

"""Example app to login to GitHub using the StatefulBrowser class.

NOTE: This example will not work if the user has 2FA enabled."""

import argparse
from getpass import getpass

import mechanicalsoup


parser = argparse.ArgumentParser(description="Login to GitHub.")
parser.add_argument("username")
args = parser.parse_args()

args.password = getpass("Please enter your GitHub password: ")

browser = mechanicalsoup.StatefulBrowser(
    soup_config={'features': 'lxml'},
    raise_on_404=True,
    user_agent='MyBot/0.1: mysite.example.com/bot_info',
)
# Uncomment for a more verbose output:
# browser.set_verbose(2)

browser.open("https://github.com")
browser.follow_link("login")
browser.select_form('#login form')
browser["login"] = args.username
browser["password"] = args.password
resp = browser.submit_selected()

# Uncomment to launch a web browser on the current page:
# browser.launch_browser()

# verify we are now logged in
page = browser.page
messages = page.find("div", class_="flash-messages")
if messages:
    print(messages.text)
assert page.select(".logout-form")

print(page.title.text)

# verify we remain logged in (thanks to cookies) as we browse the rest of
# the site
page3 = browser.open("https://github.com/MechanicalSoup/MechanicalSoup")
assert page3.soup.select(".logout-form")

看了整个登入的代码流程，登入到github的流程是一气呵成的，就像我们在网页上输入账号密码，点击按钮进行登入一样，方便快捷，这也是我觉得MechanicalSoup值得推荐的原因了。