LightInDarkness的博客

Python学习过程中的一个小练习，Python版本为3.7import requestsimport redef getHTMLText(url): try: r = requests.get(url, timeout = 30) r.raise_for_status() r.encoding = r.apparent_encoding return r.text...

Python版本3.7import requestsimport refrom bs4 import BeautifulSoupimport tracebackdef getHTMLText(url): try: r = requests.get(url, timeout = 30) r.raise_for_status() r.encoding = r.appare...

这是跟网上教程写的爬虫，但是不太一样。因为我没有学过非关系型数据库，也就没有像老师一样使用MongoDB。除了这一点，当初老师录制教程的时候，今日头条并没有反爬，而我跟着学习的时候已经反爬了。（可能是学习的人太多让今日头条不堪重负了吧哈哈哈哈）我在这里就修改了headers，不然返回的就只有html, head, body标签而没有其他内容。headers = { "User-Age...

这套程序应用了正则表达式和requests库，爬取猫眼电影榜单前100名。import requestsimport reimport jsonfrom requests.exceptions import RequestExceptiondef get_one_page(url): try: response = requests.get(url) ...

本次爬虫学习使用了Selenium来模拟浏览器的行为，同时运用了PyQuery抓取相应信息，下面的代码只是简单地打印出来，而没有保存到本地。import refrom selenium import webdriverfrom selenium.common.exceptions import TimeoutExceptionfrom selenium.webdriver.common...

      前两天写的花瓣网爬虫，花瓣网是个瀑布式布局，而且下拉的时候发现要登录帐号。本来以为要用requests.post模拟登录，能够顺手练习一下的，结果不登陆帐号也照样可以爬取。一开始是打算用selenium的，后来运行的过程中发现太慢了，遂改用requests库。import requestsfrom requests.exceptions import RequestExcept...