20170718 【学习记录】使用anaconda写爬虫

最新推荐文章于 2025-07-11 16:17:14 发布

原创

最新推荐文章于 2025-07-11 16:17:14 发布 · 7.5k 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫

这篇博客记录了作者使用Anaconda环境中的Python 3.6进行爬虫学习的过程。通过requests库模拟浏览器抓取网页数据，并结合BeautifulSoup解析HTML，利用CSS选择器提取所需信息。虽然在爬取中尝试了time.sleep()进行延迟访问以避免被屏蔽，但在实际运行中仍遇到连接失败的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

此anaconda中的python版本是3.6

# coding:utf-8
# 
# 把qq.ip138.com/train/上面的列车时刻表抓取解析出来，输出在命令行显示，并存入一个文件train_time.text
# 
import requests
import time
from bs4 import BeautifulSoup
import random

BSLIB = 'html5lib'
BASE_URL = 'http://qq.ip138.com'
UA = ["Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36", "Mozilla/5.0 (X11; Linux x86_64; rv:54.0) Gecko/20100101 Firefox/54.0", "Mozilla/5.0 (X11; Linux x86_64; rv:54.0) Gecko/20100101 Firefox/54.0", "M