Python爬虫学习（简单的模拟登陆（一））

最新推荐文章于 2024-10-14 11:30:26 发布

原创最新推荐文章于 2024-10-14 11:30:26 发布 · 1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫

Python学习专栏收录该内容

5 篇文章

订阅专栏

本文介绍了一种使用Python的requests库配合lxml.etree进行网页内容抓取的方法，具体实现了从指定微博账号主页抓取微博内容的功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

可以成功的爬取我室友的微博首页

#-*-coding:utf8-*-

import requests
from lxml import etree

cook = {"Cookie": "此处请填写你获取到的Cookie"}
url = 'http://weibo.cn/u/xxxxxxxx' #此处请修改为微博网址
# html = requests.get(url).content
# print html
html = requests.get(url, cookies = cook).content
# html = requests.get(url, cookies = cook).text

# html = bytes(bytearray(html, encoding='utf-8'))
selector = etree.HTML(html)
content = selector.xpath('//span[@class="ctt"]')
for each in content:
    text = each.xpath('string(.)')
    b = 1
    print text