入门爬虫（一）最简单的url爬取

最新推荐文章于 2025-02-20 16:14:04 发布

jumpop123

最新推荐文章于 2025-02-20 16:14:04 发布

阅读量2.3k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：学习新知识

本文链接：https://blog.youkuaiyun.com/Kurapika47/article/details/82528512

学习新知识专栏收录该内容

2 篇文章

订阅专栏

本文分享了一位原本专注于Java的程序员如何在业余时间自学Python，并成功编写了第一个网页爬虫的经历。作者通过牺牲部分娱乐时间，不仅掌握了Python的基础知识，还实现了对豆瓣网站首页的爬取，展示了Python在爬虫领域的便捷性和强大功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

之前虽然一直又想学爬虫的想法，但是一直没能付诸行动。

怎么说呢，假如20岁不会一样东西的话，二十一岁也不一定会，还有二十二，二十三……

反正下班后牺牲一些娱乐时间学点东西，总是不会错的。

第一次接触python,之前一直搞java的，快速的入了个门，参考教程写了一个最简单的爬虫。

#爬取一个豆瓣首页 原urllib2，现在python3是urllib.request
import urllib.request

#网址
url = "http://www.douban.com/"

#请求
request=urllib.request.Request(url)

#爬取结果 urlopen()：打开一个url，可以传url或者request
response =urllib.request.urlopen(request)

#对象的读操作,类似的文件对象的读操作.
data = response.read()

#设置解码形式
data = data.decode('utf-8')

# 打印结果
print(data)

# 打印爬取网页的各类信息



print(type(response))
print(response.geturl())
print(response.info())
print(response.getcode())