AI课-AI Studio-2

源云

于 2020-10-31 12:20:12 发布

阅读量175

点赞数

分类专栏： Baidu_AI_Studio_Learning 文章标签： python

本文链接：https://blog.youkuaiyun.com/mikcy12/article/details/109399896

版权

Baidu_AI_Studio_Learning 专栏收录该内容

5 篇文章

订阅专栏

本文介绍了使用Python进行Douban电影信息爬取的初级教程，通过Jupyter Notebook实现。内容包括设置断点调试pdb，定义`MyScrapy`类，`start_url`方法用于添加URL到列表，`parse`方法处理URL并模拟请求。代码中展示了如何使用`pdb`进行调试，并给出了调试命令示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

class课程——python入门_douban电影爬取

在这里插入图片描述
Jupyter大法好！！！！！！！！！！！！！！！！！！！！！！！！！！！！！

AI Studio操作2

%pdb用magic命令来调用pdb来debug

在这里插入代码片import pdb

class MyScrapy:
    urls = []

    def start_url(self, urls):
        pdb.set_trace()
        for url in urls:
            print(url)
            self.urls.append(url)

    def parse(self):
        pdb.set_trace()
        for url in self.urls:
            result = self.request_something(url)

    def request_something(self, url):
        print('requesting...')
        data = '''<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Title</title>
</head>
<body>
</body>
</html>'''
        return data


scrapy= MyScrapy()
scrapy.start_url(["http://www.zone7.cn", "http://www.zone7.cn", "http://www.zone7.cn", "http://www.zone7.cn", ])
scrapy.parse()