
python-scrapy框架
文章平均质量分 88
scarpy框架
shix .
此人不懒,但是什么都没有写
展开
-
scrapy入门(深入)
首先在items中定义一个需要爬取的数据结构# 创建一个类来定义爬取的数据结构那为什么要这样定义:在Scrapy框架中,是用于定义Item字段的特殊类,它的作用相当于一个标记。数据结构声明每个Field实例代表Item中的一个数据字段(如你代码中的name/title/url),用于声明爬虫要收集哪些数据字段。元数据容器虽然看起来像普通赋值,但实际可以通过Field()传递元数据参数:在这里定义变量之后,后续就可以这样进行使用item['name'] = '股票名称'原创 2025-03-20 12:06:51 · 1490 阅读 · 0 评论 -
py中的迭代器与生成器有什么区别
•迭代器:更底层,适合需要完全控制迭代逻辑的场景。•生成器:更简洁高效,适合处理大数据流或异步任务。•核心公式生成器 = 迭代器 + 惰性计算 +yield语法掌握二者区别后,可以更灵活地选择工具优化代码性能和内存管理。原创 2025-03-23 11:35:35 · 255 阅读 · 0 评论 -
scrapy_yield详解
在for循环执行时,每次循环都会执行fab函数内部的代码,执行到yield b时,fab函数就返回一个迭代值,下次迭代时,代码从 yield b 的下一条语句继续执行,而函数的本地变量看起来和上次中断执行前是完全一样的,于是函数继续执行,直到再次遇到 yield。yield 的作用就是把一个函数变成一个生成器(generator),带有yield的函数不再是一个普通函数,Python解释器会将其视为一个generator,单独调用(如fab(5))不会执行fab函数,而是返回一个 iterable 对象!原创 2025-03-23 11:36:46 · 766 阅读 · 0 评论