- 博客(4)
- 收藏
- 关注
RSS订阅原创 Scrapy实战1-模拟电商网站项目
解决方案：这里我需要先在商品列表页，把每页的页码取到，利用scrapy.Request函数的meta参数，传递给详情页的item实例，才能在输出csv文件时显示商品属于第几页。有任何优化建议或者疑问欢迎留言交流！三、xpath取页面元素-shoplist.py。设置管道优先级设置（数越小，优先级越高）四、爬取元素保存peplines.py。二、shoplist爬虫基础参数修改。3、设置settings.py。1、导入items类元素。五、最后CSV文件效果。2、提取页面首页元素。3、翻页操作提取元素。
2024-09-11 17:12:44
369
原创 scrapy 八步基本操作
def process_item(self, item, spider):#方法定死了，不能动，处理数据专用方法，item是数据，spider是爬虫。extract_first()：返回第一个数据，如果没有会返回NONE，（推荐）return item #必须有return，否则下一个管道收不到数据。5、对页面数据进行解析，在spider里parse(response)方法中进行。extract()：返回列表，如果没有数据，后续操作会报错。"管道路径": 优先级, #1000以内，数字越小优先级越高。
2024-09-09 22:30:18
278
原创 【小白手把手】python自动生成微信聊天记录，生成短视频
利用python+selenium+opencv2实现微信聊天记录流水线截图，最后合成短视频
2024-08-08 16:30:57
1485
1
原创 初学python，爬虫小项目
初学python看完基础教程后，利用从视频学来的知识，利用urllib2和BeautifulSoup库，在python2.7环境下编写一个小爬虫，爬取应届生求职网上西安的校招宣讲会信息。代码如下：# coding=utf-8import urllib2from bs4 import BeautifulSoupurlstart='http://my.yingjiesheng.com/
2017-03-24 19:39:25
6819
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人