python爬取转转商品列表

爬虫练习- 爬取转转网二手市场商品信息 使用多进程爬虫方法爬取转转网二手市场商品信息,并将爬取的数据存储于MongoDB数据库中 阅读详情

爬取内容:http://bj.58.com/pbdn/0/

爬取内容要求:

http://study.163.com/course/courseLearn.htm?courseId=1002810012#/learn/text?lessonId=1003459155&courseId=1002810012

爬取代码如下:

from bs4 import BeautifulSoup
import requests
import time

url='http://bj.58.com/pbdn/0/'
info=[]

def get_attr(url):
    wb_data=requests.get(url)
    time.sleep(1)
    soup = BeautifulSoup(wb_data.text, 'lxml')
    classifys = soup.select('#nav > div > span > a ')
    titles = soup.select("body > div.content > div > div.box_left > div.info_lubotu.clearfix > div.box_left_top > h1")
    prices = soup.select( 'body > div.content > div > div.box_left > div.info_lubotu.clearfix > div.info_massege.left > div.price_li > span > i ')
    areas = soup.select('body > div.content > div > div.box_left > div.info_lubotu.clearfix > div.info_massege.left > div.palce_li > span > i')
    browserNums = soup.select('body > div.content > div > div.box_left > div.info_lubotu.clearfix > div.box_left_top > p > span.look_time')
    data={
        'classify':classifys[3].get_text().strip(),
        'title':  titles[0].get_text(),
        'price': prices[0].get_text(),
        'area':areas[0].get_text(),
        'view':browserNums[0].get_text()
    }
    print(data)


init_data=requests.get(url)
soup0=BeautifulSoup(init_data.text,'lxml')
accurates=soup0.select('#jingzhun > tbody > tr > td.tc > p')

links=soup0.select('td.t a.t')
for link in links:
    url3=link.get("href")
    if"zhuanzhuan" in url3:
        info.append(url3)

for i in info:
   print(get_attr(i))

爬取结果如下:

{'classify': '北京平板电脑', 'title': 'ipad Pro 国行  512G  10.5寸', 'price': '5580', 'area': '北京-丰台', 'view': '15次浏览'}
None
{'classify': '北京平板电脑', 'title': 'iPad Pro 12.9', 'price': '5678', 'area': '北京-朝阳', 'view': '110次浏览'}
None
{'classify': '北京平板电脑', 'title': 'ipad pro12.9二代', 'price': '5300', 'area': '北京-丰台', 'view': '165次浏览'}
None
{'classify': '北京平板电脑', 'title': '苹果ipad pro256G最大内存12.9英寸大屏幕', 'price': '5500', 'area': '北京-东城', 'view': '75次浏览'}
None
{'classify': '北京平板电脑', 'title': '12.9寸 iPad Pro2 256金色官换全新带包装', 'price': '6300', 'area': '北京-丰台', 'view': '166次浏览'}
None
{'classify': '北京平板电脑', 'title': 'ipad por', 'price': '4500', 'area': '北京-宣武', 'view': '483次浏览'}
None
{'classify': '北京平板电脑', 'title': 'iPadmini4 128G', 'price': '2688', 'area': '北京-海淀', 'view': '149次浏览'}
None
{'classify': '北京平板电脑', 'title': 'ipadpro12.9 2017款4g 512g国行9.9新', 'price': '7000', 'area': '北京-海淀', 'view': '792次浏览'}
None
{'classify': '北京平板电脑', 'title': '滚滚滚滚滚', 'price': '8.9万', 'area': '北京-顺义', 'view': '73次浏览'}
None
{'classify': '北京平板电脑', 'title': 'iPad Pro 9.7寸+键盘拆封玩了几天,一直闲置', 'price': '4950', 'area': '北京-朝阳', 'view': '228次浏览'}
None
{'classify': '北京平板电脑', 'title': 'IPad pro 10.5   国行  256G', 'price': '4800', 'area': '北京-海淀', 'view': '823次浏览'}
None
{'classify': '北京平板电脑', 'title': '17款iPad Pro 12.9美版4G灰色金色', 'price': '5800', 'area': '北京-海淀', 'view': '141次浏览'}
None
{'classify': '北京平板电脑', 'title': '北京专业收卡小李竭诚为你服务京东商通中欣王府井', 'price': '9999', 'area': '北京-崇文', 'view': '479次浏览'}
None
{'classify': '北京平板电脑', 'title': 'iPad mini 九五成新 16G闲置转了', 'price': '899', 'area': '北京-朝阳', 'view': '7221次浏览'}
None
{'classify': '北京平板电脑', 'title': 'IPad Pro 9.7英寸深空灰128G+cellular', 'price': '4000', 'area': '北京-朝阳', 'view': '4846次浏览'}
None
{'classify': '北京平板电脑', 'title': 'ipadpro10.5寸', 'price': '7888', 'area': '北京-海淀', 'view': '437次浏览'}
None
{'classify': '北京平板电脑', 'title': '刚买不到一个月', 'price': '5999', 'area': '北京-怀柔', 'view': '913次浏览'}
None
{'classify': '北京平板电脑', 'title': 'iPad pro 10.5 64G 99成新', 'price': '6300', 'area': '北京-朝阳', 'view': '1344次浏览'}
None
{'classify': '北京平板电脑', 'title': '苹果Apple新款iPad Pro 12.9 256G 插卡', 'price': '5999', 'area': '北京-西城', 'view': '1501次浏览'}
None
{'classify': '北京平板电脑', 'title': 'ipadpro', 'price': '5000', 'area': '北京-朝阳', 'view': '848次浏览'}
None
{'classify': '北京平板电脑', 'title': 'iPad pro  12.9 .全新 ,256G', 'price': '6600', 'area': '北京-丰台', 'view': '239次浏览'}
None
{'classify': '北京平板电脑', 'title': '公司年会发的ipad pro 9.7寸的全套产品,诚心的密', 'price': '6000', 'area': '北京-朝阳', 'view': '3082次浏览'}
None
{'classify': '北京平板电脑', 'title': '作为一个专业的买手 分享下北京的骗子手段', 'price': '10万', 'area': '北京-朝阳', 'view': '5932次浏览'}
None
{'classify': '北京平板电脑', 'title': 'iPad mini', 'price': '960', 'area': '北京-朝阳', 'view': '3944次浏览'}
None
{'classify': '北京平板电脑', 'title': 'ipad air 2 金色 64GB', 'price': '3000', 'area': '北京-西城', 'view': '2197次浏览'}
None

很明显爬取出来的结果每个都莫名奇妙的出现了一个none  这是为什么呢?

我也不知道orz


python从零学习:商品列表及购物清单 阅读详情

相关推荐

【爬虫】Python实现爬取淘宝商品信息(超详细)

项目基于Python的第三方库Selenium模拟浏览器运行、PyQuery解析和操作HTML文档,获取淘宝平台中某类商品的详细信息(商品标题、价格、销量、商铺名称、地区、商品详情页链接、商铺链接等),并基于第三方库openpyxl建立、存储于Excel表格中。# 全局变量count = 1 # 写入Excel商品计数# 启动ChromeDriver服务# 关闭自动测试状态显示 // 会导致浏览器报:请停用开发者模式# 把chrome设为selenium驱动的浏览器代理;# 窗口最大化。

qq_46315152的博客 4万+

闲鱼商品详情抓取系统开发/测试完毕,可自动采集闲鱼商品详情信息

近期,有用户定制了闲鱼商品详情系统,并在此系统的基础上,添加了判断用户是否为新用户,是否为商家,是否存在欺诈嫌疑的智能模块。2、可谨慎采集用户信息(包括销售数据,在售数据等用户信息,必要时可采集用户登录、发布IP等公开信息,用于判断用户行为)。所以,这个系统理所当然的就面市了。

bugtraq的博客 4555

Python爬取京东商品信息

*使用Python爬取京东华为手机前十页的所有商品的链接、名称、价格、评价数以及店铺名称。 1.前期准备 (1)下载驱动 我使用的是谷歌浏览器,所以要下载谷歌驱动,用来告诉电脑在哪打开浏览器 驱动文件下载地址:http://chromedriver.storage.googleapis.com/index.html (需要下载与自己的浏览器版本相一致或者相近版本的驱动,要记住驱动下载之后存放的位置) ...

qq_44331100的博客 9530

爬虫实践-爬取转转网二手市场商品信息

channel_extract.py: import requestsfrom lxml import etree# 请求URLstart_url = 'http://cs.58.com/sale.shtml'# 拼接的部分URLurl_host = 'http://cs.58.com'# 获取商品类目URLdef get_channel_urls(url): html = re...

dianrao0601的博客 751

Python 爬虫爬取京东商品信息

Python 爬虫爬取京东商品信息。 作用:导入所有必要的库和模块。: 用于自动化浏览器操作。, : 用于添加延迟和生成随机数。: 用于读写CSV文件。: 用于文件系统操作。: 用于发送HTTP请求(例如下载图片)。: 用于处理日期和时间。: 用于正则表达式匹配。 作用:初始化全局变量。技术栈:无特殊技术栈。 作用:初始化Microsoft Edge WebDriver。: 用于自动化浏览器操作。 作用:搜索特定商品并处理翻页逻辑

m0_61913190的博客 4530

Python爬虫入门实例五之淘宝商品信息定向爬取(优化版)

本篇以定向爬取淘宝商品信息为例,解决爬取过程中的翻页问题,以及定向获取信息的正则表达式编写,并做了部分优化。而且笔者对很多重点代码都做了注释,对于新手爬虫学习者非常友好,欢迎各位小伙伴一起交流学习。

Mr.Q_LuLu的博客 1万+

python爬取京东商品列表信息

爬遍电商之京东篇: 目标是爬取指定商品的商品列表信息,包括商品名,价格,评论数,店铺名 打开京东页面,随便搜一个笔记本,F12打开NetWork开始抓包,翻个3页,遇到断点就按F8执行,然后看到第一个返回内容的ajax请求,是返回了第1页的后30个商品,下面开头名一样的依次返回第2页前30个,第2页后30个,第3页前30个,第三页后30个…别问是怎么知道的,对比一下就行了 看看第一个a...

小月牙 2万+

Python爬虫 requests+beautifulsoup爬取数据教程及爬取商品数据实战

网络爬虫(又称为网页蜘蛛,网络机器人),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。 前言 最近接到了个爬取一些网站积分商品数据的需求,学习了一下爬虫的知识。为了避免以后忘记,特写一篇文章来总结一下,也希望能帮到对爬虫有兴趣的同学。本文将从爬取网站商品数据的需求入手,详细介绍如何爬取网页的数据以及将爬取到的数据写入到CSV文件中。本文爬取的是静态网页,爬取动态网页的教程欢迎查看另一篇文章(暂时还没有写。。写了会贴出来),分辨静态网页和动态网页的方法在下文实战-浏览器检查网页中。 安装 本文.

Wingkin的博客 8628

Python爬取淘宝商品评价信息实战

最近又有网友提到要出一个爬淘宝商品评论的教程。说实话淘宝的反爬机制做得比京东要严,所以用爬取京东商品评价信息的方式取爬取淘宝商品评价不太可行。本文还是介绍通过Selenium模拟登录后来进行淘宝商品评价信息的爬取。

学而思(xiejava的blog) 1万+

Python爬虫抓取二手商品市场数据(如闲鱼、转转)

反爬虫机制:闲鱼、转转等平台通常会采取反爬虫措施,例如限制请求频率、使用验证码、检查 User-Agent 等。动态加载内容:许多商品信息会通过AJAX请求动态加载,因此直接抓取静态网页数据是不够的。数据存储与分析:抓取的数据需要进行清洗、存储并分析。使用requests和来抓取静态页面数据。使用Selenium来抓取动态加载的商品数据。使用pandas进行数据清洗和分析。使用matplotlib进行数据可视化。

2201_76125261的博客 1826

闲鱼交易猫转转源码(采集版)(1).zip

闲鱼交易猫转转源码(采集版)(1).zip

【python爬虫】用python爬取京东口红商品

前几天学了点python,又去看了下爬虫怎么玩,于是闲的无聊想爬一下口红的数据 本来想爬淘宝天猫的数据,因为能直接看到单品的销量,结果被淘宝反爬的登录验证难到了。。嫌麻烦于是乎转战爬京东,京东的反爬是在是太。。那个啥了(难怪网上这么多爬虫教程都是教爬京东的),下面讲讲怎么爬取京东的商品数据 一、分析京东数据接口 直接在京东搜索口红 然后按F12打开开发者工具,在Network一栏选中Preserv...

weixin_42196771的博客 5241

单细胞实战之数据净化三部曲:细胞周期校正、双胞体剔除与RNA污染清理——技术解析与实战指南

本文深入解析单细胞数据分析中至关重要的数据净化步骤,即细胞周期校正、双胞体剔除与RNA污染清理。通过实战代码演示与原理剖析,指导读者如何有效识别并去除技术噪音,从而获得更纯净、可靠的数据,为后续的细胞分群、差异表达等高级分析奠定坚实基础。

weixin_29274337的博客 204

Python + selenium 爬取淘宝商品列表及商品评论 2021-08-26

Python + selenium 爬取淘宝商品列表及商品评论[2021-08-26]主要内容登录淘宝获取商品列表获取评论信息存入数据库需要提醒 主要内容 通过python3.8+ selenium 模拟chrome操作进行淘宝商品列表及评论的爬取 还存在以下问题: 需要人扫二维码登录以便于绕过反爬机制(后面再优化) 评论爬取耗时比较长,因为页面加载完整后才能进行评论的爬取,而各类商品详情页的图片数量不同,导致加载时间不同,有的甚至要加载1-2min(也可能是公司网限制了购物网站的网速) 整体思路: 通过扫

weixin_42229626的博客 3769

AI影像组学在结直肠癌诊疗中的应用:从特征提取到临床决策

影像组学通过高通量计算从医学影像中提取定量特征,揭示肿瘤内部的微观生物学行为,这些特征反映了纹理异质性、形状不规则度等影像表型。其核心原理在于将图像数据转化为可分析的数字特征,结合机器学习算法进行模式识别,从而实现对疾病状态的精准预测。这一技术的价值在于能够无创、定量地评估肿瘤特性,为精准医疗提供关键支持。在临床实践中,AI驱动的影像组学模型广泛应用于结直肠癌的诊疗全链条,包括肿瘤良恶性鉴别、基因突变预测、治疗反应评估和预后分析等场景。通过整合影像组学特征与临床数据,可以构建预测模型,辅助医生进行更准确的诊

weixin_28295799的博客 409

CentOS8安装NVIDIA显卡驱动、CUDA和Anaconda

CentOS8安装NVIDIA显卡驱动和CUDA 参考:CentOS nvidia+cuda+cudnn 安装 安装英伟达显卡驱动 1、检查是否安装了NVIDIA的GPU(硬件层面): lspci | grep -i nvidia 2、安装GCC、kernal组件、dkms等 sudo yum install gcc sudo yum install gcc-c++ sudo yum -y install kernel-devel sudo yum -y install kernel-headers s

智慧的旋风的博客 1万+

Python爬取京东任意商品数据实战总结

利用Python爬取京东任意商品数据 今天给大家展示爬取京东商品数据 首先呢还是要分思路的,我分为以下几个步骤: 第一步:得到搜索指定商的url 第二步:获得搜索商品列表信息 第三步:对得到的商品数据进行分析筛选 第四步:保存筛选后的数据 第一步: 进入京东官网后,比如搜索手机,F12打开开发者工具,进行抓包,发现以下是我们所需要的: 也就是 https://search.jd.com/Sear...

qq_41696843的博客 1万+

開機自動進入UEFI Interactive Shell無法正常開機怎麼辦?

BIOS/UEFI,啟動後進入UEFI Interactive Shell大多數人都告訴你沒有安裝系統去裝系統吧,但你明明昨天還在運行系統?今天就這樣?有沒有解決辦法?

sheaahhoi1的博客 7738

Python 爬虫实战—爬取京东商品列表

标题 Python 爬虫实战—爬取京东商品列表 首先声明,爬取程序有些小缺陷,不能支持中文搜索,爬取的时候可能会卡在,具体原因不明,后期在改进。 import urllib.request import random import re uapools = [ 'user-agent: Mozilla/5.0 (Windows NT 6.1; WOW64)AppleWebKit/...

zsk_john的技术分享专用博客 1396

ISCC练习题MISC

解题技巧:看最后括号应该是IceCTF,先用了一键解码啥也没有啊,不对不对!好像是字符频率统计,转换网站:http://quipqiup.com/有人给你发了一串信息,你能解开吗?

m0_62737381的博客 1119

Windows系统中 Xmanager 6 企业版下载安装激活教程

Xmanager 6 企业版安装激活教程 1.Xmanager 6 下载网址:https://yunpan.360.cn/surl_yrJrWq3GmjN 2. 双击 Xmanager-6.0.0169r 安装 3. 点击运行按钮 4. 点击下一步 5. 选择我接受许可证协议中的条款(A), 点击下一步。 6. 输入用户名:byg,公司名称:microsoft,序...

mry6的博客 9873

使用python爬取淘宝商品信息

1.首先要安装两个库,requests和re库 2.定义一个获取页面的函数 ef getHTMLText(url): kv = {'cookie':'淘宝页面的cookie', 'user-agent':'Mozilla/5.0'} try: r = requests.get(url, headers=kv,timeout=30) ...

weixin_44368248的博客 5145

高通IPA硬件加速介绍

‌ 高通IPA (Internet Protocol Accelerator)模块是一种硬件加速模块,由高通公司(Qualcomm)提供,主要用于优化移动设备上的网络数据传输,特别是通过 LTE 、 5G 等移动网络的数据传输‌‌。IPA模块通过硬件加速,显著提高了数据传输的速度和效率,同时降低了设备的功耗,并提供了更稳定的网络连接,减少了数据传输中的丢包和延迟‌。

四儿家的小祖宗的博客 1622

教你用python爬取『京东』商品数据,原来这么简单!

引入openpyxl库将数据保存到excel,表头内容包含(1.序号index、2.商品名称title、3.商品价格price、4.评论数CommentCount)

TinagirlAPI的博客 1万+

智能能效管家:基于 ESP32 的智能插座设计与精细化功耗管理实现

针对传统插座无法远程控制、功耗监测缺失、能源浪费严重等问题,本文设计一款基于 ESP32 主控芯片的智能插座。该系统集成 WiFi 无线通信、交流功耗采集、继电器通断控制模块,实现四大核心功能。硬件采用模块化选型与安全接线设计,软件基于 Arduino-ESP32 框架开发,搭载 Mqtt 通信协议与功耗算法,可通过手机 / 云端实时管控设备,有效提升用电安全性与能源利用率。:ESP32;智能插座;功耗管理;远程控制;能耗监测。

weixin_42300449的博客 101

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

Python爬虫爬取淘宝、天猫某商品页面相关信息实例

URL=“https://detail.tmall.com/item.htm?spm=a230r.1.14.8.4a1a115fb1rHn5&id=617806269122&cm_id=140105335569ed55e27b&abbucket=3&sku_properties=154362399:30930041” 【target】: 爬取:商品id、商品标题、商品主图地址、商品价格、店铺名称、掌柜名称、店铺地址。 代码如下: import re from lxml im.

Fo*(Bi)的博客 8305

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

上一篇: 关于CSS selector 错误 Unsupported or invalid CSS selector: "%s"' % token)
下一篇: 操作方法:将Eclipse的javadoc从英文变成中文
scanq
博客等级 码龄11年 15粉丝 42原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值