python的bs的简单实例爬取58同城手机信息

最新推荐文章于 2021-08-02 13:27:10 发布

原创

最新推荐文章于 2021-08-02 13:27:10 发布 · 2.3k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#简单的BS实例

本文介绍了使用Python的BeautifulSoup库（BS4）爬取58同城网站上的手机信息，包括索尼SW2、三星S5、VIVO X6S等型号。在爬取过程中，遇到字符编码问题并成功解决，最终实现了抓取前12页信息的目标。建议在调试阶段先针对单页进行代码调整，待效果满意后再扩展到多页循环。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

58同城我所爬的地址
这是我所要爬的内容

import re
import urllib
from bs4 import BeautifulSoup

def gethtml(url):
    page=  urllib.urlopen(url)
    html=page.read()
    return html


html=gethtml("http://zjk.58.com/shouji/?PGTID=0d000000-0000-0ab0-fc5a-bd32d8a09b17&ClickID=1&qq-pf-to=pcqq.group")
soup=BeautifulSoup(html)
print(soup.prettify())

一段小代码输出58的网址代码方便查看
翻阅BS文档，查找出来俩个方法在标题上试了试

title=soup.find_all("a",class_="t")
for tlt in title:
    print tlt.get_text()
    print "\n"

索尼sw2便宜出150

三星s5手机盒

出售3个月的vivo x6s 64g 土豪金

在保国行iphone6splus玫瑰金16G

vivo y928

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

小傲娇的认真

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

pyhton 爬取 58同城数据

qq_41425751的博客

04-20

1202

刚刚上完8周的python老师让爬取一些数据来作为自己的最终结课成绩这只是我学习了8周的时间，其实要不了那么久的，只是我这个人比较磨蹭，才学了那么长时间。废话不说了，直接代码吧！ # -*- coding:utf-8 -*- #上面一行是为了说明是 utf-8 编码 import time import requests import pymysql from MyQR import myqr...

python爬取58手机号_爬取58上的手机号码信息

weixin_39574140的博客

12-22

1621

主要思路：从列表页获取每个号码的详情页链接，然后在获取详情页链接的信息，把收集的信息保存到文档文件中或者保存在数据库中(主要使用的是MongoDB)完成步骤：1.获取详情页链接，url = "http://bj.58.com/shoujihao/pn{}/".format(num)response = requests.get(url,headers=headers)time.sleep(1)so...

参与评论您还未登录，请先登录后发表或查看评论

python 爬虫——58同城

choucan8779的博客

05-04

314

from bs4 import BeautifulSoup import time,requests,re url = 'http://wx.58.com/pingbandiannao/25892738648911x.shtml' wb_data = req...

python爬取58手机号_使用python BeautifulSoup库抓取58手机维修信息

weixin_39592789的博客

12-22

338

直接上代码：代码如下:#!/usr/bin/python# -*- coding: utf-8 -*-import urllibimport os,datetime,stringimport sysfrom bs4 import BeautifulSoupreload(sys)sys.setdefaultencoding('utf-8')__BASEURL__ = 'http://bj.58.co...

python爬取58同城房子发布的手机号码_python爬虫：爬取58同城武汉地区商品房信息（最后碰到了58同城的反爬机制，吓得我不敢说话···）...

weixin_39662721的博客

12-10

762

今天外面天气有些古怪，女朋友明天又要考试，整整一天都在图书馆背书。遇到这种情况，像我这么懒的人，肯定就只有在宿舍玩游戏了。可是，，，玩游戏真的很无聊耶，我都玩腻了。所以，写完线代作业，只好又来了解一下数据结构和python。这波理由很充分，哈哈哈哈(更多优质内容，请关注公众号：生物信息与python)本来是想来试着爬一下雷军的微博信息的。可是微博，根本就不给真正的url··· (大公司嘛，程...

python爬虫（爬取58二手房信息）+xpah解析

qq_44026036的博客

02-11

4856

1、爬取首页信息源码 2、以爬取二手房标题为例通过F12抓包工具，快捷键【Ctrl+Shift+C】点击二手房标题，查看源码。进行数据解析通过两个二手房标题分析源码 h2 class="title"标题是在标签div class="content-side-left"下的标签ul class="house-list-wrap"下的li标签里面如图：进一步分析： h2 class=“...

Python爬虫-利用xpath解析爬取58二手房详细信息

Tom197的博客

08-02

4935

一个简单的python爬虫练习，对页面的部分文字进行爬取

Python使用bs4获取58同城城市分类的方法

09-21

在这个实例中，我们将探讨如何利用BeautifulSoup（简称bs4）来获取58同城网站的城市分类信息。58同城是一个知名的分类信息网站，它提供了各种生活服务信息，如租房、找工作、二手交易等，这些信息按城市进行分类。 ...

PYTHON BS 四大对象

qq_39110534的博客

08-20

260

BeautifulSoup是灵活又方便的网页解析库,处理搞笑,支持多种解析器利用它不用编写正则表达式即可方便地实现网页信息的提取BS的四大对象：1.TagTag就是HTML中的一个个标签,例如：<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>我们就可以通过Bs轻松的从Htm...

浅谈Python中的bs4基础

qq_39138295的博客

07-30

670

安装在命令提示符框中直接输入pip install beautifulsoup4 介绍 beautifulsoup是python的一个第三方库，和xpath一样，都是用来解析html数据的。引入 from bs4 import BeautifulSoup 使用将一段文档传入BeautifulSoup的构造方法，就能得到一个文档的对象。 bs = BeautifulSoup...

python爬虫爬取58租房信息

07-11

使用python对58同城租房信息进行爬取

Python的base58

TUTU

05-06

654

import binascii base58 = "123456789abcdefghijkmnopqrstuvwxyzABCDEFGHJKLMNPQRSTUVWXYZ" #编码 def b58encode(temp:int) ->str: tmp = [] while True: tmp.insert(0,temp % 58) temp = temp // 58 if temp == 0: break temp = "" for i i

python爬取58手机号_麻瓜编程·python实战·2-2作业：爬取58手机号

weixin_31190007的博客

01-14

783

我的结果链接.png详情.png我的代码from bs4 import BeautifulSoupimport requests, pymongo, re, time, urllib, socket, json, random# 基本页面url = 'http://bj.58.com/shoujihao/{}/pn{}/'# headersheaders = {'User-Agent': 'Moz...

Python58（变量的类型01—明确演练需求/项目文件准备）

weixin_42681308的博客

09-04

160

变量的类型在内存中创建一个变量，会包括： 1.变量的名称 2.变量保存的数据 3.变量存储数据的类型 4.变量的地址（标示）变量的演练——个人信息需求定义变量保存小明的个人信息姓名：小明年龄：18 性别：是男生身高:1.75米体重：75.0公斤利用单步调试确认变量中保存数据的类型...

实例58:python

歌谣的博客

08-20

179

#画方块 #!/usr/bin/python -- coding: UTF-8 -- from turtle import * forward(100) left(90) forward(100) for i in range(2): left(90) forward(100)

python系列教程58

人工智能AI技术

03-27

344

朋友们，如需转载请标明出处：https://blog.youkuaiyun.com/jiangjunshow 声明：在人工智能技术教学期间，不少学生向我提一些python相关的问题，所以为了让同学们掌握更多扩展知识更好地理解AI技术，我让助理负责分享这套python系列教程，希望能帮到大家！由于这套python教程不是由我所写，所以不如我的AI技术教学风趣幽默，学起来比较枯燥；但它的知识点还是讲到位的了，也值得阅读！PS：看不懂本篇文章的同学请先看前面的文章，循序渐进每天学一点就不会觉得难了！今天我们来学习一下关于数

python 第58天

weixin_30446197的博客

05-17

101

Form 组件常用选择插件 # 单radio，值为字符串 # user = fields.CharField( # initial=2, # widget=widgets.RadioSelect(choices=((1,'上海'),(2,'北京'),)) ...

python-pickle存储器(58)

liao__ran的博客

09-26

220

#转自https://www.jianshu.com/c/00c61372c46a网址 import pickle #可以把任意的数据对象(数字，列表等)写入文件，取出来时数据类型不变 #shop_list = ['eggs','apple','peach'] #with open('/tmp/shop.data','wb') as fobj: #将shop_list写入/tmp/shop....

Python之面相对象 - 双下方法

dexi5388的博客

07-15

212

双下方法定义：双下方法是特殊方法，他是解释器提供的由爽下划线加方法名加双下划线 __方法名__的具有特殊意义的方法,双下方法主要是python源码程序员使用的，我们在开发中尽量不要使用双下方法，但是深入研究双下方法，更有益于我们阅读源码。调用：不同的双下方法有不同的触发方式，就好比盗墓时触发的机关一样，不知不觉就触发了双下方法，例如：init ## __len__ class B:...

Python爬虫实战：58同城租房信息爬取技巧

标题《python爬虫爬取58租房信息》和描述《使用python对58同城租房信息进行爬取》表明这是一个关于如何利用Python编程语言来编写网络爬虫程序，以收集和抓取58同城网站上的租房信息的教程或指南。58同城作为中国的一...