mac下 如何简单粗暴 使用Python进行网络爬虫（2）

最新推荐文章于 2025-10-21 11:03:11 发布
原创 最新推荐文章于 2025-10-21 11:03:11 发布 · 1.7k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python

本文介绍如何使用Python在Mac系统下爬取一个图片网站的壁纸，将缩略图链接解析出大图URL并下载，同时探讨将图片信息存储到数据库的方法。

这次 我们来爬一个图片网站 然后保存到数据库
目标 我们选择 http://www.win4000.com/zt/fengjing.html
先打开网站看一下

我们的目的 就是抓风景桌面的壁纸 但这些都是缩略图 大图 在点击后的详情页里面
我们再次点击 一张素略图 看看

基本上 每一个缩略图都对应8-9张大图
那么 我们的目的很明确了 根据每个缩略图 找到对应的大图 并且下载下来

回到 http://www.win4000.com/zt/fengjing.html 检查元素查看网页 源代码

这个简直太简单了 直接用 BeautifulSoup获得每一个缩略图对应的详情

最低0.47元/天 解锁文章
mac如何用python爬网页数据_Mac——利用Python进行网页爬取
weixin_33628926的博客
02-17 1223
Mac——利用Python进行网页爬取目标：利用Python爬取网页中的指定内容，例如，爬取百度百科网页中四川省的别名。html输出：四川省的别名为：川、蜀、天府之国python我的经验，网页爬取主要掌握2个核心点：正则表达式说得直白一点，就是从一大堆文本中(网页=html代码)快速找到我的感兴趣的信息(爬取结果)！接下来，本文分为3步来进行实现。express一、打开待爬取的网页 二、在当前页面...
Python爬虫mac版本项目
mmmmmmmmua的博客
01-02 524
爬虫概念、工具和HTTP 1.什么爬虫 爬虫就是模拟客户端(浏览器)发送网络请求，获取响应，按照规则提取数据的程序 模拟客户端(浏览器)发送网络请求 : 照着浏览器发送一模一样的请求，获取和浏览器一模一样的数据 2.爬虫的数据去哪了 呈现出来：展示在网页上，或者是展示在app上 进行分析：从数据中寻找一些规律 3.需要的软件和环境 python3 黑马python基础班15天...
爬虫学习01:mac电脑配置python，pycharm
qq_37587269的博客
11-21 1385
如果想要更新某软件，一种方法是先通过卸载命令将该软件卸载，然后使用安装命令进行安装，homebrew会自动安装最新的软件。创建项目时要指定需要的python解释器的路径homebrew安装python的位置。如果使用homebrew模块安装某软件，首先要知道该软件的英文名称，通过输入对应的命令行可以自动完成软件的下载安装。homebrew是macbook管理/安装/卸载开源软件的功能模块，注意需要苹果os10以上的版本。会提示选择安装的镜像源，我这里选择的是清华大学的镜像源。（1）打开终端，在终端输入。
Pixiv日榜爬虫的Python脚本和Mac os小程序
MechaBunny's Cyberia
07-28 1336
文章目录P站爬虫代码将图片更新到Github把代码变成Mac应用程序1. Python代码 -> 脚本2.制作新的应用图标3.替换应用图标参考 P站爬虫代码 实现方法： 首先在P站日榜页面找到每个图片的data-id，然后进入相应图片的页面，找到图源url爬取原图。 import urllib.request import ssl import requests import re import time import os dir = '/Users/doudou/Desktop/pixiv'
在mac下使用python抓取数据
weixin_30799995的博客
01-02 382
2015已经过去，这是2016的第一篇博文！ 祝大家新年快乐！ 但是我还有好多期末考试！ 还没开始复习，唉，一把辛酸泪！ 最近看了一遍彦祖的文章叫做 iOS程序员如何使用Python写网路爬虫 所以自己也想小试牛刀.于是便开始动手写,但初次接触,还是遇见了很多不懂的东西,于是爬文一个一个解决了,最终抓取了自己想要的东西 彦祖的这篇文章里Python代码格式有错,但是...
Python 爬虫之 Scrapy（带例子）macOS 环境
皮埃尔的博客
05-09 1275
Python 爬虫之 Scrapy（带例子 macOS 环境）
Mac python爬虫学习
z099164的博客
01-17 1365
下面这些面试题是都来自阿里、腾讯、字节等一线互联网大厂，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。光学理论是没用的，要学会跟着一起敲代码，动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。如果觉得上面的实战案例有点枯燥，可以试试自己用Python编写小游戏，让你的学习过程中增添一点趣味！好了 所需的内容 就在这里面 但是这个只是个标题 内容 在点击进去的详情页 ，我们随便打开一个。对于从来没有接触过Python的同学，我们帮你准备了详细的。
mac下 如何简单粗暴 使用Python进行网络爬虫（1）
狱锁狂龙
12-14 4176
首先推荐几个 必须要掌握的类库  Requests: HTTP for Humans 它是以这么一句话介绍自己的，为人类使用的HTTP库 http://docs.python-requests.org/zh_CN/latest/user/quickstart.html 中文文档   Beautifulsoup 用Beautiful Soup解析网站源代码 代替正则 https://ww...
Python网络爬虫模拟登录与验证解析
sinat_30844883的博客
08-28 3656
在互联网上存在大量需要登录才能访问的网站，要爬取这些网站，就需要学习爬虫的模拟登录。对于一个需要登录才能访问的网站，它的页面在登录前和登录后可能是不一样的。
数据分析——Python网络爬虫(一){爬虫基础概念}
樊鴻燁的博客
07-12 1043
Python网络爬虫爬虫基础概念网络爬虫定义网络爬虫用途网络爬虫分类通用搜索引擎工作原理通用搜索引擎工作原理步骤通用搜索引擎工作原理局限聚焦爬虫聚焦爬虫流程聚焦爬虫与通用爬虫的比较网络爬虫的搜索策略基于IP地址搜索策略广度优先深度优先最佳优先 爬虫基础概念 网络爬虫定义   网络爬虫（Crawler）又被称为网页蜘蛛（Spider），网络机器人，网页追逐者，它是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。狭义上来讲就是指遵循标准的http协议，利用超链接和Web文档检索方法遍历万维网的软件程序
python爬虫mac版本猪精原创
01-02
python mac版爬虫 - 豆瓣电视爬虫案例 ### xpath和lxml - xpath - 一门从html中提取数据的语言 - xpath语法 - xpath helper插件:帮助我们从`elements`中定位数据 - 1. 选择节点(标签) - `/html/head/meta` :能够选中html下的head下的所有的meta标签 - 2. `//` :能够从任意节点开始选择 - `//li` :当前页面上的所有的li标签 - `/html/head//link` :head下的所有的link标签 - 3. `@符号的用途` - 选择具体某个元素:`//div[@class='feed']/ul/li` - 选择class='feed'的div下的ul下的li - `a/@href` :选择a的href的值 - 4. 获取文本: - `/a/text()` :获取a下的文本 - `/a//text()` :获取a下的所有的文本 - 5. 点前 - `./a` 当前节点下的a标签 - lxml - 安装:pip install lxml - 使用 ```pthon from lxml import etree element = etree.HTML("html字符串") element.xpath("") ```
Python爬虫基础教程（109）Python爬虫与反爬虫之在爬虫中使用Cookies：饼干大盗的自我修养：当Python爬虫学会了“偷吃”Cookie
最新发布
jxf_jxfcsdn的博客
10-21 1062
你以为爬虫只是简单粗暴地抢数据？太天真了！现在的爬虫都得学会“偷吃”Cookie这门艺术。就像带个通行证逛游乐园，有了Cookie，爬虫才能大摇大摆地拿到想要的数据。本文将用段子手的方式，揭秘Cookie在爬虫中的神奇妙用，从基础操作到高级伪装，让你家的爬虫从此告别“门外汉”生涯，优雅地享用每一顿数据大餐。
我的macbook+python3的第一个爬虫程序
lin_c_lin的博客
12-19 1225
第一次用python写的爬虫，爬的是猫眼的电影榜，记录一下过程和遇到的问题，比如输出乱码等
用mac的python写网络爬虫_mac下 如何简单粗暴 使用Python进行网络爬虫（1）
weixin_39580727的博客
11-21 774
首先推荐几个 必须要掌握的类库Requests: HTTP for Humans它是以这么一句话介绍自己的，为人类使用的HTTP库http://docs.python-requests.org/zh_CN/latest/user/quickstart.html 中文文档Beautifulsoup用Beautiful Soup解析网站源代码 代替正则https://www.crummy.com/so...
使用annaconda 安装sklearn 进行机器学习算法学习
weixin_39634332的博客
09-19 1030
前提是你已经安装好 annaconda的基础上，并且创建了tensorflow 的一个虚拟环境 下面是具体步骤： 首先进入anaconda prompt，输入activate tensorflow环境， 再输入conda install scikit-learn，然后会弹出安装所需要的包，如mkl,numpy,scikit-learn,scipy等，然后点击确定（Y）,就会开始安装。 中间可能会出现，因为包太大会安装失败的情况，这时候可以多次安装，就有可能解决这个问题。 ...
用mac的python写网络爬虫_Mac——利用Python进行网页爬取
weixin_39610468的博客
11-26 621
Mac——利用Python进行网页爬取目标：利用Python爬取网页中的指定内容，例如，爬取百度百科网页中四川省的别名。输出：四川省的别名为：川、蜀、天府之国个人经验，网页爬取主要掌握2个核心点：网页爬虫的原理（Python爬虫入门教程：超级简单的Python爬虫教程）正则表达式的灵活应用（Python3 正则表达式，正则表达式-菜鸟教程）说得直白一点，就是从一大堆文本中（网页=html代码）快速...
用mac的python写网络爬虫_爬虫入门篇(上手即用)
weixin_39622289的博客
11-26 620
目录什么是爬虫编辑器的选择mac 操作简单爬虫代码一些轮子总结学习的链接尾声什么是爬虫爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。为什么是python?Python确实很适合做爬虫，丰富的第三方库十分强大，简单几行代码便可实现你想要的功能。编辑器的选择可以考虑使用Pycharm，专用编辑器会更好用一些。与其特立独行用最轻便最好用的，倒不如用用户量大的Idle，生态更好，遇到问题会...
Mac——利用Python进行网页爬取
GeekZW的博客
03-02 4279
Mac——利用Python进行网页爬取 目标：利用Python爬取网页中的指定内容，例如，爬取百度百科上面的四川省的别名。 输出：四川省的别名为：川、蜀、天府之国 个人经验，网页爬取主要掌握2个核心点： 网页爬虫的原理 正则表达式的灵活应用 接下来，拆分一下步骤： 1、打开待...
简单粗暴的python
04-19
### 编写一个简单程序实现按需查询月份天数功能 以下提供了一个简洁的 Python 程序，用于根据用户输入的月份查询对应的天数，并允许通过输入 `0` 来退出循环。 #### 程序逻辑概述 1. 创建一个列表来存储每个月的标准天数。 2. 使用 `while` 循环不断读取用户输入，直到用户输入为 `0` 为止。 3. 判断用户输入的有效性，确保只接受范围内的合法值（1 至 12 或者 0）。 4. 输出对应月份的天数，忽略闰年的影响，将二月默认设为 28 天[^1]。 #### 完整代码示例 ```python # 初始化一个月份天数表，默认不考虑闰年影响 days_in_months = [31, 28, 31, 30, 31, 30, 31, 31, 30, 31, 30, 31] print("欢迎使用每月天数查询工具！") print("请输入月份编号（1-12），输入0退出程序。") while True: try: # 获取用户输入 user_input = input("请输入月份编号或0退出：").strip() # 用户选择退出条件 if user_input == '0': print("感谢使用本工具，再见！") break # 将输入转换成整型并校验合法性 month = int(user_input) if month < 1 or month > 12: raise ValueError("无效的月份编号，请重新输入！") # 查询并显示结果 days = days_in_months[month - 1] print(f"{month}月有 {days} 天。\n") except Exception as e: print(f"发生错误：{str(e)}\n请按照提示正确输入！\n") ``` --- ### 关键点解释 1. **初始化数据结构**：定义了名为 `days_in_months` 的列表，其中包含了全年十二个月各自的天数值。 2. **无限循环控制流程**：运用 `while True:` 构造持续运行的交互环境，在检测到特定终止信号 (`0`) 后跳出循环。 3. **异常捕捉增强健壮性**：引入 `try...except` 块捕获潜在的非法操作或者意外状况下的报错信息。 4. **字符串格式化输出**：借助 f-string 方便地组合变量与静态文本生成最终提示语句[^1]。 ---
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值