mac下 如何简单粗暴 使用Python进行网络爬虫（1）

最新推荐文章于 2025-10-21 11:03:11 发布
原创 最新推荐文章于 2025-10-21 11:03:11 发布 · 4.1k 阅读 · 22 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #网络爬虫

首先推荐几个 必须要掌握的类库 

Requests: HTTP for Humans

它是以这么一句话介绍自己的，为人类使用的HTTP库

http://docs.python-requests.org/zh_CN/latest/user/quickstart.html 中文文档

 

Beautifulsoup

用Beautiful Soup解析网站源代码 代替正则

https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html 中文文档

 

开发环境:Mac 

IDE:PyCharm (个人感觉非常好用)

游览器:Safari


第一步 我们进行最简单的爬虫 我选择的目标是 糗事百科 https://www.qiushibaike.com/text/

我们所需要的 就是 红框里这些文字 其余乱七八糟的广告 我们压根也不用 怎么办呢?  Safari游览器中 右键点击 检查元素

最低0.47元/天 解锁文章
site sucker mac抓网页软件
11-15
site sucker mac下的抓网页软件，非常好用，设置路径层次后自动抓取，速度也很快
用mac的python写网络爬虫_Mac——利用Python进行网页爬取
weixin_39610468的博客
11-26 621
Mac——利用Python进行网页爬取目标：利用Python爬取网页中的指定内容，例如，爬取百度百科网页中四川省的别名。输出：四川省的别名为：川、蜀、天府之国个人经验，网页爬取主要掌握2个核心点：网页爬虫的原理（Python爬虫入门教程：超级简单的Python爬虫教程）正则表达式的灵活应用（Python3 正则表达式，正则表达式-菜鸟教程）说得直白一点，就是从一大堆文本中（网页=html代码）快速...
mac下 如何简单粗暴 使用Python进行网络爬虫（2）
狱锁狂龙
09-03 1717
mac下 如何简单粗暴 使用Python进行网络爬虫（2）
python爬虫scrapy步骤mac系统_5步骤Macbook环境完整安装python编程环境及Scrapy爬虫框架...
weixin_39850699的博客
11-21 697
即便目前我们拿到手的新Macbook环境在终端输入python还是可以跳出来已经安装有python2.7版本自带环境，但是这个基本的环境只能完成简单的python基础函数的演练操作，并不能解决其他复杂的框架功能，我们需要在本有的基础上进行完善的补充安装常用的系统包。因为我自己的环境是昨天晚上在MACBOOK安装的，当时没有截图，我今天这篇文章只能凭借记忆整理文字上的内容，但肯定是这样操作可以完成，...
爬虫 win mac linux,Python爬虫环境搭建（Mac）-Go语言中文社区
weixin_30430333的博客
05-13 237
这是一篇对此教程视频的笔记。看视频太磨叽了，安装都是分成了win、linux、mac三种，再看视频的话怕是没那个耐心看。Homebrew与AnacondaHomebrew充当的角色是mac下的apt-get，是一种包管理工具。先把Homebrew安装到mac上。然后用它安装python3，最后验证python3与pip3是否安装成功。数据库安装MongoDBbrew install mongodb...
mac 上python简易爬虫
nothingl3的专栏
02-28 5620
代码主要copy叶孤城大大。 http://www.imooc.com/wenda/detail/248578 1.三方库 安装 BeautifulSoup 很简单，下载 BeautifulSoup  源码。解压运行 python setup.py install 即可。（ps 若出现权限问题错误 sudo python setup.py install ） 2.
用mac的python写网络爬虫_mac下 如何简单粗暴 使用Python进行网络爬虫（1）
weixin_39580727的博客
11-21 774
首先推荐几个 必须要掌握的类库Requests: HTTP for Humans它是以这么一句话介绍自己的，为人类使用的HTTP库http://docs.python-requests.org/zh_CN/latest/user/quickstart.html 中文文档Beautifulsoup用Beautiful Soup解析网站源代码 代替正则https://www.crummy.com/so...
Python网络爬虫模拟登录与验证解析
sinat_30844883的博客
08-28 3656
在互联网上存在大量需要登录才能访问的网站，要爬取这些网站，就需要学习爬虫的模拟登录。对于一个需要登录才能访问的网站，它的页面在登录前和登录后可能是不一样的。
数据分析——Python网络爬虫(一){爬虫基础概念}
樊鴻燁的博客
07-12 1043
Python网络爬虫爬虫基础概念网络爬虫定义网络爬虫用途网络爬虫分类通用搜索引擎工作原理通用搜索引擎工作原理步骤通用搜索引擎工作原理局限聚焦爬虫聚焦爬虫流程聚焦爬虫与通用爬虫的比较网络爬虫的搜索策略基于IP地址搜索策略广度优先深度优先最佳优先 爬虫基础概念 网络爬虫定义   网络爬虫（Crawler）又被称为网页蜘蛛（Spider），网络机器人，网页追逐者，它是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。狭义上来讲就是指遵循标准的http协议，利用超链接和Web文档检索方法遍历万维网的软件程序
Python爬虫基础教程（109）Python爬虫与反爬虫之在爬虫中使用Cookies：饼干大盗的自我修养：当Python爬虫学会了“偷吃”Cookie
最新发布
jxf_jxfcsdn的博客
10-21 1062
你以为爬虫只是简单粗暴地抢数据？太天真了！现在的爬虫都得学会“偷吃”Cookie这门艺术。就像带个通行证逛游乐园，有了Cookie，爬虫才能大摇大摆地拿到想要的数据。本文将用段子手的方式，揭秘Cookie在爬虫中的神奇妙用，从基础操作到高级伪装，让你家的爬虫从此告别“门外汉”生涯，优雅地享用每一顿数据大餐。
用mac的python写网络爬虫_你是如何开始能写 Python 爬虫？
weixin_39632293的博客
11-26 219
很久之前的问题了, 不知道现在题主已经入门了没, 我以我入门到工作的情况来说一下, 这里首先要感谢 @xlzd, 当时入门到进阶看了很多他的文章, 在这里表示感谢, 回答此问题也是因为刷到他最近回答了此问题,1. 基础想起我入门的时候也是先学会了python, 然后有一段时间不知道去做什么, 后来偶然机会看到一个糗事百科的爬虫脚本, 然后自己就去了解了下爬虫的定义, 直接去抄脚本, 虽然没有技术含...
nohup、setsid、&和disown(转自ubuntuer zone )
boyce_dong的专栏
01-13 556
在执行命令时，偶尔会碰到需要让对应进程无间断执行的情况。前段时间看到IBM官网的一篇文章，由于不让转载（原文位置：IBM ），遂简单记录如下： 我们知道，当用户注销（logout）或者网络断开时，终端会收到 HUP（hangup）信号从而关闭其所有子进程。因此，我们的解决办法就有两种途径：要么让进程忽略 HUP 信号，要么让进程运行在新的会话里从而成为不属于此终端的子进程。 1. nohup 显 而易见，nohup命令的功能是使进程忽略hangup信号，从而持续执行。nohup 的使用是十分方便的
Mac python爬虫学习
z099164的博客
01-17 1365
下面这些面试题是都来自阿里、腾讯、字节等一线互联网大厂，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。光学理论是没用的，要学会跟着一起敲代码，动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。如果觉得上面的实战案例有点枯燥，可以试试自己用Python编写小游戏，让你的学习过程中增添一点趣味！好了 所需的内容 就在这里面 但是这个只是个标题 内容 在点击进去的详情页 ，我们随便打开一个。对于从来没有接触过Python的同学，我们帮你准备了详细的。
Mac——利用Python进行网页爬取
GeekZW的博客
03-02 4279
Mac——利用Python进行网页爬取 目标：利用Python爬取网页中的指定内容，例如，爬取百度百科上面的四川省的别名。 输出：四川省的别名为：川、蜀、天府之国 个人经验，网页爬取主要掌握2个核心点： 网页爬虫的原理 正则表达式的灵活应用 接下来，拆分一下步骤： 1、打开待...
爬虫学习01:mac电脑配置python，pycharm
qq_37587269的博客
11-21 1385
如果想要更新某软件，一种方法是先通过卸载命令将该软件卸载，然后使用安装命令进行安装，homebrew会自动安装最新的软件。创建项目时要指定需要的python解释器的路径homebrew安装python的位置。如果使用homebrew模块安装某软件，首先要知道该软件的英文名称，通过输入对应的命令行可以自动完成软件的下载安装。homebrew是macbook管理/安装/卸载开源软件的功能模块，注意需要苹果os10以上的版本。会提示选择安装的镜像源，我这里选择的是清华大学的镜像源。（1）打开终端，在终端输入。
【Python】01快速上手爬虫案例一：搞定豆瓣读书
专注于技术开发、项目管理
01-24 3234
实战是最好的老师，直接案例操作，快速上手。
我的macbook+python3的第一个爬虫程序
lin_c_lin的博客
12-19 1225
第一次用python写的爬虫，爬的是猫眼的电影榜，记录一下过程和遇到的问题，比如输出乱码等
Python 爬虫之 Scrapy（带例子）macOS 环境
皮埃尔的博客
05-09 1275
Python 爬虫之 Scrapy（带例子 macOS 环境）
简单粗暴的python
04-19
### 编写一个简单程序实现按需查询月份天数功能 以下提供了一个简洁的 Python 程序，用于根据用户输入的月份查询对应的天数，并允许通过输入 `0` 来退出循环。 #### 程序逻辑概述 1. 创建一个列表来存储每个月的标准天数。 2. 使用 `while` 循环不断读取用户输入，直到用户输入为 `0` 为止。 3. 判断用户输入的有效性，确保只接受范围内的合法值（1 至 12 或者 0）。 4. 输出对应月份的天数，忽略闰年的影响，将二月默认设为 28 天[^1]。 #### 完整代码示例 ```python # 初始化一个月份天数表，默认不考虑闰年影响 days_in_months = [31, 28, 31, 30, 31, 30, 31, 31, 30, 31, 30, 31] print("欢迎使用每月天数查询工具！") print("请输入月份编号（1-12），输入0退出程序。") while True: try: # 获取用户输入 user_input = input("请输入月份编号或0退出：").strip() # 用户选择退出条件 if user_input == '0': print("感谢使用本工具，再见！") break # 将输入转换成整型并校验合法性 month = int(user_input) if month < 1 or month > 12: raise ValueError("无效的月份编号，请重新输入！") # 查询并显示结果 days = days_in_months[month - 1] print(f"{month}月有 {days} 天。\n") except Exception as e: print(f"发生错误：{str(e)}\n请按照提示正确输入！\n") ``` --- ### 关键点解释 1. **初始化数据结构**：定义了名为 `days_in_months` 的列表，其中包含了全年十二个月各自的天数值。 2. **无限循环控制流程**：运用 `while True:` 构造持续运行的交互环境，在检测到特定终止信号 (`0`) 后跳出循环。 3. **异常捕捉增强健壮性**：引入 `try...except` 块捕获潜在的非法操作或者意外状况下的报错信息。 4. **字符串格式化输出**：借助 f-string 方便地组合变量与静态文本生成最终提示语句[^1]。 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值