一起学爬虫(Python) — 09

一起学爬虫(Python) — 01 首先要了解爬虫1.什么是爬虫1.自言自语2.为什么要学爬虫1.为了赚钱2.为了私欲3.爬虫违法吗?如何避免踩坑爬虫的分类爬与反爬robots.txt协议http协议和https协议常用请求头信息(先知道有这个东西)常用响应头信息(同上,都要通过抓包工具查看)加密方式(大致知道就好)结尾 1.什么是爬虫 1.自言自语 深思良久… 所以为什么要问这个问题呢? 传统! 每学一门技术之前都要了解我学的是什么,为什么要学,好学吗…… 但是小泽不要这么学,为什么呢? 如果跟别人一样的话,那有那么多优质的文章摆在前面,像 阅读详情

一起学爬虫(Python) — 19 年轻人,进来学自动化

从零开始的爬虫生活

标题为什么要这么写呢,因为我发现啊,有很多跟着一起学习的小伙伴,对于基础并不是掌握的很牢固,或者说很充实,所以小泽准备讲的慢一点,在讲爬虫的同时,把基础也给好好地讲一讲!
对了,400赞更新下一期哦!!!400赞400赞,大家一起努力鸭
(`・ω・´)

梦回s4

今天,就让我们一起重新完善一下,昔日我们写下的,翻译器!
在这里插入图片描述
这里跟大家说一个需要注意的点,如果我们要在原本可以运行的代码上做出修改或者添加功能,最好最好最好是重新建立一个py文件,然后粘贴复制,这是一个好习惯,我有,希望大家也有( ̄▽ ̄)~*!
这里小泽呢,就先新建一个py文件:
在这里插入图片描述
然后找到我们当初写的代码,如果没找到的话,没关系,这里给你直接拷贝过来:

# 引用requests模块和json模块,为了解码
import requests
import json
# 指定我们刚才辛辛苦苦找到的url
url = 'http://fy.iciba.com/ajax.php?a=fy'
header = {
   
   
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'
}
word = input('请输入要翻译的英语:')
date = {
   
   
    'f': 'zh',
    't': 'en',
    'w': word
}
# .content是转成二进制的意思 .decode()是指定编译格式,默认编码为字符串编码
response = requests.post(url=url,data=date,headers=header).content.decode()
# 用json模块的loads实现把爬下来的数据转换成我们能看懂的数据
# 这里大家可以打印一下response看一看数据就知道了~要多实践哦
a = json.loads(response)['content']
b = a['word_mean']
print('---------------------------------------------')
for i in b:
    print(i)
print('---------------------------------------------')
print('翻译完成!')

今天,我们就要把它给完善喽!
那么首先,我们要先有一个思维流程对吧,做什么事都要先想一想大致的流程,这里再教大家一个比较实用的技巧:
在这里插入图片描述
新建一个file文件,这个文件有什么好处呢?
总之就是…格调瞬间就高了起来(`・ω・´),比如:
在这里插入图片描述
是不是要比写一堆注释来的好看,而且思路也会更明确!

明确思路

既然说了半天思路要明确,那么大家都明确思路了吗?
很显然,没有!
好吧~╮(╯﹏╰)╭
这里只能小泽带着大家一起捋一捋思路了:
首先我们上次完成的是一个翻译功能,但是一个翻译器肯定不是光有翻译功能对吧,就像我们上厕所,不光要有排尿系统,还要有那个东西对吧,还要有洞洞,不然的话你也出不来,所以有的时候啊,不能光看内在,也要适当的看一看外在!!!o(* ̄3 ̄)o
那我们就试着把上一次写的翻译功能真正的变成一个 动态的功能吧 动态的功能吧 动态的功能吧 !

开始行动

怎么写功能呢?def啊,怎么写def呢?def 函数名():啊,怎么写def 函数名():呢?……

# def 方法名():
def fun():
	# pass意为跳过,就像你遇到不会做的题跳过一样
	
一起学爬虫(Python) — 05 今天我们爬图片开始分析实践 开始 大家好鸭,又是新的一天! 无论做什么事情,都要恪守初心,要知道我们是为了什么才学爬虫的,比如我,就是为了爬取一些好看的图片…… 所以,今天带大家一起爬一些好看的,图片~ 话不多说,直接高速! http://www.win4000.com/zt/dongman.html 作为一个老二刺猿,当然是直接找动漫图片~ 分析 打开页面后往下拉,发现图片是真滴好看…… 里面还有我的02老婆~ 认真分析,看到这一张张的图片,我们是不是可以认为这些图片是放在一个列表里的,所以一会我们爬取 阅读详情

相关推荐

一起学爬虫(Python) — 25 震惊!某妈妈竟被多次“玩弄”……

年度催泪大剧:2020,我一定会回来的! 年度最佳拒绝白嫖奖:一起学爬虫(Python) — 19 年轻人,进来学自动化 略显夸张,略显。 但是还是希望,也不是希望吧,是卑微地渴望各位姥爷,给个赞吧T-T 论爬某妈妈的另一种方式前言自动化获取cookies获取cookies!偷偷地潜入!扩展小知识 - 快速调整字体大小 前言 我被绑架了,竟然三天没有更新,这个… 对,就理解为我被绑架了吧! 最近不是有那个年度征文嘛,然后我就参加了一下,毕竟…… 高情商:你写的那么好,一下就吸引了一堆小学生来看,一

小泽 3624

Python 网络爬虫 从入门到实践

http://www.santostang.com/《网络爬虫:从入门到实践》一书勘误作者: santos1993 分类: 大数据营销 发布时间: 2017-10-23 23:57 本书由于是第一版,因此还存在一些差错,希望各位读者谅解。另外,感谢各位读者的指正,现将本书的错误之处一并放在此处,方便其他读者更好阅读和使用此书。也欢迎大家在知乎私信或者留言给我,我会持续更新此文。《网络爬虫:从入门到...

weixin_38325679的博客 4073

Python网络爬虫爬取新浪新闻

笔者最近由于需要研究互联网新闻,于是基于邱老师的网络爬虫实战,写了一个爬取新浪新闻的爬虫,爬取的信息有: 新闻标题 来源url 发布时间 正文 编辑者 与邱老师的爬虫相比有以下几点不同: 没有爬取新闻评论数目 对错误网页进行跳过处理 适应当前网页标签 可以通过修改main下的range(a,b)范围来控制爬取新闻的条数。新浪网每页20条新闻,也就是说range(10)可以爬取10 ...

XAKK的博客 2646

用正则表达式爬取古诗文网站,边玩边学【python爬虫入门进阶】(09)

用正则表达式也能爬取数据,爽

码农飞哥 1万+

Python网络爬虫中JSON格式数据存储详解

JSON(JavaScript Object Notation)是一种轻量级的数据交换格式,它基于ECMAScript的一个子集,采用完全独立于语言的文本格式来存储和表示数据。简单、清晰的层次结构使得JSON成为理想的数据交换语言。易于人阅读和编写,同时也易于机器解析和生成。本文详细介绍了在Python网络爬虫中如何处理和存储JSON格式数据的过程。通过掌握`json`模块的使用方法,我们可以轻松地将网页返回的JSON数据解析为Python对象,并将其存储到文件中。

这家伙很懒,什么都没有留下 3468

统计学工具软件hlm6.08

This is the release edition of HLM 6.

用python将dycom .dcm格式图像转换为nifti .nii

因为发现目前搜索到的多数中文教程并不能正确将FMRI图像正确转换,例如很多用simpleITk的seriesreader的,所以写了一下自己正确转换的方法。因为FMRI是一个4D数据,有时间轴,所以用seriesreader读写出来的图像把时间轴维度给降维了。当然你用SPM12工具的dycom import也是能正确转换的,但是我还是喜欢python这样的,代码直接简单。

qq_41103479的博客 3609

Nginx&&Keepalived(一)Keepalived介绍

一、背景: 案例1:如现有服务my-service-demo,希望实现高可用和负载均衡: 首先,my-service-demo服务部署在两台机器上,通过nginx去代理这两个节点,负载均衡就实现了。如果只有一个nginx,这台nginx机器一旦宕机,访问nginx会报错。这时候在另外一台机器nginx2上也安装nginx,并配置同样的代理,可以解决上述问题,但是暴露给用户的只有一个域名(或ip),不可能给用户提供两个域名,域名1(nginx机器1)访问不了了再让用户访问域名2(nginx机器2),这

w_t_y_y的博客 2883

详解Unity中的粒子系统Particle System (三)

上一篇我们详细讲解了有关主模块的全部内容,已经对粒子系统的基本运作有了足够的了解,本篇就来讲一下被粒子系统默认启用的Emission、Shape、Renderer模块又在粒子系统中扮演着怎么样的作用吧。

梦小天幼的博客 1万+

vmware vsphere5---部署vCSA(VMware vCenter Server)附带第二阶段安装报错解决方案

因为这份文档我是边做边写的,遇到问题重新装了好几次所以IP会很乱ESXI主机为192.168.20.10VCSA为192.168.20.7,后台为192.168.20.7:5480后期请自行对应,后面的192.168.20.57请对应192.168.20.7,或根据自己的来。

m0_70212665的博客 5714

基于YOLOv8的端面小目标计数解决方案: 多头检测器+小缺陷到大缺陷一网打尽的GiraffeDet+Wasserstein Distance Loss | 助力工业小目标缺陷检测

端面小目标计数部署解决方案 | 亲测在工业小目标缺陷涨点明显,原始mAP@0.5 0.936提升至0.955

①答疑群聊服务;②YOLO大模型知识问答系统;③计算机视觉论文生成智能体; 1955

Python 爬虫实战:爬取 B 站 UP 主的全部视频数据

本文详细介绍了基于Python开发B站UP主视频数据爬虫的技术方案。通过分析B站API接口,使用requests库发送HTTP请求并处理JSON数据,结合pandas进行结构化存储。文章重点解决了接口鉴权、分页爬取、反爬策略等核心难点,实现获取视频标题、播放量、点赞数等关键指标。同时强调数据爬取需遵守平台规范,仅限技术研究使用。该方案为B站视频内容分析提供了可靠的数据采集基础,具有实际应用价值。

2503_91057718的博客 2492

电容放电测试解析

电子设备断电后滤波电容残留电荷存在触电风险,需符合IEC等安全标准对放电时间的要求。放电测试需测量电容电压下降至安全值的时间,设计可采用主动放电电路或被动放电电阻。常见问题包括电阻选择不当或电路设计缺陷,建议预留放电时间裕度并采用组合放电方案。合规的放电设计是确保产品安全性和可靠性的关键环节。

硬核科技 801

电动汽车远程监控与诊断软件:BMW ConnectedDrive EV远程监控二次开发_7.数据安全与隐私保护

数据加密是保护数据安全的重要手段之一。在电动汽车远程监控与诊断软件中,加密技术可以确保数据在传输过程中的安全性和完整性。常见的加密技术包括对称加密和非对称加密。

zhubeibei168的博客 884

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

上一篇: 一起学爬虫(Python) — 08
下一篇: 一起学爬虫(Python) — 10
「已注销」
博客等级 码龄6年 1406粉丝 35原创
评论 16
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值