25行代码带你爬取4399小游戏数据,看下童年的游戏是否还在

如何用Python爬取小游戏网站,把喜欢的游戏收藏起来(附源码) 简介: Python 是一门简单易学且功能强大的编程语言,无需繁琐的配置,掌握基本语法,了解基本库函数,就可以通过调用海量的现有工具包编写自己的程序,轻松实现批量自动化操作,可以极大提高办公和学习效率。Python爬虫可以批量获取网页上的数据。 Python的环境配置 1. 代码编辑器 Pycharm community 2. 代码解释器 Python 3.7.6 3. 在Pycharm中创建项目并配置Python环境 4. 安装工具包的两种方式 4399小游戏爬虫实战 ... 阅读详情

前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

还记得童年的网页小游戏吗?今天带大家爬取4399小游戏网站的数据,游戏名字+链接地址

目标网站

http://www.4399.com/

基本环境配置

  • python 3.6
  • pycharm
  • requests
  • parsel
  • csv

爬虫代码

导入需要用到的工具

1import requests
2import parsel
3import csv

请求网页

1    url = 'http://www.4399.com/flash_fl/5_{}.htm'.format(page)
2    headers = {
3        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
4    }
5    response = requests.get(url=url, headers=headers)
6    response.encoding = response.apparent_encoding

解析网页,爬取数据

1    for li in lis:
2        dit ={}
3        data_url = li.css('a::attr(href)').get()
4        new_url = 'http://www.4399.com' + data_url.replace('http://', '/')
5        dit['游戏地址'] = new_url
6        title = li.css('img::attr(alt)').get()
7        dit['游戏名字'] = title
8        print(new_url, title)

保存数据

1f = open('4399游戏.csv', mode='a', encoding='utf-8-sig', newline='')
2
3csv_writer = csv.DictWriter(f, fieldnames=['游戏地址', '游戏名字'])
4csv_writer.writeheader()
5f.close()
6# 想要源码的请关注公众号:松鼠爱吃饼干
7# 发送‘4399’即可免费获取

运行代码,效果如下图

每秒200条数据,超快的爬取速度

你玩过几种呢?

 

完整项目代码点这里即可!

HTML5网页捕鱼游戏源代码 摘要:脚本资源,HTML,html5,捕鱼游戏,网页游戏  基于html5技术编写的捕鱼游戏源码,画面逼真艳丽,HTML5真的是魅力无穷埃由于只有最新浏览器支持html5,推荐使用google浏览器或IE9及火狐最新版浏览。至于本游戏的玩法没有过多研究,用火狐打开看了一下效果,真的不错呀,研究一下HTML5是适应主流所需,对前端开发有益无害。 立即下载

相关推荐

40款H5小游戏完整源码下载

40款H5小游戏平台完整源码下载,可以放在微信公众号平台里面加载玩耍,也可以二次开发,这个具体看你个人怎么玩了

怎么把4399小游戏的代码_25行代码带你爬取4399小游戏数据,看下童年的游戏是否还在...

前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。还记得童年的网页小游戏吗?今天带大家爬取4399小游戏网站的数据,游戏名字+链接地址目标网站http://www.4399.com/基本环境配置python 3.6pycharmrequestsparselcsv爬虫代码导入需要用到的工具1import requests 2import pars...

weixin_34908663的博客 1万+

精品源码 / 仙侠游戏 / 网页模板

1、这是一款仙侠游戏官网模版 2、适合游戏公司使用,属于仙侠风,界面美轮美奂 3、收费只是想让你们知道资源得来不易

对地址取地址_25行代码带你爬取4399小游戏数据,看下童年的游戏是否还在

前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。还记得童年的网页小游戏吗?今天带大家爬取4399小游戏网站的数据,游戏名字+链接地址目标网站http://www.4399.com/基本环境配置python 3.6pycharmrequestsparselcsv爬虫代码导入需要用到的工具1import requests 2import pars...

weixin_39554775的博客 672

重带电粒子的能量歧离(energy straggling)

能量歧离,Bethe-Bloch

G751888629的博客 2298

PowerBuilder 9.0安装组件全解析:Adaptive Server Anywhere、PowerDynamo、InfoMaker到底怎么选?

本文从技术架构师视角详细解析PowerBuilder 9.0安装组件选型策略,包括Adaptive Server Anywhere、PowerDynamo和InfoMaker的核心功能与应用场景。通过分析组件间的依赖关系和安装冲突机制,提供针对不同开发需求的最佳安装方案,帮助开发者高效配置PB9.0开发环境。

weixin_28700593的博客 443

python爬取4399小游戏数据_25行代码带你爬取4399小游戏数据,看下童年的游戏是否还在...

前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。还记得童年的网页小游戏吗?今天带大家爬取4399小游戏网站的数据,游戏名字+链接地址目标网站http://www.4399.com/基本环境配置python 3.6pycharmrequestsparselcsv爬虫代码导入需要用到的工具1import requests2import parse...

weixin_31893893的博客 1451

Verilog——反相器

反相器代码: module inv( A, Y );//A,Y是端口 //定义端口属性 input A; output Y; //定义输入输出关系 assign Y=~A;//Y等于A的反 endmodule //inv是module的名字

weixin_41788560的博客 9502

Python爬虫入门(四):实战,爬取4399小游戏首页

本部分为爬虫入门篇的实战教程,我会用到除了selenium外所有在上文介绍过的模块来编写实例,爬取4399小游戏网站首页上的内容。 robots.txt robots.txt是指存放在网页根目录下的一个文件,广义上也指互联网间的robots协议。 robots协议 对此协议的定义存在歧义。有些资料上说robots是针对搜索引擎爬虫的,有些资料上说所有爬虫都要遵循。本文采取后者。 robots协议全称为网络爬虫排除标准(Robots Exclusion Protocol)。这个协议告诉了网络爬虫哪些

AugustTheodor的博客 4323

S32DS新建工程、编译调试下载、导入工程详细介绍

新建了一个工程之后,下面简单介绍下基本的UI界面。其中最左下角那个是界面,这个界面很重要,是图形化配置界面,然后可以根据这些配置自动生成代码。其中,左边那些配置文件,都是系统帮我们创建好了的,我们其实可以直接用就行。有PE工具的调试,以及Jlink工具的调试。我目前使用到PE工具调试可以查看寄存器值,而Jlink调试查看不了寄存器值。连接了开发板之后,点击Debug就可以吧程序下载到芯片上了,而且可以进入到调试界面。

luobeihai的博客 2万+

STM32F103C8T6+HX711实战:从零打造智能体重秤(附OLED显示与语音播报)

本文详细介绍了基于STM32F103C8T6微控制器和HX711称重模块,从零构建智能体重秤的完整实战教程。内容涵盖硬件选型、系统架构、驱动编写、数据滤波校准算法,并实现了OLED显示与语音播报功能。该项目是嵌入式学习的综合性实践,尤其适合作为毕业设计课题,帮助开发者掌握传感器应用、数据处理及人机交互等核心技能。

weixin_28285943的博客 520

hadoop 爬虫_Python爬虫入门(四):实战,爬取4399小游戏首页

本部分为爬虫入门篇的实战教程,我会用到除了selenium外所有在上文介绍过的模块来编写实例,爬取4399小游戏网站首页上的内容。robots.txtrobots.txt是指存放在网页根目录下的一个文件,广义上也指互联网间的robots协议。robots协议对此协议的定义存在歧义。有些资料上说robots是针对搜索引擎爬虫的,有些资料上说所有爬虫都要遵循。本文采取后者。robots协议全称为网络爬...

weixin_39788386的博客 430

远距离长航时低成本泡沫垂直起降固定翼无人机技术详解

该技术通过采用泡沫材料制造无人机机体,并结合高效的垂直起降与固定翼飞行机制,实现了低成本、长航时、远距离的飞行能力。然而,需要注意的是,泡沫材料在强度和耐候性方面可能较传统金属材料有所不足,因此在设计和制造过程中需要采取额外的加固和防护措施。用于森林防火、水域监测、空气质量检测等场景,通过搭载相应的传感器和摄像设备,对大范围区域进行高效、精准的监测。- 增强智能化水平:集成更多先进的传感器、算法和人工智能技术,提升无人机的自主决策能力和作业效率。

专注多旋翼、复合翼无人机技术研究,从事低空经济行业。 1202

python爬取小游戏_如何用Python爬取小游戏网站,把喜欢的游戏收藏起来(附源码)...

简介:Python 是一门简单易学且功能强大的编程语言,无需繁琐的配置,掌握基本语法,了解基本库函数,就可以通过调用海量的现有工具包编写自己的程序,轻松实现批量自动化操作,可以极大提高办公和学习效率。Python爬虫可以批量获取网页上的数据。Python的环境配置1. 代码编辑器 Pycharm community2. 代码解释器 Python 3.7.63. 在Pycharm中创建项目并配置Py...

weixin_39904268的博客 687

【EMC专题】为什么芯片规格书ESD性能中看不到MM(机器放电模型)

器件级ESD包括三种类型,HBM人体放电模型、MM机械放电模型和CDM元件充电模型。但在芯片规格书中为什么只见到HBM模型与CDM模型,却没有看到MM模型的数据?

一点硬件 455

Mstar的Monitor方案OSD 菜单制作(五)——icon绘制

Mstar的Monitor方案(五)————绘制icon

android 系统定制开发那些事 1807

爬虫爬取链接中文字_Python爬虫入门(四):实战,爬取4399小游戏首页

本部分为爬虫入门篇的实战教程,我会用到除了selenium外所有在上文介绍过的模块来编写实例,爬取4399小游戏网站首页上的内容。robots.txtrobots.txt是指存放在网页根目录下的一个文件,广义上也指互联网间的robots协议。robots协议对此协议的定义存在歧义。有些资料上说robots是针对搜索引擎爬虫的,有些资料上说所有爬虫都要遵循。本文采取后者。robots协议全称为网络爬...

weixin_39840235的博客 386

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

python爬取4399小游戏_python爬虫---requests库的用法详解

requests是python实现的简单易用的HTTP库,使用起来比urllib简洁很多因为是第三方库,所以使用前需要cmd安装pip install requests安装完成后import一下,正常则说明可以开始使用了。基本用法:requests.get()用于请求目标网站,类型是一个HTTPresponse类型import requestsresponse = requests.get('ht...

weixin_39713763的博客 985

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

python爬取小游戏_如何用Python爬取小游戏网站,把喜欢的游戏收藏起来(附源码)|python基础教程|python入门|python教程...

https://www.xin3721.com/eschool/pythonxin3721/简介:Python 是一门简单易学且功能强大的编程语言,无需繁琐的配置,掌握基本语法,了解基本库函数,就可以通过调用海量的现有工具包编写自己的程序,轻松实现批量自动化操作,可以极大提高办公和学习效率。Python爬虫可以批量获取网页上的数据。Python的环境配置1. 代码编辑器 Pycharm commu...

weixin_39560604的博客 450

python小游戏百度云资源分享吧_如何用Python爬取小游戏网站,把喜欢的游戏收藏起来(附源码)|简明python教程|python入门|python教程...

https://www.xin3721.com/eschool/pythonxin3721/简介:Python 是一门简单易学且功能强大的编程语言,无需繁琐的配置,掌握基本语法,了解基本库函数,就可以通过调用海量的现有工具包编写自己的程序,轻松实现批量自动化操作,可以极大提高办公和学习效率。Python爬虫可以批量获取网页上的数据。Python的环境配置1. 代码编辑器 Pycharm commu...

weixin_35943736的博客 896

12行python代码爬取网站图片

看了看网上许多爬取图片的教程,觉得很繁琐,这里提供一个简单的代码。 首先,我们打开一个界面的原代码 我们以4399为例 name=“http://imga4.5054399.com/upload_pic/2018/1/11/4399_08593631516.jpg” 其图片格式都为http://imga[数字].[数字].com/upload_pic[数字|“/”].jpg 这样我们写出其正则表达式 init = re.findall(r'(http://imga[0-9]\.[0-9]+\.com/u

naiue的博客 589

一个完整的大作业

目的:爬取4399小游戏网站相关数据,分析受欢迎的小游戏 目的网址:http://www.4399.com/gamehw.htm 手段:利用谷歌浏览器查看源代码并加以分析,用python语言爬取自己需要的数据 下图为4399小游戏首页,我们发现首页有着各种栏目,信息杂乱,爬取此页的数据并不能达到此次目的,观察整个页面选取了“最新好玩游戏列表”的栏目,下面将对进入这个栏目的...

302
上一篇: Python分析淘宝月饼销售数据,五仁月饼王者地位不可动摇!
下一篇: 这张思维导图,终于把Python数据类型的常见方法总结全了
pythonlaodi
博客等级 码龄6年 286粉丝 244原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值