from bs4 import BeautifulSoup as bs
import requests,json,time
file = open("duanzi.json", "a")
def crawl_html(num):
headers={"User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:69.0) Gecko/20100101 Firefox/69.0"}
html=requests.get("http://www.lovehhy.net/Joke/Detail/QSBK/"+str(num),headers=headers)
html.encoding='gbk'
return html.text
def parse_html(html):
content=[]
html=bs(html,'lxml')
x=html.find('div',id='footzoon')
text=x.find_all(id="endtext")
title=x.find_all(target=True)
time=[i for i in x.contents if i not in x.find_all()]
for i in range(len(time)):
content.append({'title':title[i],'time':time[i],'text':text[i]})
return content
def save_html(data):
with open('duanzi.json','ab+') as file:
file.write(str(data).encode())
def main():
for num in range(1, 5):
html=crawl_html(num)
data=parse_html(html)
save_html(data)
if __name__=='__main__':
main()
相关推荐
【python爬虫 系列】15.实战五 爬取笑话大全
BeautifulSoup4是爬虫必学的技能。BeautifulSoup最主要的功能是从网页抓取数据,Beautiful Soup自动将输入文档转换为Unicode编码,输出文档转换为utf-8编码。BeautifulSoup支持Python标准库中的HTML解析器,还支持一些第三方的解析器,如果我们不安装它,则 Python 会使用 Python默认的解析器,lxml 解析器更加强大,速度更快,推荐使用lxml 解析器。 爬取笑话大全: 冷笑话的页面: 1.寻找url规律: http://xiaohua.zol.com.cn/lengxiaohua/1.html http://xiaohua
【python实现网络爬虫(8)】requests+bs4实现笑话大全数据爬取
这里就直接给代码和输出结果 import re import requests from bs4 import BeautifulSoup def get_url(n): lst = [] for i in range(n): ui = f"http://xiaohua.zol.com.cn/lengxiaohua/{i}.html" lst.append(ui) return ...
【20230415】Ubuntu22.04双屏显示触屏设置,解决触摸点和响应位置不一致的问题
双屏显示时,如果存在一个触摸屏,有可能会出现触摸点和响应位置不一致的问题。我的显示器配置如下:一个34寸,3440*1440;一个22英寸触摸屏,1920*1080。
【python实现网络爬虫(3)】最简单的网络爬虫(笑话大全网冷笑话标题爬取)
爬取笑话网 笑话大全网址,找到笑话分类,选择冷笑话 窥探网页细节 首先、观察翻页之后URL的变化 第一页的URL:http://xiaohua.zol.com.cn/lengxiaohua/ 第二页的URL:http://xiaohua.zol.com.cn/lengxiaohua/2.html 第三页的URL:http://xiaohua.zol.com.cn/lengxiaohua/3.ht...
基于ROS与Gazebo的多机器人三角形编队仿真实践
本文详细介绍了基于ROS与Gazebo的多机器人三角形编队仿真实践,从环境搭建到编队控制的全过程。通过TurtleBot3机器人模型和TF坐标系系统,实现三个机器人的三角形编队控制,适用于机器人协同作业与编队算法研究。
COMSOL后处理与可视化
公众号→【COMSOL仿真交流】←更多精彩内容 后处理是采用COMSOL建模的一个重要环节。通过软件自带的可视化工具,可以快速方便的展现仿真结果。 COMSOL为使用者提供了多种后处理工具,包括表面图、切面图、等值线图、流线图、线图、体图等等。可按功能分为数据集(储存数据的地方)、派生值和表单(对数据进行进一步的操作)、绘图组合绘图类型(显示数据结果的地方)、导出数据与生成报告。 如果想用origin、matlab对模拟数据做进一步的处理,导出excel格式的模拟结果,这可以通过“导出
python爬虫经典段子_Python爬虫实战之爬取糗事百科段子
首先,糗事百科大家都听说过吧?糗友们发的搞笑的段子一抓一大把,这次我们尝试一下用爬虫把他们抓取下来。友情提示糗事百科在前一段时间进行了改版,导致之前的代码没法用了,会导致无法输出和CPU占用过高的情况,是因为正则表达式没有匹配到的缘故。现在,博主已经对程序进行了重新修改,代码亲测可用,包括截图和说明,之前一直在忙所以没有及时更新,望大家海涵!糗事百科又又又又改版了,博主已经没心再去一次次匹配它了,...
硅传CC1310二次开发必备:手把手教你用JTAG解锁被锁定的Flash存储器
本文针对硅传CC1310模块二次开发中常见的Flash锁定问题,提供了从原理剖析到实战操作的完整解决方案。详细介绍了如何使用Uniflash和Flash Programmer 2等工具进行Flash解锁和擦除,并强调了硬件连接稳定性与供电质量的关键作用,帮助开发者彻底解决烧录障碍,为后续应用开发铺平道路。
python爬虫实践之爬取笑话段子
目录 概述 准备 所需模块 涉及知识点 运行效果 完成爬虫 1. 分析网页 2. 爬虫代码 概述 爬取笑话段子。 准备 所需模块 re requests lxml 涉及知识点 python基础 requests模块基础 re模块基础 xpath表达式基础 运行效果 控制台打印: 完成爬虫 1. 分析网页 打开笑话大全,按F12分析网页 第一页的U...
【小白深度教程 1.3】使用 BP-Net 深度补全网络,进行 KITTI 稠密点云和图像融合(Depth Completion 实战)
在上一节中,我们展示了如何将从激光雷达获取的稀疏点云(深度)映射到图像。因此这篇论文我们尝试使用 Depth Completion(深度补全)技术,来将稀释的点云深度,补全为稠密深度。
【RT-DETR涨点改进】全网独家首发Conv改进篇 | SCI一区 2025 | RT-DETR引入轻量级CGHalfConv通道分组半卷积模块,含多种创新改进、有效提升检测精度
本文介绍引入 GC Half-convolution 模块可以显著提升 RT-DETR 在资源受限环境下的性能。该模块通过通道分组与半卷积结合,有效减少了参数量与计算量,增强了模型对不同尺度和复杂背景下目标的特征提取能力。在保持模型轻量化的同时,GC Half-convolution 能够更细致地区分目标的边缘纹理、颜色、结构等关键信息,从而提升检测精度。特别是在面对小目标、多类别、形态相近的目标时,该模块能提取更具判别性的局部与全局特征,优化 RT-DETR 的检测效果,并加快推理速度。
Python利用Beautifulsoup爬取笑话网站
利用Beautifulsoup爬取知名笑话网站 首先我们来看看需要爬取的网站:http://xiaohua.zol.com.cn/ 1.开始前准备 1.1 python3,本篇博客内容采用python3来写,如果电脑上没有安装python3请先安装python3. 1.2 Request库,urllib的升级版本打包了全部功能并简化了使用方法。下载方法...
【WRF-Chem教程-附录B】使用 MOZART 与WRF-Chem
使用MOZART与WRF-Chem
Python爬取笑话存储在mysql里
爬取思路:爬取http://www.jokeji.cn/,得到一个html页面,分析此html页面,获得分类框里的所有分类的url地址,遍历每一个分类的url,爬取分类url的html网页,分析分类url网页,得到全部笑话网页列表,遍历笑话网页列表url,得到最终的包含一个一个笑话的html页面,获取笑话,存储到mysql数据库。 爬取我用的是Google浏览器,在这个网站下按F12就可以看到网页...
基于matlab的图像HOG特征提取算法仿真
方向梯度直方图(Histogram of Oriented Gradient, HOG)特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。它通过计算和统计图像局部区域的梯度方向直方图来构成特征。Hog特征结合SVM分类器已经被广泛应用于图像识别中,尤其在行人检测中获得了极大的成功。需要提醒的是,HOG+SVM进行行人检测的方法是法国研究人员Dalal在2005的CVPR上提出的,而如今虽然有很多行人检测算法不断提出,但基本都是以HOG+SVM的思路为主。
精雕软件(JDpaint) 5.5 绿色版
精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版
python爬虫自学网站_python爬虫学习 爬取幽默笑话网站
这篇文章主要介绍了python爬虫爬取幽默笑话网站,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 爬取网站为:http://xiaohua.zol.com.cn/youmo/查看网页机构,爬取笑话内容时存在如下问题:1、每页需要进入“查看更多”链接下面网页进行进一步爬取内容每页查看更多链接内容比较多,多任务进行,这里采用线程池的方式,可以有效地...
IEM模型,地表粗糙度模拟
利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟
python爬虫- 爬取幽默笑话网站,带你一起笑翻天
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理 以下文章来源于腾讯云 作者:python学习教程 ( 想要学习Python?Python学习交流群:1039649593,满足你的需求,资料都已经上传群文件流,可以自行下载!还有海量最新2020python学习资料。 ) 这篇文章主要介绍了python爬虫爬取幽默笑话网站,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 爬取网站为:htt
文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况
主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。
【python】爬取笑话数据
最近想要一些有关笑话的数据,于是把目标放在了“笑掉大牙”这个网站上。 一、分析 我们先进入网站首页,可以发现有很多分类 我们依次打开这些分类,可以发现结构都是一样的,这样很利于我们爬取数据。 每一个分类都列有很多标题,这些标题也很有规律,分别在class为line1和line2的div标签里 我们随便打开一个标题进入查看内容。可以发现这些内容都在一个class为content的div里 二、代...
PYTHON爬取笑话
import osWin64;
Python爬虫练习:爬取笑话大全
前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。 作者:分享儿 代码 import request from bs4 import BeautifulSoup headers={ 'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Saf.
Silvaco和Sentaurus实战:新手也能跑通的NPN三极管TCAD仿真
半导体器件开发中,TCAD仿真已成为PDK、功率器件和存储单元设计不可或缺的工具。其核心原理是通过虚拟流片模拟工艺制造与电学行为,帮助工程师在流片前预测器件性能。从基础的NPN三极管结构入手,理解发射区、基区、集电区的掺杂分布与电极设置,是掌握Sentaurus和Silvaco等主流TCAD工具的关键。本文以均匀掺杂模型为例,逐步演示Silvaco Atlas和Sentaurus SDEVICE的完整仿真流程,涵盖网格划分、掺杂定义、物理模型配置及常见收敛问题排查。无论你是刚接触TCAD的新手,还是想快速验
Python爬虫(前言):有趣的一个爬虫实例(爬取段子,笑话,情感句子)
这次准备介绍Python爬虫爬取网页数据、解析并应用于实践,打算写几篇文章,从最基础的Python爬虫语法开始介绍爬虫,步步深入,最终实现一个较完整的实例。 这一系列文章包括: request库介绍及应用。 beautifulsoup库介绍及应用。 正则表达式匹配及应用。 对话机器人实例。 tkinter库制作界面以及Python程序打包成可执行exe文件 本篇文章主要给出我最后做出...
python最简洁!最简单!爬取糗百笑话内容!(有详细说明)
python最简洁!最简单!爬取糗百笑话内容! 最近突然想起了半年前上python实验课的时候老师布置的实验内容,爬取糗百笑话,印象非常深刻,当时只学了关于爬虫最基本的内容,虽然自己很感兴趣,但仅仅简单了解了相关库的基本的使用方法,根本无从下手(当时看了两个多小时的代码,全程懵逼,还记得当时连替换requests请求的headers都要百度),所谓说,老师领进门,修行靠自己,现在就弥补以下当时的遗...
python爬虫——爬取糗事百科笑话
贴一个很基础的爬取糗事百科笑话的爬虫,用到了selenium库。(来源:程序媛)#-*- coding: utf-8 -*- from selenium import webdriver import time driver = webdriver.Firefox() #打开浏览器 获取网址 driver.get('https://www.qiushibaike.com/') time.sle...
python之多线程爬取笑话
from bs4 import BeautifulSoup as bs import requests,json,time file = open("duanzi.json", "a") def crawl_html(num): headers={"User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:69.0) Gecko/20...
1141



被折叠的 条评论
为什么被折叠?



