实战1-糗事百科Spider

ESD镜像解密与转换全攻略:从esd-decrypter到WinNTSetup的完整流程 本文详细解析了ESD镜像的加密特性与压缩优势,并提供了从解密到转换的完整实战指南。核心步骤包括使用esd-decrypter工具解密ESD文件为WIM格式,以及如何结合WinNTSetup进行灵活的系统安装或进一步封装为可引导的ISO镜像,帮助用户高效处理官方Windows安装镜像。 阅读详情
  1. 构造基本抓取页面
# -*- coding:utf-8 -*-
import urllib
import urllib2


page = 1
url = 'http://www.qiushibaike.com/hot/page/1'
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
headers = { 'User-Agent' : user_agent }
try:
    request = urllib2.Request(url, headers = headers)
    response = urllib2.urlopen(request)
    print response.read()
except urllib2.URLError, e:
    if hasattr(e,"code"):
        print e.code
    if hasattr(e,"reason"):
        print e.reason

Appear Error

Seem’s magnificent error on it,and I don’t konw what’s they mean….
But if we try to give it a header to be confirmed, just like this

# -*- coding:utf-8 -*-
import urllib
import urllib2


page = 1
url = 'http://www.qiushibaike.com/hot/page/1'
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
headers = { 'User-Agent' : user_agent }
try:
    request = urllib2.Request(url, headers = headers)
    response = urllib2.urlopen(request)
    print response.read()
except urllib2.URLError, e:
    if hasattr(e,"code"):
        print e.code
    if hasattr(e,"reason"):
        print e.reason

Then we’ll get the expect answer.
Expect answer

Then I search the error and found that the error we just need to note the last line.

line 373, in _read_status
raise BadStatusLine(line)
httplib.BadStatusLine: ”

  1. let us find how to get all of the paragraphs in one page.

    1. Firstly, we inspect elements by touch F12, then show the scene like this :
      Inspect Elements

    2. we could see that every paragraph was covered by tag likes

 <div class="article block untagged mb15" id="qiushi_tag_117733401" > ... </div>

3.Now we want to accquire the publisher, publish date, the content of paragraph, and the number of Zan. But we konw show the picture on consoler is unrealistic, so we rule out the paragraph having picture(What’s the fuck?!!).Year, you are right if you also has thought the method regular expression.And we use the re.findall.


And it shows like this:


content = response.read().decode('utf-8')
pattern = re.compile('<div.*?author">.*?<a.*?<img.*?>(.*?)</a>.*?<div.*?'+
                         'content">(.*?)<!--(.*?)-->.*?</div>(.*?)<div class="stats.*?class="number">(.*?)</i>',re.S)
items = re.findall(pattern,content)
for item in items:
    print item[0],item[1],item[2],item[3],item[4]

Now we give some instructions:

现在正则表达式在这里稍作说明
1).? 是一个固定的搭配,.和代表可以匹配任意无限多个字符,加上?表示使用非贪婪模式进行匹配,也就是我们会尽可能短地做匹配,以后我们还会大量用到 .*? 的搭配。
2)(.?)代表一个分组,在这个正则表达式中我们匹配了五个分组,在后面的遍历item中,item[0]就代表第一个(.?)所指代的内容,item[1]就代表第二个(.*?)所指代的内容,以此类推。
3)re.S 标志代表在匹配时为点任意匹配模式,点 . 也可以代表换行符。

OK, next step we will fliter the picture paragraph

and we could find that those picture paragraph tag more same as this, and normal paragraph without it, so the item[3] gotten is null if it did not have the picture.

<img src="http://pic.qiushibaike.com/system/pictures/11772/117723703/medium/app117723703.jpg" alt="糗事#117723703">

img

what else, we do some change for our code:

for item in items:
        haveImg = re.search("img",item[3])
        if not haveImg:
            print item[0],item[1],item[2],item[4]

So far, we get the code is :

# -*- coding:utf-8 -*-
import urllib
import urllib2
import re

page = 1
url = 'http://www.qiushibaike.com/hot/page/' + str(page)
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
headers = { 'User-Agent' : user_agent }
try:
    request = urllib2.Request(url,headers = headers)
    response = urllib2.urlopen(request)
    content = response.read().decode('utf-8')
    pattern = re.compile('<div class="<div.*?clearfix">.*?<h2>(.*?)</h2>.*?"content">(.*?)</div>.*?number">(.*?)</.*?number">(.*?)</.',re.S)
    items = re.findall(pattern,content)
    for item in items:
            print item[0],item[1],item[2],item[3]
except urllib2.URLError, e:
    if hasattr(e,"code"):
        print e.code
    if hasattr(e,"reason"):
        print e.reason

Now, just run it.

时间序列数据预测——15种时序大模型 本文综述了时间序列大模型(TSFM)的最新进展,系统介绍了11种主流模型(如TimeGPT、Lag-Llama、Moirai等)的架构特点、训练数据和创新点,并对比分析了它们在单变量/多变量预测、概率预测等功能上的差异。研究表明,基于"大规模预训练-微调/零样本"范式的TSFM在标准数据集(如M4、ETT)上展现出优于传统方法的性能,Time-MoE等模型更达到SOTA水平。但TSFM仍面临计算成本高、可解释性差等挑战,未来发展方向包括轻量级架构、多模态融合和可解释性增强。 阅读详情

相关推荐

记录rk3588 在Linux 6.1内核版本声卡 bug。

rk3588 Audio bug

Yongheng6的博客 856

探索智能爬虫新境界:`spider_baike`项目详解

探索智能爬虫新境界:spider_baike项目详解 项目简介 在大数据时代,高效、精准的数据采集是许多企业和开发者的重要需求。spider_baike是一个开源的Python爬虫项目,主要目标是从百度百科抓取信息并进行数据处理。通过这个项目,开发者可以学习到如何构建一个高效且稳定的网络爬虫系统,并将其应用到更广泛的领域。 技术分析 spider_baike采用了以下核心技术: Scrapy框...

gitblog_00017的博客 526

汽车电子开发必看:AUTOSAR MCAL层SPI驱动配置全解析(基于EB tresos)

本文深入解析了AUTOSAR MCAL层SPI驱动的核心配置,基于EB tresos工具详细阐述了通道、外部设备、作业与序列等关键概念。重点剖析了多设备共享总线时的资源管理与实时性调优策略,特别是SpiJobPriority参数的决定性影响,并提供了常见配置陷阱的实战排查指南,旨在帮助汽车电子工程师高效完成SPI驱动配置。

weixin_29188043的博客 293

5 使用ip代理池爬取糗事百科

从09年读本科开始学计算机以来,一直在迷茫中度过,很想学些东西,做些事情,却往往陷进一些技术细节而蹉跎时光。直到最近几个月,才明白程序员的意义并不是要搞清楚所有代码细节,而是要有更宏高的方向,要有更专注的目标。我高中的时候,数学很好,总是满分。高考低了些,135。我有个特点就是,什么题目,不算个三四遍不死心。这就是一种完美主义和自我强迫。导致我很多事情落下进度。本该写论文的时候,我却疯一样去看代码...

weixin_30563917的博客 235

AI辅助专利撰写实战:用Codex 30分钟生成发明专利初稿

这次我们来看一个用 Codex 从零开始撰写发明专利的实战项目。对于技术研发人员、产品经理或初创团队来说,专利申请是保护创新成果、构建技术壁垒的关键一步。然而,撰写一份高质量的专利申请书,尤其是权利要求书和说明书,往往需要专业的法律和技术语言,耗时耗力。这个项目演示了如何利用 AI 工具 Codex,在短时间内生成一份结构完整、逻辑清晰、具备授权潜力的专利申请文件初稿。 整个过程的核心不是让 AI 完全替代专利代理人,而是将其作为强大的“技术翻译”和“内容生成”助手。它能将你的技术构思、流程图、核心算法或产

weixin_32181267的博客 421

万字长文,小白新手怎么开始做YOLO实验,从零开始教!整体思路在这里,科研指南针!

万字长文,小白新手怎么开始做YOLO实验,从零开始教!整体思路在这里,科研指南针!

Coding... 1万+

网络爬虫第五章之Scrapy框架

第一节:Scrapy框架架构 Scrapy框架介绍 写一个爬虫,需要做很多的事情。比如:发送网络请求、数据解析、数据存储、反反爬虫机制(更换ip代理、设置请求头等)、异步请求等。这些工作如果每次都要自己从零开始写的话,比较浪费时间。因此Scrapy把一些基础的东西封装好了,在他上面写爬虫可以变的更加的高效(爬取效率和开发效率)。因此真正在公司里,一些上了量的爬虫,都是使用Scra...

weixin_30284355的博客 259

一条 POST 创建整棵业务对象树,SAP Gateway Deep Create 的运行机制与 ABAP 实现

SAPUI5 的 OData V2 Model 支持 Deep Create,可以为一个新建的 transient parent context 创建 Navigation Property 下的 subentity,并把这些子实体的数据合并进 Root Entity 对应的 OData 请求 Payload。销售组织是否合法,客户是否允许下单,物料是否存在,销售区域是否匹配,计量单位是否正确,项目类别如何确定,定价是否成功,合作伙伴如何派生,交货工厂如何确定,这些都可能在一次创建过程中被触发。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 149

python丨Spider类爬取糗事百科

安装 pip install pypiwin32 pip installTwisted-18.7.0-cp36-cp36m-win_amd64.whl pip install scrapy 创建和运行项目 scrapy startproject qsbk #创建项目 scrapy genspider qsbk_spider "qiushibaike.com" #创建爬虫 ...

人生苦短, 还不用Python? 787

yocto系列讲解[实战篇]54 - 添加Qt5和生成带Qt5的SDK

为了满足读者盆友想看yocto如何添加qt5的需求,今天就开始尝试添加meta-qt5

fulinux的博客 3873

固定效应模型-以stata为工具

固定效应模型(Fixed Effects Model)是一种面板数据分析方法,通过引入个体固定效应来控制个体间的异质性,并更准确地估计解释变量对因变量的影响。它在许多经济、社会科学和健康研究中被广泛应用。

侯小啾技术博客 2840

scrapy实战糗事百科,看看段友们的傻叼经过

絮叨一下 这篇博客主要就是爬取糗事百科的所有段子一共10页 然后保存成txt格式文件 新建项目 项目名称:qsbk scrapy startproject qsbk 新建爬虫 爬虫名称:qsbk_spider scrapy genspider qsbk_spider 'qiushibaike.com' pycharm打开 qsbk_spider.py # -*- coding: utf-8 -*- import scrapy from qsbk.items import QsbkItem

m0_48486617的博客 772

图解ADAS电源系统架构:看懂这张图,搞懂前装摄像头的供电秘密!

别以为ADAS系统就是“摄像头 + SoC”,其实最难搞的是供电系统,尤其是要满足车规级ASIL-D安全等级时。供电时序、电压稳定性、电源监控、冗余通信链路,一个都不能少。😤一旦电源选型不对,轻则系统卡顿,重则全车失控,不是闹着玩的。

weixin_43199439的博客 677

爬虫项目实战一:基于Scrapy+MongDB爬取并存储糗事百科用户信息

爬虫项目实战一:基于Scrapy+MongDB爬取并存储糗事百科用户信息一、前言二、项目目标三、项目的环境配置四、项目实现1. 创建QSBK项目2. 实现Spider1. 实现一页网页上的内容提取2. 实现翻页3. 实现items4. 设置pipelins用MongoDB存储数据五、项目总结1. 项目优点2. 项目不足六、一些这个项目相关的知识总结 一、前言 做这个小项目的初衷就是帮助自己初步掌握...

Jock2018的博客 1176

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

爬取糗事百科的spider

个人一直对网络爬虫感兴趣,最近使用python的flask框架开发了一个小型网站(有待改进)以及最近在学习深度学习的开源框架caffe,caffe提供了python接口。借此机会学习了一下python以及利用python开发爬虫。希望后面能够利用自己写的爬虫,爬取一些数据集用于caffe训练。 代码如下: __author__ = 'JWL' # -*- coding:utf-8 -*- im

jasonjwl的专栏 506

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

Spider—糗事百科段子爬取

说明:无意滋生事端,仅学习分享,如有侵权,立即删除 import requests import json class QiushibaikeSpider(): def __init__(self): self.url='https://www.qiushibaike.com/text/?page={}' self.headers = { ...

Norni的博客 124

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

Python网络爬虫实战19:爬取糗事百科网站

1. 网页源码 2. 代码实例 # coding:utf-8 import requests import re '''第一步:获取数据''' class Spider: """ 糗事百科爬虫类 """ def loadPage(self, page): """ @brief 定义一个url请求网页的方法 @param page需要请求的第几页 @...

简时刻的博客 582

继承scrapy.Spider类的糗事百科爬虫和CrawlsSpider类爬虫

response是一个<class 'scrapy.http.response.html.HtmlResponse'>对象,可以执行‘xpath’和‘css语法来提取元素’ 提取出来的数据是一个‘SelectorList’或者是一个‘Selector’对象,如果想要获取其中的字符串,那么应该执行getall或者get方法 getall方法:获取selector中的所有文本,返回的是一...

陌路~ 558

Python爬虫实战之爬取糗事百科段子

Python爬虫实战之爬取糗事百科段子完整代码地址:Python爬虫实战之爬取糗事百科段子程序代码详解: Spider1-qiushibaike.py:爬取糗事百科的8小时最新页的段子。包含的信息有作者名称,觉得好笑人数,评论人数,发布的内容。如果发布的内容中含有图片的话,则过滤图片,内容依然显示出来。 Spider2-qiushibaike.py:在Spider1-qiushibaike.py基础

http://www.54tianzhisheng.cn/ 3212

新手学习爬虫之创建第一个完整的scrapy工程-糗事百科

创建第一个scrapy工程-糗事百科 最近不少小伙伴儿,问我关于scrapy如何设置headers的问题,时间久了不怎么用,还真有的忘,全靠记忆去写了,为了方便大家参考,也方便我以后的查阅,这篇文章就诞生了。本章内容从实战出发让我们熟悉如何用scrapy写爬虫,本篇内容主要是实战,不讲述过多的理论性东西,因为讲多了我也不知道。???? 明确目标 首先,我们要明确我们的爬虫最终的目...

dianyin7770的博客 154

使用scrapy抓取糗事百科

先scrapy startapp tut01 scrapy genspider qsbk www.qsbk.com qsbk.py # -*- coding: utf-8 -*- import scrapy QSBK_HOST = u"http://www.qiushibaike.com" COUNT = 0 def debug(msg): scrapy.log.msg(msg.dec

davidsu33的专栏 1036

糗事百科Spider代码优化

实现符合对象的特征,进行封装#!/usr/bin/env python # -*- coding: utf-8 -*-import urllib import urllib2 import re import thread import timeclass QSBK: def __init__(self): self.pageIndex = 1 self.use

ReZero's Blog 340

小白和SPIDER

网 络 爬 虫? -模拟客户端(浏览器,电脑和手机APP)发送请求并获取响应 按照规则提取数据 -自动批量采集网络资源 关于我对写爬虫的讨论 url (知道url地址的规律和页码数:构造url地址的列表,或者start_url) 发送请求,获取响应 (requests) 提取数据 (返回json字符串用json,返回html用lxml和xpath 保存 HTTP?HTTPS? -HTTP是...

kininee的博客 356

python_spider 05 RE,正则表达式实战

我们要爬取的网站链接是 https://www.qiushibaike.com/text/page/1/ 。 糗事百科 我们要爬取的是里面的糗事,在之前的文章中我们已经可以爬取整个 url 链接里的 html 内容,那么我们就可以根据爬取到的 html 代码,再通过 re 模块匹配我们想要的内容即可。 我们通过调用开发者工具检查 HTML 元素发现我们想要的内容在 … 内,根据这个我们可...

shawn_fung的博客 188

21天打造分布式爬虫-Spider类爬取糗事百科(七)

7.1.糗事百科 安装 pip install pypiwin32 pip install Twisted-18.7.0-cp36-cp36m-win_amd64.whl pip install scrapy 创建和运行项目 scrapy startproject qsbk #创建项目 scrapy genspider qsbk_spider "qiushibaike.c...

weixin_33936401的博客 113

Python 爬虫学习 | 糗事百科小爬虫

关于糗事百科的一个爬虫,模仿他人代码而成。

画心 647
上一篇: 爬虫学习
下一篇: Spider百度贴吧帖子
ReZerou
博客等级 码龄10年 19粉丝 119原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值