有了URL,搜集系统就可以按照URL标识抓取其所对应的网页,网页信息保存在Page类中。
下面是Page类的定义,对应文件Page.h。
class CPage
{
public:
string m_sUrl;
// 网页头信息
string m_sHeader;
int m_nLenHeader;
int m_nStatusCode;
int m_nContentLength;
string m_sLocation;
bool m_bConnectionState; // 如果连接关闭,是false,否则为true
string m_sContentEncoding;
string m_sContentType;
string m_sCharset; " 36 "
string m_sTransferEncoding;
// 网页体信息
string m_sContent;
int m_nLenContent;
string m_sContentNoTags;
// link, in a lash-up state
string m_sContentLinkInfo;
// 为搜索引擎准备的链接,in a lash-up state
string m_sLinkInfo4SE;
int m_nLenLinkInfo4SE;
// 为历史存档准备的链接, in a lash-up state
string m_sLinkInfo4History;
int m_nLenLinkInfo4History;
//为搜索准备的链接,in a good state
RefLink4SE m_RefLink4SE[MAX_URL_REFERENCES];
int m_nRefLink4SENum;
//为历史存档准备的链接, in a good state
RefLink4History m_RefLink4History[MAX_URL_REFERENCES/2];
int m_nRefLink4HistoryNum;
map<string,string>m_mapLink4SE;
vector<string >m_vecLink4History;
enum page_type m_eType; // 网页类型
public:
CPage();
CPage::CPage(string strUrl, string strLocation, char* header, char*body, int nLenBody);
~CPage(); " 37 "
void ParseHeaderInfo(string header); // 解析网页头信息
bool ParseHyperLinks(); // 从网页体中解析链接信息
bool NormalizeUrl(string& strUrl);
bool IsFilterLink(string plink);
private:
// 解析网页头信息
void GetStatusCode(string header);
void GetContentLength(string header);
void GetConnectionState(string header);
void GetLocation(string header);
void GetCharset(string header);
void GetContentEncoding(string header);
void GetContentType(string header);
void GetTransferEncoding(string header);
// 从网页体中解析链接信息
bool GetContentLinkInfo();
bool GetLinkInfo4SE();
bool GetLinkInfo4History();
bool FindRefLink4SE();
bool FindRefLink4History();
};
Page类的具体实现请参看Page.cpp文件。一个网页是以URL作为标识的,所以Page类的第一个成员变量是m_sUrl。Page类主要完成两个任务:解析网页头信息和提取链接信息。
解析网页头信息包括获得状态码m_nStatusCode,网页体长度m_nContentLength(内容字节数),转向信息m_sLocation,连接状态(如果没有关闭,下次请求同一个网站可以重新利用已经建立好的socket,节约资源),网页体编码m_sContentEncoding(如果是gzip编码,要解压缩,然后提取链接信息。现在门户网站的首页有增大趋势,为了加快传输速度,通常采用gzip编码压缩后传输),网页类型m_sContentType,网页体字符集m_sCharset,和传输编码方式m_sTransferEncoding。
提取链接信息,是从获得的网页体中,根据HTML的规定,提取出链接信息
和相应的链接描述信息,形成网页结构库,扩充URL库。在TSE中对于网页内容的链接提取区分了为搜索引擎提取和为历史网页存档提取两种。因为对于通常意义下的搜索引擎而言,图片链接,网页格式链接是没有用处的,如果不区分开,会增加程序运行的负担,增加存储空间。而且区分开后,可以单独保存下来,便于以后单独搜集这些信息。
相关推荐
AT30TSE75x集成方案:嵌入式系统温度监测与数据存储的硬件与驱动实战
在嵌入式系统开发中,I2C总线通信协议是实现微控制器与外围器件通信的基石,其通过简单的双线制(SDA、SCL)和主从架构,高效管理总线上的多设备。基于此协议的数字传感器和存储器,如温度传感器和EEPROM,常被用于环境监测与参数保存。通过将高精度温度传感与非易失性存储集成于单芯片,该方案能显著优化PCB布局、降低BOM成本并简化软件驱动,其技术价值在于为空间与成本敏感的应用提供了高度可靠的“感知+存储”一体化解决方案。这一设计思路尤其适用于智能家居、工业传感节点、便携医疗设备及服务器监控等场景,其中AT30
Page类介绍
<br />page类介绍:代码页面分离模式:partial表示此类的定义是不完整的,还有一部分在别的文件夹。<br />page类的生命周期:(1)页请求:页请求发生在页生命周期开始之前,用户请求页时,ASP.NET将确定是否需要 分析和编译页(从而开始页的生命周期)。<br /> (2)开始:在开始阶段,将设置页属性,如Request和Response。在此阶段,页还将确定请
[逆向实战] 淘宝x5sec滑条验证码slidedata参数逆向与自动化过码方案
本文详细解析了淘宝x5sec滑条验证码的核心参数slidedata的生成机制与逆向过程,提供了Python自动化过码方案。通过分析滑动轨迹加密流程、还原AES加密算法,并设计人类行为模拟轨迹,帮助开发者有效绕过淘宝滑块验证,适用于爬虫开发与自动化测试场景。
自定义分页类
//1.首先定义一个分页类 class page{ //总记录条数 private $total; //每页显示记录条数 private $nums; //共有多少页 private $pages; //当前是那一页 private $cpa
【AI生成PPT】使用ChatGPT+Overleaf自动生成学术论文PPT演示文稿
本文介绍了一种利用ChatGPT、Beamer和LaTeX自动生成学术论文PPT演示文稿的高效方法。通过Beamer的演示文稿文档类和Overleaf的云端LaTeX协作平台,用户可以在10分钟内完成专业排版。核心流程包括从arXiv获取论文源码,使用ChatGPT生成Beamer代码,并在Overleaf上编译生成PDF格式的PPT。生成的PPT包含标题页、研究背景、方法、实验等完整章节,排版简洁专业。该方法显著提升了效率,完美支持公式、算法和参考文献引用,适用于学生和研究人员快速制作学术汇报或会议演示文
从零构建虚幻引擎体积云:参数调优与性能平衡的艺术
本文深入探讨了在虚幻引擎中构建逼真体积云系统的关键技术,包括Sky Atmosphere、Volumetric Cloud和Exponential Height Fog三大核心组件的协同工作。重点解析了体积云材质的高级控制、光照阴影的物理模拟以及性能优化策略,帮助开发者在视觉效果与性能之间找到最佳平衡点。
实现自定义page基类时需要注意的地方
自定义Page集类可以带来很多好处,如统一处理Cookie,安全性,参数等。不过在继承System.Web.UI.Page实现自己的 BasePage时需要注意一点:谨慎的处理构造器(Constructor)中涉及的代码。如果疏忽了这点,可能会导致你在Vs.Net中无法所见即所 得的编辑Aspx页面,打开页面时将抛出以下错误,你只能看到Html代码界面。 导致这一错误的最大可能的原因就
CIC-IDS数据集特征介绍
###1、简介 通信安全机构(CSE)与加拿大网络安全研究所(CIC)合作项目,该项目对自1998年以来现有的11个数据集的评估表明,大多数数据集(比如经典的KDDCUP99,NSLKDD等)已经过时且不可靠。其中一些数据集缺乏流量多样性和容量,一些数据集没有涵盖各种已知的攻击,而另一些数据集将数据包有效载荷数据匿名化,这不能反映当前的趋势。有些还缺少特征集和元数据。 CIC-IDS-2017数据集包含良性和最新的常见攻击,类似真实世界数据(PCAPs)。 它的数据采集截至2017...
php中怎么定义page,css @page的使用与定义详解
语法:page : auto | pagetype参数:auto : 参照当前的默认页面pagetype : 指定@page规则里的一个页面类型(pagetype)定义说明:检索或指定显示对象容器时使用的页面类型(pagetype)。参阅@page规则。对应的脚本特性为page。请参阅我编写的其他书目。示例:@page doublepage { size: 8.5in 11in; page-b...
通过轻量级图像增强Transformer (IAT) 提升YOLOv8在低光环境下的检测性能
随着深度学习和计算机视觉的快速发展,目标检测模型在各个领域中的应用不断扩展,特别是在低照度环境下的视觉任务。YOLOv8作为当前最先进的目标检测模型之一,在高亮度和良好照明条件下表现出色,但在低照度环境下的性能存在一定的不足。为了解决这一问题,我们提出了一种轻量级的低照度图像增强网络(IAT)来改进YOLOv8的暗光检测能力。本篇文章将深入探讨这一创新改进,并附带代码实现,帮助大家更好地理解这一技术的应用和效果。
运行codex时出现登录失败:failed to start login server: 以一种访问权限不允许的方式做了一个访问套接字的尝试。 (os error 10013) 解决方案
本文主要介绍了运行codex时出现登录失败:failed to start login server: 以一种访问权限不允许的方式做了一个访问套接字的尝试。 (os error 10013) 解决方案,希望能对使用xx的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
搜索引擎学习笔记——定义URL类和Page类
1、定义URL类 TSE程序首先必须要做的一件事是根据一个给定的URL,组成消息体,发送给该URL指向的服务器。为此,定义Url类。下面是URL类的定义,对应文件Url.h。 enum url_scheme{ SCHEME_HTTP, SCHEME_FTP, SCHEME_INVALID};class CUrl{public: string
《网络安全自学教程》- OSI七层模型分层及作用,数据封装与解封过程,数据传输过程。
OSI分哪七层,每层的作用是什么,解释数据在七层模型中是怎样传输的,封包和解封过程,数据包在每一层是怎么封装和解封的。
TSE中提取HTML中链接的方法
TSE中提取html中链接 uri 采用的是Lex分析 TSE中和lex相关的是hlink.l和uri.l 其中 uri.l是用来处理一个提取出的uri ,hlink.l是用来提取html中链接的。
pscad IEEE标准系统搭建说明
pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。
廖雪峰Python教程[完整版]
廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白
NSIS例子-TSE3.6.2脚本
; 安装程序初始定义常量!define PRODUCT_NAME "TSE"!define PRODUCT_VERSION "3.6.2"!define PRODUCT_PUBLISHER "ThinkIT"!define PRODUCT_WEB_SITE "http://www.thinkit.com.cn"!define PRODUCT_DIR_REGKEY "Software/Microso
win10 跳过U8环境检测的IE WebControls.rar
win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。
如何对接日本股票(TSE)实时数据 API
日本股市创历史新高,东京证交所(TSE)热度飙升。本文详解如何通过StockTV全球金融API,快速接入日本股票实时行情、历史K线(1分钟至月线)、日经225指数及AI技术分析,支持REST/WebSocket,毫秒级响应,助开发者一键构建专业交易工具。
Devexpress16.2.6破解工具
Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具
TSE代码爬取流程分析
开始是main函数,在main.cpp如果控制台参数是1个,就进行搜索:CSearch iSearch; iSearch.DoSearch(); 如果控制台参数是2个,就运行网络爬虫:CCrawl iCrawl(argv[2], "visited.all"); iCrawl.DoCrawl();其中 argv[2]是inputfile visited.all是out
【北大天网搜索引擎TSE学习笔记】第11节——倒排索引等数据文件的建立(预处理子系统)
前面的章节详细的介绍了查询服务子系统,可以发现查询服务子系统是基于一些”数据文件“实现查询功能的,这些”数据文件“在第2节中介绍过,包括:词典文件(words.dict)、原始网页数据库文件(Tianwang.raw.2559638448)、网页索引文件(Doc.idx)、URL索引文件(Url.idx.sort_uniq)、倒排索引文件(sun.iidx),其中words.dict是已经有的、T
北大天网搜索引擎TSE分析及完全注释[2]路过查询处理程序
由上一篇文章[原]自顶向下学搜索引擎——北大天网搜索引擎TSE分析及完全注释[1]寻找搜索引擎入口 我们可以知道整个程序是从TSESearch.cpp 中的main函数开始的我们重点一下这段代码 //TSESearch.cpp CQuery iQuery; iQuery.GetInputs(); //具体程序开始执行 // current query & result page numb
搜索引擎——原理技术与系统第三章
从本章开始的连续三章,我们讲解一个完整的搜索引擎TSE(Tiny Search Engine)的实现,编程语言采用C++,代码可以在[TSE,2004]下载。TSE包括三段式工作流程,分别对应本章的Web信息的搜集,第四章搜集信息的预处理和第五章的信息查询服务。 超文本传输协议(Hypertext Transfer Protocol, HTTP)1是Web的基础协议。为了本章的完整,首先对HTT
MCP 2.0生产部署安全熵值评估模型(独家):用3个量化指标预判协议层侧信道泄露风险——仅限首批200位架构师获取
首创MCP 2.0生产部署安全熵值评估模型,精准预判协议层侧信道泄露风险。基于MCP 2.0协议安全规范生产环境部署实践,融合时序抖动、密钥熵密度、信道噪声比3个量化指标,支持自动化风险评级。适用于金融与IoT高敏场景,显著提升上线前安全验证效率,值得收藏。
226



被折叠的 条评论
为什么被折叠?



