private void GetItemList(int task_ID, List<CrawlerResult> arrayList, string group_url)
{
MatchCollection matchList;
MatchCollection tempMatch;
DownWebFile df = new DownWebFile();
var _html = df.GetPageData(group_url, "utf-8");
Regex regExtractHtml = new Regex(@"<table class=""olt"">[\s\S]+?</table>", RegexOptions.None);
Regex regLi = new Regex(@"<tr class="""">[\s\S]+?</tr>", RegexOptions.None);
Regex regexTitle = new Regex(@"<td class=""title"">[\s\S]+?</td>", RegexOptions.None);
Regex regexHref = new Regex(@"<a [^>]+?>[\s\S]+?</a>", RegexOptions.None);
Regex regexAuthor = new Regex(@"<td nowrap=""nowrap"">[\s\S]+?</td>", RegexOptions.None);
matchList = regExtractHtml.Matches(_html);
if (matchList.Count < 1) return;
var _contentHtml = matchList[0].Value;
matchList = regLi.Matches(_contentHtml);
for (int i = 0; i < matchList.Count; i++)
{
var _text = matchList[i].Value;
CrawlerResult item = new CrawlerResult();
item.Task_ID = task_ID;
tempMatch = regexTitle.Matches(_text);
if (tempMatch.Count < 0) continue;
item.Title = CommonFunction.DeleteHTMLElement(tempMatch[0].Value);
tempMatch = regexHref.Matches(tempMatch[0].Value);
if (tempMatch.Count < 0) continue;
item.Url = GetURL(tempMatch[0].Value);
if (item.Url.IndexOf("http://") < 0) continue;
tempMatch = regexAuthor.Matches(_text);
if (tempMatch.Count > 0)
{
item.Author = CommonFunction.DeleteHTMLElement(tempMatch[0].Value);
}
item.SiteName = "XX";
item.FilterType = IWOMWebCrawlerDbLayer.Common.FilterType.FilterNo;
arrayList.Add(item);
}
}
相关推荐
拆开一个烧坏的IGBT模块,手把手教你识别过压、过流、过温的“案发现场”
本文详细解析了IGBT模块失效分析的实战技巧,通过观察铝层熔化纹路、焊锡溢出形态等物理痕迹,手把手教你识别过压、过流、过温的典型失效模式。文章提供了从基础工具包到现场快速诊断的完整流程,帮助工程师精准定位IGBT模块失效的根本原因。
数据结构 栈的应用-括号匹配
1.创建栈 typedef struct CharStack{ int top; int data[SIZE]; }*CharStackPtr; 2.输出栈(跟踪数据) void outputStack(CharStackPtr paraStack){ for (int i = 0; i <= paraStack -> top; i++){ printf("%c ",paraStack->data[i]); } printf("\r\n"); } 3.初始化
人工智能顶会投稿指南:CCF-A类会议ACL、ICML、NeurIPS、ICLR的投稿周期与影响力解析
本文详细解析了CCF-A类会议ACL、ICML、NeurIPS、ICLR的投稿周期与影响力,涵盖各会议的投稿时间线、评审特点及录用率。ACL注重自然语言处理,ICML强调机器学习理论,NeurIPS覆盖神经信息处理,ICLR聚焦表征学习。文章还提供了实战投稿策略,帮助研究者提升投稿成功率。
栈的应用 括号匹配
关于栈的应用 (括号匹配) 对于一个字符串 用栈的数据结构去判断括号是否匹配 这是对栈的应用 也是对栈理解的更一步深入 定义结构体 typedef struct CharStack { int top; //栈顶参数 int data[STACK_MAX_SIZE]; //栈数组 } *CharStackPtr; 打印栈 void outputStack(CharStackPtr paraStack) { //循环打印栈 for (int i = 0; i <= par
告别手动解析!用这个Qt库轻松处理Cat 21/62等18种Asterix航空数据
本文介绍了基于Qt框架的高效Asterix报文解析库,帮助开发者轻松处理Cat 21/62等18种航空数据。该库通过协议抽象化、多维度API设计和跨平台支持,解决了手动解析的复杂性和易错问题,显著提升开发效率和系统可靠性。
Nordic开发者必备:SEGGER Embedded Studio免费许可证申请与配置全攻略
本文为Nordic芯片开发者提供了SEGGER Embedded Studio(SES)集成开发环境的详细配置指南。内容涵盖免费许可证的合规申请流程、项目创建、Nordic SDK集成,以及编辑器优化、构建调试配置、RTT日志输出等核心功能的高效设置,旨在帮助开发者构建深度优化的专业开发环境,显著提升嵌入式开发效率。
27.模板匹配(template match)
#include <opencv2/opencv.hpp> #include <iostream> cv::Mat src, temp, dst; int match_method = cv::TM_SQDIFF; int max_track = 5; const char* INPUT_T = "input image"; const char* OUTPUT_T = "result image"; const char* match_t = "template match-de
五十天精通硬件设计第6天-放大器知识及选型
运算放大器(Operational Amplifier,简称运放)是一种高增益的直流耦合差分放大器,广泛应用于信号处理、滤波、比较、积分、微分等电路中。
抓取网址中的信息(需要解码的)
/// <summary> /// 根据任务生成抓取要素 /// </summary> protected override void initCrawlerModel(IwomTask taskItem) { crawlerModel = new CrawlerModel(); ...
彻底讲透 SAP 中的 client-safe:从 CDS、AMDP 到 ABAP Cloud 的客户端隔离设计
SAP系统中的client-safe概念定义了技术边界:访问client-dependent数据的对象必须确保只看到单个client数据,而访问client-independent数据的对象则天然满足条件。这一原则直接影响CDS视图、AMDP等核心组件,并与ABAP Cloud开发模型紧密集成。在业务系统中,client isolation要求用户只能看到当前登录client的数据。SAP通过语言版本、对象规则和静态检查强制执行这一约束,特别是在ABAP Cloud开发中,AMDP方法和发布的API必须满足
halcon3d点云补全方法
属于halcon实例中的内容,后面还接了一部分的匹配
正则表达式 抓取html中的邮箱
package regular; import java.io.BufferedReader; import java.io.File; import java.io.FileNotFoundException; import java.io.FileReader;
数据中台:大数据平台,数据仓库(DM),数据中台之间的联系以及异同分析
大数据平台是一个技术平台。这个技术平台提供了对于大数据的分布式采集,存储,流处理和计算,实时分析等能力。在没有大数据平台前也有数据集成和管理的平台,这种平台可以实现对结构化数据本身的采集,集成和管理。 管理平台,是在原生的大数据生态的基础之上,为了更好的管理集群服务,管理集群的资源,提供灵活SRE能力和资源核算审计能力的一系列工具和合称整体架构数据中台包括数据仓库的全部内容,数据仓库为数据中台提供了数据对外提供服务的基础资源,数据中台将数据仓库建设的投入价值进行最大化,以加快数据赋能业务的速度大家都知道数据
用C#爬虫小说网站
主要实现逻辑:“套娃”通过MyWebClient获取小说网站页面内所有小说的网络地址,然后通过网络地址找到每本小说的单独的网络地址,然后再通过每本小说的网络地址 找到小说章节正文的网络地址,最后通过章节地址获取到章节内容,最最后将章节内容整合起来的到整本小说。2、分析bookPageHtml_Default中获取到的网站页面源代码文本,从而用正则表达式获取所有小说的url、小说名。最近学习爬虫,做了个简单能实现爬取小说网站整页小说功能的DEMO。3、用以上获取到的小说url,获取每本小说的章节地址url。
WINCC7.3破解文件
WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!
怀旧版电脑GBC模拟器
再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。
promtail loki多行日志配置
loki 日志配置
复分析 阿尔福斯(Ahlfors) 第三版答案 英文
答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案
网络爬虫初步(一)
每晚都在敲代码,我在成神的路上狂奔 这是一个搜索引擎初步的入门级Demo,将一个网页上的信息爬取下来,经过解析,得到目标信息,存储在xml文件中,中间使用了jdom的xml文件生成技术,和网页获取以及简单的正则解析,从中可以管窥我们常用的搜索爬取的原理,所以分享给大家,如有不足之处还望大家多多指点,欢迎给我留言. package spider; import java.io.
OV9734 DATASHEET,完整规格书
OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等
浅谈抓取网页数据(奉上Demo)
Demo源码 背景 曾经在公司做过一个比价系统,就是抓取其它网站上商品的价格并和自己公司的商品进行对应,然后展示出来,给pm提供一个定价的参考。后来,有同事的朋友在找工作的时候,猎头让其做一个抓取去哪网最低价机票的程序,然后,我就帮忙整了一下。本文的目的在于提供这个程序的源码,然后和大家探讨一下网页信息抓取的相关点。Demo使用c#并在vs2012环境下运行。 项目结构一览 ...
android中java代码抓取网页内容(微信图文)
android中有是需要抓取网络Html页面中的一些基础数据,title,decription等等,用来展示网页基本信息。github上开源项目https://github.com/LeonardoCardoso/Android-Link-Preview原理就是将HTML加载下来,处理成字符串,使用正则表达式,查找<meta>标签,并使用HashMap分别保存起来。自己写了个demo。...
JAVA抓取小说DEMO
JAVA抓取小说DEMO 项目结构 流程图 抓取页面正文的主要代码 匹配章节并处理的主要代码 运行结果 源码地址JAVA抓取小说DEMO之前看一篇小说,发现只有在线的版本,于是动手写了个小程序抓到本地方便在Kindle上看。程序非常简单,不同的网页请自行修改正则等部分。 这里也顺带安利一下小说,哈利·波特的同人,《哈利·波特与理性之道》。 源码放在GitOSC上。项目结构流程图Created w
网页信息抓取DEMO
——看到社区里面好多人都有抓取网页信息的需要,特地把我自己做的DEMO放上来,供大家参考,也希望大家多提意见,共同学习完善这个小程序. 准备工具:Dreamweaver,RegexBuddy 抓取分3步进行: 1)下载网页数据; 2)处理网页得到想要的数据; 3)保存数据 一、下载网页源代码 这个步骤有很多种方法可以实现,但是目的只有一个,那就是:给定网页Url,获得...
正则抓取链接
packagedemo; importjava.io.*; importjava.net.*; importjava.util.regex.*; publicclassMain{ staticStringSendGet(Stringurl)...
结合正则 抓取的iOS 第三方
2015-12-07 23:15:28.067 CatchHTMLData[39327:333145] EGOTableViewPullRefresh: 最早的下拉刷新控件。 SVPullToRefresh: 下拉刷新控件。 XHRefreshControl: XHRefreshControl 是一款高扩展性、低耦合度的下拉刷新、上提加载更多的组件。(国人写) CBStoreHouseR
网页信息抓取
——看到社区里面好多人都有抓取网页信息的需要,特地把我自己做的DEMO放上来,供大家参考,也希望大家多提意见,共同学习完善这个小程序. 准备工具:Dreamweaver,RegexBuddy 抓取分3步进行: 1)下载网页数据; 2)处理网页得到想要的数据; 3)保存数据 一、下载网页源代码 这个步骤有很多种方法可以实现,但是目的只有一个,那就是:给定网页Url,获得
Python抓取淘宝天猫网页商品详情Demo:快速掌握网页数据抓取
Python抓取淘宝天猫网页商品详情Demo:快速掌握网页数据抓取 去发现同类优质开源项目:https://gitcode.com/ 项目介绍 在数字化时代,数据的重要性不言而喻。Python抓取淘宝天猫网页商品详情Demo 是一款开源项目,专注于帮助开发者快速学习和掌握如何使用Python进行网页数据的抓取。该项目以淘宝和天猫的商品详情页面为对象,提供了简洁、实用的代码示例,使得用户能够轻松获取...
每天一个小Demo-Python爬虫网页连接的抓取
今天的Demo假设我们想把一个网页中所有的链接地址提取出来。比如,要获取"https://www.jianshu.com/"网页上的所有链接,我们可以通过如下程序实现:import re import urllib.request import urllib.error def get_link(url): #伪装成浏览器,在浏览器调试模式下可得到信息,例子为QQ浏览器 head...
数据抓取实战demo
话不多说,直接上代码 import requests import pymongo from pyquery import PyQuery as pq import re import logging from urllib.parse import urljoin logging.basicConfig(level=logging.INFO, format='%(asctime)s - ...
426



被折叠的 条评论
为什么被折叠?



