简单爬虫

最新推荐文章于 2025-08-20 15:26:07 发布

转载最新推荐文章于 2025-08-20 15:26:07 发布 · 58 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/tangchun/p/10174244.html

文章标签：

#爬虫

使用HtmlAgilityPack来开发简单爬虫：

1、NuGet安装HtmlAgilityPack

2、简单的爬虫代码

HtmlWeb web=new HtmlWeb();
string url="网站地址";
var doc = web.Load(url);
//使用并行查询来获取元素的属性值
IList<string> detailPageUrls = new List<string>();
            doc.DocumentNode.SelectNodes("//a[@class='js-title value title-font']")
                .AsParallel().ToList().ForEach(hn =>
                {
                    string detailPageurl = hn.GetAttributeValue("href", string.Empty);
                    if (!string.IsNullOrWhiteSpace(detailPageurl))
                    {
                        detailPageUrls.Add(detailPageurl);
                    }
                });