提取网站上的超链接

最新推荐文章于 2024-07-07 18:21:41 发布

原创最新推荐文章于 2024-07-07 18:21:41 发布 · 2.4k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#textbox #string #正则表达式 #exception #存储

C# 网络专栏收录该内容

8 篇文章

订阅专栏

本文介绍了一种使用WebRequest和WebResponse来抓取网页内容的方法，并通过正则表达式匹配其中的HTTP超链接。具体步骤包括创建WebRequest对象以指定目标网址，获取响应并读取流中的网页内容，最后利用正则表达式解析出所有超链接。

思路：1 用WebRequest和WebRespone获取指定网页的内容

2 用正则表达式匹配超链接

try { //抓取网页中的内容 WebRequest request = WebRequest.Create(textBox2.Text.ToString()); WebResponse response = request.GetResponse(); StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding("gb2312")); //textBox1.Text = reader.ReadToEnd(); string text = reader.ReadToEnd(); textBox1.Text = text; // string tt = Regex.Match(text, @"http://([/w-]+/.)+[/w-]+(/[/w- ./?%&=]*)?").ToString(); char[] spstr = { '<','>'}; //将字符串分隔成数组 string[] str = text.Split(spstr ,10000); //定义字符串用来存储分隔后字符串 string strtext = ""; //用foreach遍历分隔后的字符串数组 foreach (string i in str) { string str2; //用正则表达式匹配一个http超链接 if((str2=Regex.Match(i, @"http://([/w-]+/.)+[/w-]+(/[/w- ./?%&=]*)?").ToString().Trim ()).Length !=0) { strtext += str2 + "/r/n"; // /r/n表示TextBox中的换行符。一个/n不行 } } textBox3.Text = strtext ; reader.Close(); reader.Dispose(); response.Close(); } catch (Exception ex) { MessageBox.Show(ex.Message); }