c#采集网页用得几个函数有解释

最新推荐文章于 2019-08-13 01:23:07 发布

hfzsjz

最新推荐文章于 2019-08-13 01:23:07 发布

阅读量985

点赞数

分类专栏： C#2005 文章标签： c# regex stream html null 测试

C#2005 专栏收录该内容

107 篇文章

订阅专栏

本文介绍了一种使用C#实现的网页数据抓取方法，包括获取HTML源码及解析特定标签内容的技术细节。通过实例演示了如何设置HTTP请求、读取响应流，并利用正则表达式抽取所需信息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

当当全新正版图书，9周年店庆，特价销售，全场免运费！

public  string GetHtmlSource(string Url, string charset) //得到Html源代码
        {
            if (charset == "" || charset == null) charset = "gb2312";
            string text1 = "";
            try
            {
                HttpWebRequest request1 = (HttpWebRequest)WebRequest.Create(Url);
                HttpWebResponse response1 = (HttpWebResponse)request1.GetResponse();
                Stream stream1 = response1.GetResponseStream();
                StreamReader reader1 = new StreamReader(stream1, Encoding.GetEncoding(charset));
                text1 = reader1.ReadToEnd();
                stream1.Close();
                response1.Close();
            }
            catch (Exception exception1)
            {
            }
            return text1;
        }

//获得页面HTML代码中开始标记和结束标记中间的数据:测试可用

//参数:HTML源代码 ,开始标记,结束标记

public string SniffwebCode(string code, string wordsBegin, string wordsEnd)
        {
            string NewsTitle = "";
            Regex regex1 = new Regex("" + wordsBegin + @"(?<title>[/s/S]+?)" + wordsEnd + "", RegexOptions.Compiled | RegexOptions.IgnoreCase);
            for (Match match1 = regex1.Match(code); match1.Success; match1 = match1.NextMatch())
            {
                NewsTitle = match1.Groups["title"].ToString();
            }
            return NewsTitle;

        }

public ArrayList SniffwebCodeReturnList(string code, string wordsBegin, string wordsEnd)
        {
            ArrayList urlList = new ArrayList();
            //string NewsTitle = "";
            Regex regex1 = new Regex("" + wordsBegin + @"(?<title>[/s/S]+?)" + wordsEnd + "", RegexOptions.Compiled | RegexOptions.IgnoreCase);
            for (Match match1 = regex1.Match(code); match1.Success; match1 = match1.NextMatch())
            {
                urlList.Add(match1.Groups["title"].ToString());
            }
            return urlList;

        }