博青港湾-技术空间

摘要：本文讨论了如何使用C#2.0实现抓取网络资源的网络蜘蛛。使用这个程序，可以通过一个入口网址(如http: //www.comprg.com.cn)来扫描整个互联网的网址，并将这些扫描到的网址所指向的网络资源下载到本地。然后可以利用其他的分析工具对这些 网络资源做进一步地分析，如提取关键词、分类索引等。也可以将这些网络资源作为数据源来实现象Google一样的搜索引擎。关键词：C#2.0，Htm

这段时间接到一个抓取任务，任务的目标是，对Http://www.hzti.com网站的违章数据进行抓取，刚接到这个任务粗略的分析了一下网站代码的格式，认为这个任务在一天之内就能完成（应该还可以省下一点时间看看新闻。。：））。　　由于以前用Nutch对网站进行抓取过，所以我认为只要完成网页有效数据的提取就等于完成了这个任务。三个小时过后提取部分测试通过，我将代码组装到Nutch（Nutch经过我的修

微软在其.net战略中，对其主推的Web Service做了大肆的宣扬。现在，Web Service正如火如荼地发展着，相关的各项新技术层出不穷。Web Service的发展正构筑着互联网时代美好的明天。在本文中，我将向大家介绍Web Service的一些基本知识、如何用C#建立一个Web Service。通过文章，我们还将对WSDL、UDDI以及未来的Web Service有一个大致的了解。

转发rssf的回答："蜘蛛"（Spider）是Internet上一种很有用的程序，搜索引擎利用蜘蛛程序将Web页面收集到数据库，企业利用蜘蛛程序监视竞争对手的网站并跟踪变动，个人用户用蜘蛛程序下载Web页面以便脱机使用，开发者利用蜘蛛程序扫描自己的Web检查无效的链接……对于不同的用户，蜘蛛程序有不同的用途。那么，蜘蛛程序到底是怎样工作的呢？　　蜘蛛是一种半自动的程序，就象现实当中的蜘蛛在它的We

Web 爬虫分析：1.  用twisted 或者 urllib2, 或者其他的包，把Web抓下来。2.  用BeautifulSoup 类的Parse Web页面3.  把结果存入数据库另外也可以引用 pycURL.pycURL是C写的python的扩展库，用它来抓取Web的速度很快，不过需要好好研究。如果访问的网页需要用户名与密码，需要模拟一下用户登录，或者直接装载cookie.

session的工作原理 一、术语session 在我的经验里，session这个词被滥用的程度大概仅次于transaction，更加有趣的是transaction与session在某些语境下的含义是相同的。 session，中文经常翻译为会话，其本来的含义是指有始有终的一系列动作/消息，比如打电话时从拿起电话拨号到挂断电话这中间的一系列过程可以 称之为一个session。有时候我们可以看到这

最近在草草地看TCP那一部分，之所以草草地看是因为觉得早晚一天会回过头去细看。手头上有工作要做，所以先草草地把之前随便摘抄的TCP/IP相关概念贴出来：继续草草地贴:---------------------------------------------------------------------------------------------------------------------

IPv6（Internet Protocol Version 6）协议是取代IPv4的下一代网络协议，它具有许多新的特性与功能。由IP地址危机产生和发展起来的IPv6作为下一代互联网协议已经得到了各方的公 认，未来互联网的发展离不开IPv6的支持和应用。Ipv6协议和Ipv4协议不论在结构上还是系统工具的使用上都不大相同。Linux是所有操作系统中 最先支持IPv6的，这里介绍一下Linux下的I

socket是网络编程的基础，本文用打电话来类比socket通信中建立TCP连接的过程。    socket函数，表示你买了或者借了一部手机。    bind函数，告诉别人你的手机号码，让他们给你打电话。    listen函数，打开手机的铃声，而不是静音，这样有电话时可以立马反应。listen函数的第二个参数，最大连接数，表示最多有几个人可以同时拨打你的号码。不过我们的手机，最多只能有一个人打进