用perl获取google搜索的结果

最新推荐文章于 2025-12-03 09:34:07 发布

原创最新推荐文章于 2025-12-03 09:34:07 发布 · 1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#google #perl #search #redirect #object #url

小工具同时被 2 个专栏收录

2 篇文章

订阅专栏

perl

1 篇文章

订阅专栏

本文介绍了一个使用Perl语言编写的简单脚本，该脚本能够通过手动编码的方式实现基本的Google搜索功能。文中详细展示了如何利用LWP::UserAgent模块来发起HTTP请求，URI::Escape模块对关键词进行转义处理，并使用Encode模块确保字符编码正确。

以前google的API还开放的时候，可以直接使用CPAN上的包来进行获取，现在只能自己码代码了。。。

代码如下

sub google_search{
	my $keyword = $_[0];
	print "keyword is $keyword\n";

	#we must first convert our search term into utf8, then can we use uri_escape to encode the term to search-engine like encoding
	my $search = encode("utf-8",decode("gb2312", $keyword)); 
	$search = uri_escape($search);

	print "keyword is $search\n";

	my $ua = new LWP::UserAgent; #Construct the request object
	$ua->agent( "Mozilla/5.0 (X11; Linux i686; rv:2.0.0) Gecko/20100101" ); #Google checks UAs, so set this to something common
	$ua->timeout( 10 ); #Give up after 10 seconds of waiting
	$ua->max_redirect( 0 ); #We only want the URL that google sends, so stop after we submit
	$ua->env_proxy; #Load proxy info from the environment, if any is set

	my $response = $ua->get(
		"http://www.google.com/search?q=".$search #The URL to request
	) or die( $! );


	#my $firstUrl = $response->contents; #This contains the link of the result page
	return encode("utf8", $response->decoded_content()); #convert to utf8
}

这里用到了3个package：

LWP::UserAgent 用来下载网页

URI::Escape 用来对中文进行转义，生成google链接中的奇奇怪怪的编码

use Encode 对我们输入的检索关键词编码至utf8