horizon_tj的专栏

基本方案,采用 lxml + beautifulsoup 进行html解析和url 提取 参考 Python HTML 解析器性能评测  lxml 解析速度快,beautifulsoup 的容错性更好一些. 下了一个 lxml-2.3-py2.7-win32.egg  安装需要先安装一个 setuptools  然后执行 setuptools.exe  xxx.egg 安装了xml

下载pycurl后,执行以下安装命令 python setup.py install --curl-dir=c:\curl-7.10.5  生成的是动态库,最后还要把 libcurl.dll copy到sites-package目录下才行. 另外,还有一个,吧setup.py 脚本中的libcurl.lib改成 libcurl_a.lib估计就能生成静态的pyd了.有待尝