咸菜猫的博客

原理：关键词+空格+filetype:xxx可以搜索对应格式文件，直接获取下载链接https://github.com/cckenny/pdf-crawler-for-bing-google-search

commoncrawl是一个开放的数据平台，它预先爬取了数年的互联网信息（包括网页、文件等），研究人员可直接通过其维护的数据直接爬取，而不用自行探索爬取的渠道。该网站提供了示例代码列表供参考。该网站主要可用于大数据分析，而对于需要针对特定网站进行爬取的爬虫则没有帮助。本文记录在使用示例代码CommonCrawlDocumentDownload来下载特定类型文档时踩的坑。CommonCrawlD...

初始态：etree.tostring(layOut)输出：增加encoding：etree.tostring(layOut, encoding = "utf-8")输出：增加decode：etree.tostring(layOut, encoding = "utf-8").decode('utf-8')输出：...