u013021184的博客

python爬取链家二手房源信息可视化

python爬取安居客房源信息，并保存到excel。

python爬取新浪微博评论，并保存到excel。

然后，使用 multiprocessing.Pool 创建了一个包含 4 个进程的进程池，并通过 pool.map(crawl_page, urls) 并行执行爬虫任务。urls 列表中的每个链接都会被传递给 crawl_page 函数并在不同的进程中执行。在 Python 中，可以使用 multiprocessing 模块创建进程池，并使用其 map 方法来并行执行爬虫任务。请注意，这只是一个简单的示例。在实际应用中，你可能需要更复杂的爬虫逻辑和异常处理，以及确保对共享资源的正确访问。

在 Python 中，multiprocessing 模块提供了 Pool 类，它是一个用于创建进程池的工具。通过进程池，你可以更方便地并行执行多个任务，充分利用多核处理器的优势。其中的 map 方法是一种常用的方式，它类似于内置的 map 函数，但是可以并行处理输入数据。

你是否也遇到过，在浏览器中选中了某个元素后，再copy xpath，想在代码中获取到你选中的元素，但是代码中显示结果为空。不要看现在页面内容显示不全，这丝毫不影响我们copy xpath，两次copy xpath的结果如下，一个是原网页的，一个是下载到本地的，可以看到两个xpath有差异。如果有ID选择器，我们最好使用ID选择器，因为具有唯一性，类选择器的话，结果就不好说了。使用xpath插件，能获取到正确的数据，为什么就是到代码中就不行了呢？下载到本地后，我们再使用浏览器打开，获取xpath。

本文只是分享一下python爬虫学习心得，如果有违规，会删除本文。

selenium.common.exceptions.WebDriverException: Message: 'chromedriver' executable needs to be in PATH. Please see https://chromedriver.chromium.org/home

不要直接使用pip安装，到时运行时可能会报访问不了谷歌网站的错误，使用国内源安装。

本次案例以爬取喜马拉雅上的英文儿歌为例，网址https://www.ximalaya.com/album/55952392。

python爬取腾讯在线文档，存excel或者mysql。python爬虫网页分析，如何获取有效的url与参数。