基于ThinkPHP5 使用QueryList爬取并存入mysql数据库

最新推荐文章于 2025-06-09 16:03:22 发布

原创

最新推荐文章于 2025-06-09 16:03:22 发布 · 1.2k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#php #tp5

这篇博客介绍了如何在ThinkPHP5框架中使用QueryList库来爬取猫眼电影排行榜的数据，并将其存储到数据库中。通过Composer安装QueryList，设置爬取规则抓取电影的图片、名称、主演和上映时间等信息，然后遍历数据并检查数据库中是否已存在，避免重复插入。博主还展示了如何通过调整参数抓取多页数据，并在每次插入数据后暂停2秒以避免频繁请求。

QueryList4教程地址：

https://doc.querylist.cc/site/index/doc/45

在ThinkPHP5代码根目录执行composer命令安装QueryList:

composer require jaeger/querylist

如果出现以下错误

Loading composer repositories with package information
Updating dependencies (including require-dev)

    Authentication required (packagist.phpcomposer.com):
      Username:

出现这样的情况

使用

composer config -g repo.packagist composer https://packagist.laravel-china.org

1-下面演示在Index控制器中使用QueryList:


use QL\QueryList;

public function qulist(){
    $data = QueryList::get('http://maoyan.com/board/4')
    // 设置采集规则
    ->rules([
        // 爬取图片地址
        "src"=>array(".board-wrapper dd img.board-img","data-src"),
        // 爬取电影名
        "name"=>array(".board-wrapper dd .movie-item-info .name","html"),
        // 爬取电影主演信息
        "star"=>array(".bo