PHP爬虫抓取网络图片

已于 2023-05-08 17:21:23 修改
阅读量668 收藏 2
点赞数
分类专栏： Laravel PHP 文章标签： 爬虫 php
于 2020-12-16 10:37:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/fl140125/article/details/111247399
版权 

<?php

namespace App\Console\Commands;

use Goutte\Client;
use Illuminate\Console\Command;
use Illuminate\Support\Facades\DB;

/**
 * Class SyncSpiderData
 * @author <fl140125@gmail.com>
 * @package App\Console\Commands
 */
class SyncSpiderData extends Command
{
    /**
     * The name and signature of the console command.
     *
     * @var string $signature
     */
    protected $signature = 'longer:sync-spider-data';

    /**
     * The console command description.
     *
     * @var string $description
     */
    protected $description = 'sync spider data';
    /**
     * @var bool $flag
     */
    protected $flag;
    /**
     * @var int $startPage
     */
    protected $startPage;
    /**
     * @var int $startId
     */
    protected $startId;

    /**
     * Create a new command instance.
     *
     * @return void
     */
    public function __construct()
    {
        parent::__construct();
        $this->flag = true;
        $this->startPage = 1;
        $this->startId = 20250;
    }

    /**
     * Execute the console command.
     */
    public function handle()
    {
        $this->getRequestData();
    }

    protected function getRequestData()
    {
        $this->setFileInfo();
//        $this->getFaBiaoQing();
    }
    /**
     * todo:获取表情包
     */
    protected function getFaBiaoQingFromHeader()
    {
        global $currentId,$bar;
        try {
            $result = DB::table('os_soogif_type')->where('pid', '>', $this->startId)->orderByDesc('id')->get();
            $bar = $this->output->createProgressBar(count($result));
            $client=  new Client();
            foreach ($result as $item) {
                $this->startId = $item->pid;
                $currentId = $this->startId;
                $promise = $client->request('GET', $item->href);
                sleep(1);
                $this->info("抓取地址：".$item->href."\r\n");
                $promise->filter('.bqppdiv1 img')->each(function ($node) use ($client, $item) {
                    $href = str_replace('http://', 'https://', $node->attr('data-original'));
                    $this->info("抓取图片信息：".$node->attr('alt')."\r\n".$href."\r\n");
                    $result = DB::table('os_soogif')->where('href', '=', $href)->first(['href']);
                    !$result ? DB::table('os_soogif')->insert([
                        'type' => $item->id,
                        'href' => $href,
                        'name' => $node->attr('alt'),
                        'width' => 0,
                        'height' => 0
                    ]) : $this->line($href." :已经存在\r\n");
                });
            }
            sleep(1);
            $bar->advance();
        } catch (\Exception $exception) {
            $this->startId = $currentId;
            $this->getFaBiaoQingFromHeader();
            $this->error($exception);
        }
        $bar->finish();
    }

    /**
     * todo:获取表情包
     */
    protected function getFaBiaoQing()
    {
        global $currentId;
        $result = DB::table('os_soogif_type')->where('id', '>=', $this->startId)->orderBy('id','asc')->get();
        try {
            $prefix = '/type/bq/page/';
            $client = new Client();
            foreach ($result as $item) {
                $this->startId = $item->id;
                $currentId = $this->startId;
                $arr = range(1, 20);
                foreach ($arr as $id) {
                    $this->info("当前抓取链接：".$item->href.$prefix.$id.'.html');
                    $promise = $client->request('GET', $item->href.$prefix.$id.'.html');
                    sleep(1);
                    $promise->filter('.searchbqppdiv')->each(function ($node) use ($client, $item) {
                        try {
                            $href = str_replace('http://', 'https://', $node->filter('a img')->attr('data-original'));
                            $this->info("抓取图片地址：".$href."\r\n");
                            $result = DB::table('os_soogif')->where('href', '=', $href)->first(['href']);
                            !$result? DB::table('os_soogif')->insert([
                                'type' => $item->id,
                                'href' => $href,
                                'name' => $item->name,
                                'width' => 0,
                                'height' => 0
                            ]) : $this->line($href." :已经存在\r\n");
                        } catch (\Exception $exception) {
                            $this->error($exception->getMessage());
                        }
                    });
                }
            }
        } catch (\Exception $exception) {
            $this->startId = $currentId;
            $this->getFaBiaoQing();
            $this->error($exception->getMessage());
        }
    }
    /**
     * todo:获取表情类型
     */
    protected function getFaBiaoQingType()
    {
        global $currentPage;
        try {
            $client = new Client();
            $promise = $client->request('GET', 'https://fabiaoqing.com/search');
            $text = $promise->filter('#mobilepage')->text();
            $pages = explode('/', $text);
            $pageArr = range($this->startPage, (int)$pages[1]);
            $href = 'https://fabiaoqing.com/search/index/page/';
            foreach ($pageArr as $page) {
                $this->startPage = $page;
                $currentPage = $page;
                $this->info('请求的地址：'.$href.$this->startPage.".html\r\n");
                $promise = $client->request('GET', $href.$this->startPage.'.html');
                sleep(1);
                $promise->filter('#othersearch a')->each(function ($node) use ($client) {
                    $this->info("抓取的地址：".str_replace('http://', 'https://', $node->attr('href')));
                    $result = DB::table('os_soogif_type')
                        ->where('href', '=', str_replace('http://', 'https://', $node->attr('href')))
                        ->first();
                    !$result ? DB::table('os_soogif_type')->insert(
                        [
                            'href' => str_replace('http://', 'https://', $node->attr('href')),
                            'name' => $node->text(),
                            'pid' => 105
                        ]
                    ) :  $this->line("地址已经存在：".str_replace('http://', 'https://', $node->attr('href')));
                });
            }
        } catch (\Exception $exception) {
            $this->startPage = $currentPage;
            $this->getFaBiaoQingType();
            $this->error($exception->getMessage());
        }
    }

    /**
     * todo:获取文件信息
     */
    protected function setFileInfo()
    {
        global $result;
        try {
            while ($this->flag) {
                $result = DB::table('os_soogif')->where('width', '=', 0)->orderByDesc('id')->first();
                $this->flag = !empty($result);
                if (!empty($result)) {
                    $this->info("获取图片信息：\r\n".json_encode($result)."\r\n");
                    $fileInfo = getimagesize($result->href);
                    DB::table('os_soogif')->where('id', '=', $result->id)->update(
                        ['width' => $fileInfo[0], 'height' => $fileInfo[1]]
                    );
                    $this->info($result->href."\r\n图片信息修改成功\r\n".json_encode($fileInfo)."\r\n");
                }
            }
        } catch (\Exception $exception) {
            $this->error("失败原因：\r\n".$exception->getMessage()."\r\n");
            $this->error("失败图片：\r\n".json_encode($result)."\r\n");
            if ($result) {
                DB::table('os_soogif')->delete($result->id);
            }
            $this->setFileInfo();
        }
    }
    /**
     * todo:获取动态图
     */
    protected function getSooGif()
    {
        $result = DB::table('os_soogif_type')->where('pid', '>', 0)->get();
        $bar =  $bar = $this->output->createProgressBar(count($result));
        try {
            $client = new Client();
            foreach ($result as $item) {
                $promise = $client->request('GET', $item->href);
                //判断是否存在数据
                preg_match("/\d+/", $promise->filter('.float-page a')->first()->html(), $num);
                if ($promise->filter('.float-page a')->first()->html() && (int)$num[0] > 0) {
                    $this->info($promise->filter('.float-page a')->first()->html()."\r\n");
                    //获取分页参数
                    $arr = range(1, ceil((int)$num[0]/30));
                    foreach ($arr as $id) {
                        $href = $item->id<=84 ? mb_substr($item->href, 0, strrpos($item->href, '_')).'_'.$id
                            : $item->href.'&p='.$id;
                        $this->info($href."\r\n".$item->name."\r\n");
                        $promise = $client->request('GET', $href);
                        $promise->filter('.style-item')->each(function ($node) use ($client, $item) {
                            $this->info($node->attr('data-img')."\r\n".$node->filter('.item-tools h2')->text()."\r\n");
                            $result = DB::table('os_soogif')
                                ->where('href', '=', $node->attr('data-img'))
                                ->first(['href']);
                            $fileInfo = getimagesize($node->attr('data-img'));
                            !$result ? DB::table('os_soogif')->insert([
                                'type' => $item->id,
                                'href' => $node->attr('data-img'),
                                'name' => $node->filter('.item-tools h2')->text(),
                                'width' => $fileInfo[0],
                                'height' => $fileInfo[1]
                            ]) : $this->line($node->attr('data-img')." :已经存在\r\n");
                        });
                    }
                    sleep(0.5);
                    $bar->advance();
                } else {
                    $this->warn($item->name."：暂无数据\r\n");
                }
            }
        } catch (\Exception $exception) {
            $this->error($exception->getMessage());
        }
        $bar->finish();
    }
    /**
     * todo:获取动态图类型
     */
    protected function getSooGifType()
    {
        $client = new Client();
        $promise = $client->request('GET', 'https://bj.96weixin.com/material/soogif');
        $promise->filter('.material-breadcrumb')->each(function ($node) use ($client) {
            $this->info($node->filter('cite')->text());
            $id = DB::table('os_soogif_type')->insertGetId([
                'name' => $node->filter('cite')->text(),
                'href' => config('app.url'),
                'pid' => 0
            ]);
            $node->filter('a')->each(function ($href) use ($client, $id) {
                $this->info($href->text()."\r\n".'https://bj.96weixin.com'.$href->attr('href'));
                DB::table('os_soogif_type')->insert([
                    'name' => $href->text(),
                    'href' => 'https://bj.96weixin.com'.$href->attr('href'),
                    'pid' => $id
                ]);
            });
        });
    }

    /**
     * todo:获取表情符号类型
     */
    protected function getEmoticonsType()
    {
        $client = new Client();
        $promise = $client->request('GET', 'https://bj.96weixin.com/tools/emoticons');
        $promise->filter('.tools-emoticons-category li a')->each(function ($node) use ($client) {
            if ($node->text() !== '全部') {
                DB::table('os_emoticons_type')->insert(
                    [
                        'id' => mb_substr($node->attr('href'), strrpos($node->attr('href'), '/')+1),
                        'name' => $node->text()
                    ]
                );
            }
        });
    }
    /**
     * todo:获取表情符号
     */
    protected function getEmoticons()
    {
        $client = new Client();
        $result = DB::table('os_emoticons_type')->get(['id','name']);
        foreach ($result as $item) {
            $promise = $client->request('GET', 'https://bj.96weixin.com/tools/emoticons/id/'.$item->id);
            $promise->filter('.tools-emoticons dd')->each(function ($node) use ($client, $item) {
                DB::table('os_emoticons')->insert(
                    [
                        'type' => $item->id,
                        'name' => $node->filter('p')->text(),
                        'icon' => $node->filter('textarea')->text()
                    ]
                );
            });
            $this->info('添加【'.$item->name.'】完成');
        }
    }
    /**
     * todo:获取特殊符号
     */
    protected function getSymbol()
    {
        $client = new Client();
        $promise = $client->request('GET', 'https://bj.96weixin.com/tools/symbol');
        $promise->filter('.tools-symbol dd p')->each(function ($node) use ($client) {
            DB::table('os_symbol')->insert(['data' => $node->text()]);
        });
    }
}

使用Python爬虫抓取百度图片标签分类下的图片：从爬取到分析
2201_76125261的博客
03-13 852
本文通过详细的步骤介绍了如何使用Python爬虫抓取百度图片标签分类下的图片，从而实现批量下载和存储图片。我们利用了requests库进行HTTP请求，通过和JSON解析抓取的数据，并将图片保存到本地。在抓取过程中，我们还实现了并发下载的优化，提高了爬虫的效率。最后，我们还通过matplotlib库进行了基本的数据可视化，帮助我们分析图片数据的分布情况。希望本文能帮助你更好地理解和实践Python爬虫技术，并能将其应用到其他平台的数据抓取与分析中。
php爬虫——以爬取图片为例
Coder_Chang的博客
02-10 6967
爬虫的一般思路如下： 分析目标源所有url抓取URL分析内容入库 现在以抓取一个图片为主的网站为例，爬取其中的图片。 网站名称：堆糖网 域名：https://www.duitang.com/ 需抓取的分类／频道：时尚穿搭、美妆造型、婚礼婚纱 1.分析目标源所有url
PHP获取网络图片
Strange_程序员的的博客
07-16 1956
PHP爬取图片并保存 很多人认为只有Python才能爬取，其实像JAVA，PHP等一些语言都是可以进行数据的爬取。 下面是我写的爬取代码 $url='https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1562651568657&di=c445a5031fae703a13e3bc25...
PHP爬虫百度图片
weixin_30725315的博客
07-13 365
php pacong_1.php "酒","电报","电表","电波","电厂","电场","电车","电池","电传","电磁",<?phperror_reporting(E_ALL ^ E_NOTICE);set_time_limit(0);$word2=explode(",",$argv[1]);$pageNum = 35;$uuid = md5(uniqid(mt_rand(), t...
php实现整站抓取图片
09-10
抓取中小型网站的所有图片，配置文档在config下，domain_name：域名，request_site：网址，request_url：从网站的哪个页面开始，accept_type: 图片类型，save_path：图片保存路径，partition_name：图片保存目录名称前缀，dir_file_limit: 每个目录容许多少个文件，serialize_img_size已读取了多少个图片地址写进到cache目录accompImg文件当中、下次继续爬的时候会忽略这些地址，serialize_url_size：与serialize_url_size一样、已读取多少个地址写进到cache目录overURL文件下
php 抓取图片------爬虫
12-30
php 抓取图片-----爬虫
php爬虫抓取50W数据
07-20
总结起来，PHP爬虫结合多线程技术可以有效提高数据抓取效率。尽管存在图片验证码的难题，但通过与其他技术（如OCR）的结合，可以进一步提升自动化程度。在实际应用中，还需关注爬虫的稳定性和持久性，以应对各种网络...
PHP图片抓取技术——实现高效爬虫
本文将详细介绍如何使用PHP进行图片抓取——这实际上是一个简单的爬虫应用案例。 ### 知识点概述 1. **爬虫的基本概念**： 爬虫，也被称为蜘蛛（spider）或者网络机器人（web robot），它按照一定的规则自动抓取...
PHP采集类Snoopy抓取图片实例
12-18
Snoopy是一个PHP的网络爬虫类库，能够方便地实现网页的访问和信息提取。本文将详细介绍如何使用Snoopy类来抓取网页中的图片实例。 首先，了解Snoopy类的基本用法。Snoopy提供了多种功能，包括获取网页链接、文本...
php抓取一个页面的图片
weixin_34199405的博客
02-18 105
思路: 1.找到一个页面 2.正则过滤所有的img 3.正则过滤出所有的src的属性 4.获取链接信息,写入文件 file_get_contents(), file_put_contents() 5.在cli模式下运行代码(浏览器运行可能内存爆掉,或运行超时) 代码: 1 <?php 2 //过滤所有的img 3 $url = "http://ww...
php图片爬取源码
08-24
循环爬取图片，支持多线程循环爬取。 循环爬取图片，支持多线程循环爬取。
PHP 爬取图片 保存本地
weixin_33701564的博客
06-07 356
public function getImage($url,$filename='') { if($url == ''){ return false; } if($filename == ''){ $ext = pathinfo($url); ...
php 抓取网页图片
撑起自己半边天
07-25 1058
php抓取网页指定单张图片或全部图片
php获取网页中图片并保存到本地的代码
weixin_30339457的博客
08-12 261
php获取网页中图片并保存到本地的代码，将网页中图片保存本地文件夹： 1 <?php 2 /** 3 * 获取网页中图片，并保存至本地 4 * by www.jbxue.com 5 */ 6 header("Content-type:image/jpeg"); 7 function read_url($str) 8 { 9 $file...
php抓取网页图片
NiceGY
02-08 3731
PHP是一门很容易上手的Web编程语言。PHP学习成本很低，能够迅速开发各种Web应用，是一个很优秀的工具。 尽管很多人觉得PHP缺点很多，quick and dirty 之类的，但是“这个世界上只有两种编程语言，一种是饱受争议的，一种是没人用的”，不是吗？只要能够把事情做好的工具，就是好工具。PHP就是这么一个优秀的语言工具。
php 网络爬虫，爬一下花瓣的图片
weixin_34192816的博客
01-11 137
今天无聊看在知乎上看到有人写网络爬虫爬图片(￣▽ ￣)   传送门： 福利 - 不过百行代码的爬虫爬取美女图：https://zhuanlan.zhihu.com/p/24730075 福利 - 不过十行代码的爬虫爬取美女图：https://zhuanlan.zhihu.com/p/24779556   其实这个是一个nodejs用了一百多行代码和php只要10行代码写的爬虫代码比较(￣▽ ￣) ...
PHP抓取图片-完整代码
wangguogao3355的博客
05-24 317
内容测试可以运行，本人用vs code 终端运行
PHP获取一个网页内的图片_php获取网页中图片、DIV内容的简单方法
weixin_39799307的博客
03-08 277
这篇文章主要介绍了php获取网页中图片、DIV内容的简单方法,都是通过正则表达式实现的,强大的正则啊,需要的朋友可以参考下1、获取网页中所有的图片：复制代码 代码如下://取得指定位址的內容，并储存至 $text$text=file_get_contents('http://www.jb51.net/');//取得所有img标签，，并储存至二维数组 $match 中preg_match_all('...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值