Laravel中chunk方法分块处理数据,update需注意

Laravel 大数据量分块处理 chunk() 的用法 有时,我们可能会一次性查出很大的结果集(上万条记录),这样就很可能导致内存溢出。 Laravel 框架的 chunk() 方法,可以将数据分块,每次只查询指定数量的数据块,交给回调函数处理。从而在处理大量数据集合时,能够有效减少内存消耗。 User::where('status', 0)->chunk(100, function ($users) { ... 阅读详情

 

本来是查看,chunk是否支持where等条件筛选,也看了下源码,正好搜了篇文章,讲到这个 “update” 的问题!转载下,记录下,避免大家跳坑!

原文链接:

http://www.jianshu.com/p/5dafd0d6e69a

来自简书

在一些情况下,我们需要对大批量的数据进行操作,如果这个时候我们使用foreach的话,很可能会遇到操作超时的情况。

在Laravel框架中我们可以很方便的使用chunk方法来解决。

来看一个简单的例子:

$users = User::all();
foreach ($users as $user) {
  $some_value = ($user->some_field > 0) ? 1 : 0;
  // 一些其他的逻辑
  $user->update(['some_other_field' => $some_value]);
}

这段代码看起来并没有什么不对,但是当数据量很大的时候,情况就不那么乐观了,一方面是运行时间,再者要考虑数据存储时内存消耗完。

在Laravel中,应用chunk将数据分块的方法,可以很好的处理这种问题,下面是应用chunk的代码:

User::chunk(100, function ($users) {
  foreach ($users as $user) {
    $some_value = ($user->some_field > 0) ? 1 : 0;
    // might be more logic here
    $user->update(['some_other_field' => $some_value]);
  }
});

这段代码是执行一个100条的数据进行更新,当执行完成后继续后面的另一百条数据……
也就是说他每次操作的是一个数据块而不是整个数据库。

User::chunk(100, function ($users) {
  foreach ($users as $user) {
    $some_value = ($user->some_field > 0) ? 1 : 0;
    // might be more logic here
    $user->update(['some_other_field' => $some_value]);
  }
});

需要注意的是:当使用带筛选的条件的chunk时,如果是自更新,那么你会漏掉一些数据,接着看代码:

User::where('approved', 0)->chunk(100, function ($users) {
  foreach ($users as $user) {
    $user->update(['approved' => 1]);
  }
});

如果要运行上面的代码,并不会有报错,但是where条件是筛选approved为0的user然后将approved的值跟新为1。
在这个过程中,档第一数据库的数据被修改后,下一个数据块的数据将是在被修改后的数据中选出来的,这个时候数据变了,而page也加了1。所以执行结束后,只对数据中一半的数据进行了更新操作。

如果没有明白的话,我们来看一下chunk的底层实现。还以上面的代码为例,假如一共有400条数据,数据被按照100条进行分块处理。
page = 1: 最开始的时候page为1,选取1-100条数据进行处理;
page = 2: 这时候前一百数据的approved值全部为1,那么在次筛选的时候数据将从第101条开始,而这个时候的page=2,那么处理的数据将是第200-300之前的数据
之后依旧。

public function chunk($count, callable $callback)
{
    $results = $this->forPage($page = 1, $count)->get();

    while (count($results) > 0) {
        // On each chunk result set, we will pass them to the callback and then let the
        // developer take care of everything within the callback, which allows us to
        // keep the memory low for spinning through large result sets for working.
        if (call_user_func($callback, $results) === false) {
            return false;
        }

        $page++;

        $results = $this->forPage($page, $count)->get();
    }

    return true;
}

 

MySQL 详解之 SQL 编写规范和最佳实践 优化存储过程中使用的 SQL 语句和索引,以提高其性能 42。禁用不必要的数据库功能,限制数据库的网络访问,关闭详细的错误消息,使用强密码并定期更换,对敏感数据进行加密,使用 Web 应用防火墙(WAF)进行防护,定期进行安全审计和渗透测试,培训开发人员安全意识,以及对所有用户输入进行严格的验证和清理,都是重要的安全措施 54。本文深入探讨了 MySQL SQL 的编写规范和最佳实践,涵盖了从基本的语法规则、命名约定和数据类型选择,到高级的查询优化、索引使用、事务处理、存储过程与函数,以及安全性的考量。 阅读详情

相关推荐

Laravel中的chunk组块结果集处理与注意问题

前言 如果你需要处理成千上万个 Eloquent 结果,可以使用 chunk 命令。chunk 方法会获取一个“组块”的 Eloquent 模型,并将其填充到给定闭包进行处理。使用 chunk 方法能够在处理大量数据集合时能够有效减少内存消耗: Flight::chunk(200, function ($flights) { foreach ($flights as $flight) { // } }); $all_ark=Arkvolume::chunk(50000, function ($flights) { foreach ($flights as $flight) {

git 命令使用笔记

初始化git仓库 git init 把某个文件添加到git仓库 git add readme.txt 添加所有文件到仓库 git add . 把文件提交到仓库 git commit -m "wrote a readme file" (-m "这里是提交说明") 查看仓库当前的状态 git status 查看文件具体的更改内容 git diff readme.txt...

曾沂宏的博客 397

Ubuntu无桥接模式或连不上网(详细解决方法

目录 问题1:Ubuntu没有未桥接的主机网络适配器 解决方法 1.打开VMware安装目录下的文件 ​编辑2.右键安装以上三个文件 3.打开网络状态属性,找到VMware bridgeProtocol,点击安装 问题2.Ubuntu桥接模式连不上网 1.win+r打开cmd终端,输入ipconfig /all 2.记录以下数据 3.打开VMware网络设置 问题1:Ubuntu没有未桥接的主机网络适配器 VMWare安装之后,虚拟网络一直使用默认配置 VMnet0为...

m0_65592409的博客 6063

Laravel chunk与chunkById避坑指南

当我们在日常开发过程中,在使用到chunk、chunkById时,如果只是简单的全表查询处理数据,两者并无无别。大家在日常开发过程中,在处理mysql数据时,肯定会遇到分块、分批次处理数据。3、我们可以看到在全表处理时,两者sql虽格式不同,在处理全表数据并无特别大的区别。2、使用chunkById + group by + sum(字段)时生成的sql。1、使用chunk + group by + sum(字段)时生成的sql。3、通过生成的sql,我们可以看到一个本质上的区别。

Falling_away的博客 2020

opencv读取海康威视摄像头相关配置

1、开发环境 海康威视的网络摄像头使用: 开发工具:vs2015 C++ 海康SDK 2、相关操作 下载海康威视SDK:网址:http://www.hikvision.com/cn/download_61.html • 1:对照自己的开发平台可以下载设备网络SDK_Win32设备网络SDK_Win64,解压到本地文件下: • 2:VS配置 、Opencv配置。参考址 http://blog.youkuaiyun.com/poem_qianmo/article/details/19809337 (建议自己创

HMJ115的博客 988

3D Slicer5.7在win11下的源码编译安装

本博客主要参考官方安装文档以及部分优快云的博客,部分内容的书写会直接参考官方文档的内容。

Topsort的博客 4761

Laravel chunk和chunkById的坑

数据库引擎为innodb。表结构简述,只列出了本文用到的字段。字段类型注释idint(11)IDtypeint(11)类型mark_timeint(10)标注时间(时间戳)索引,也只列出需要的部分。索引名字段PRIMARYidmark_time使用 chunkById 或者 chunk 方法的时候不要添加自定义的排序,chunk和chunkById的区别就是chunk是单纯的通过偏移量来获取数据,chunkById进行了优化,不使用偏移量,使用id过滤,性能提升巨大。

Gan_1314的博客 1436

用Python实现古诗词填字游戏(三)

古诗词做填字游戏的第三部分代码,也是最核心的部分。实现对诗文和关键字的选定,并确定文字的输出位置。

PosPro的专栏 6119

Laravel chunk 分块 以及存在的一些坑

Laravel中chunk方法分块处理数据 Let’s imagine the situation: you have a big database table (like 10 000 rows or bigger) and you need to run an update to one column. But you cannot run just SQL query – there is...

曾沂宏的博客 7608

电商数据采集实战——多平台价格监控、比价分析与智能告警系统

在电商竞争日益激烈的今天,价格监控与比价分析已成为品牌商、渠道商和消费者的核心需求。对于品牌商而言,需要监控各渠道售价是否低于指导价(破价监控);对于消费者而言,希望在最佳时机以最低价购入心仪商品;对于数据分析师而言,价格波动数据是洞察市场趋势的金矿。然而,电商数据采集面临三大核心挑战:本文将基于 Python + Scrapy + Playwright + Redis + ClickHouse 技术栈,构建一套完整的电商价格监控与比价系统。架构分层说明:电商平台的反爬手段层出不穷,采集系统必须具备多层次的

从事移动开发八年,csdn博客专家,阿里云特邀专家,华为云云享专家,高级网络信息安全工程师,大数据工程师(高级),python技术开发(高级),HarmonyOS 应用开发者高级认证,现在某学校任教。 136

tsfknn 预测R语言中的时间序列

rolling参数应该设置为FALSE,这使得最后的18个观测值成为测试集,其余的作为训练集;如果我们将rolling参数设置为默认值TRUE,那么测试集就不会是一个恒定的向量。lag 滞后参数表示时间序列数据的滞后值。在这个例子中,由于我们的时间序列数据是月度的,我们将参数设置为1:12。作为药品福利计划的一部分,澳大利亚健康保险委员会记录的属于ATC代码A10的产品的每月政府支出(百万美元)。我们将使用tsfknn包,它可以用来预测R语言中的时间序列。格式:ts类别的月度时间序列。

Mrrunsen的博客 326

解决Laravel中chunk方法分块处理数据的坑

昨天在写脚本的时候,发现了一个问题,当我去分块去处理数据的时候,数据表的数据总是会出现缺失处理的情况。 在这里写个笔记 记录下这次的踩坑过程。 网上有好多地方能看到这个坑,但是都没有给出具体的解决方案。 Laravel中chunk方法分块处理数据的坑: Laravel中chunk方法分块处理数据 先说会引发这个问题的原因: 主要是因为...

weixin_34269583的博客 2504

STM32开发 -- LIS3DH三轴加速度计开发详解

这次要讲一下LIS3DH三轴加速度计的开发使用,之前是有讲过 MPU6050开发 的,但当时是在Linux下做的。额,还是个半成品,哈哈。现在手边有STM32的开发板,可以实实在在的来实现以下卡尔曼滤波了。 一、LIS3DH初识 依照惯例,先看一下手册,大致先了解一下,LIS3DH是什么模块。 下载:LIS3DH datasheet 1、描述 LIS3DH是一款超低功耗高性能三轴线性加速度计,属于...

不积跬步,无以至千里 2万+

Laravel 中 chunk 分页漏掉数据?深度解析原因与解决方案

Laravel的chunk方法处理大数据时可能出现数据遗漏问题,主要原因包括:数据修改导致排序字段断层、非唯一排序字段、回调中修改查询条件、误用cursor方法及回调意外终止。解决方案包括:先固定主键列表再处理、使用唯一排序字段、避免修改查询条件、根据场景选择cursor流式处理、检查回调返回值。遵循这些最佳实践可确保数据处理的高效性和完整性。

wendyNo的博客 792

2026年3月GESP真题及题解(C++七级): 选择题和判断题(题解)

2026年3月GESP真题及题解(C++七级): 选择题和判断题(题解)

王老师青少年编程 995

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

Laravel学习笔记

文章目录懒加载日志懒加载加载Model数据杂七杂八的 懒加载 参考文档 https://laravel.com/docs/6.x/releases 懒加载和传统加载的区别:传统的数据加载是一下把所有的数据加载起来,给数据库和内存造成很大压力,如果一个人访问还好说,上千上万人呢。而懒加载是一直在加载数据,如果加载的数据过多的话,可能会稍微慢点,但是极大地减轻了数据库的压力。 日志懒加载 主要使...

qq_42094066的博客 633

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

Laravel中chunk组块结果集处理

如果你需要处理成千上万个 Eloquent 结果,可以使用chunk命令。chunk方法会获取一个“组块”的 Eloquent 模型,并将其填充到给定闭包进行处理。使用chunk方法能够在处理大量数据集合时能够有效减少内存消耗: Flight::chunk(200, function ($flights) { foreach ($flights as $flight) {...

weixin_30950607的博客 324

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

Laravel中chunk方法分块处理数据

在一些情况下,我们需要对大批量的数据进行操作,如果这个时候我们使用foreach的话,很可能会遇到操作超时的情况。在Laravel框架中我们可以很方便的使用chunk方法来解决。来看一个简单的例子:$users = User::all(); foreach ($users as $user) { $some_value = ($user->some_field > 0) ? 1 ...

weialemon 4727

如何在 Laravel 中处理大型数据集而不耗尽内存

然而,laravel 提供了一些有用的方法来帮助您以较小的块处理数据,从而节省内存并使应用程序运行得更快。通过使用这些方法,您可以确保您的 laravel 应用程序有效地处理大型数据集,即使在处理数百万条记录时也是如此。chunkbyid() 方法与 chunk() 类似,但在处理记录时更新记录时效果更好。您可以使用 chunk() 一次加载 100 个订单并以较小的批次处理它们,而不是一次将所有订单加载到内存中。假设您想要更新订单的状态,但您还需要确保订单 id 按顺序处理。允许您一条一条地处理记录。

842

laravel 批量插入数据 chunk

集合 |《Laravel 5.7 中文文档 5.7》| Laravel China 社区 $collection = collect([1, 2, 3, 4, 5, 6, 7]); $chunks = $collection->chunk(4); $chunks->toArray(); // [[1, 2, 3, 4], [5, 6, 7]]

qq_35271254的博客 1196

Laravel使用 chunkById 替代 chunk的庖丁解牛

/ 使用 created_at 作为游标列(需确保唯一或配合 ID)// ...created_at// 更安全:WHERE (created_at, id) > (?) —— 但 Laravel 不直接支持 // 此时建议用原生游标或分库分表中间件chunkById。

长风破浪会有时的博客 762

Laravel chunk 不使用id

写于2020-01-06 PHP/LARAVEL 12 分钟 读完 (大约 1837 个字)339次访问 Laravel chunk和chunkById的坑 公司中的项目在逐渐的向Laravel框架进行迁移。在编写定时任务脚本的时候,用到了chunk和chunkById的API,记录一下踩到的坑。 一、前言 数据库引擎为innodb。 表结构简述,只列出了本文用到的字段。 字段 类型 注释 id int(11) ID type int(11) ...

qiuziqiqi的博客 785

Laravel Get、Cursor、Chunk、Offset 对比

1 耗时:offset(`6.16s`) > chunk(`5.12s`) > get(`2.43s`) > cursor (`2.23s`)2 内存占用:get(`150MB`) > cursor(`13MB`) > offset(`2MB`) = chunk(`2MB`)注意:用一个大表记录数达到20万的时候测试1 cursor() get() 均会内存溢出参考结论:1 在读取大量记录并遍历的使用场景中:依据 数据量 大小可以选择不同的方式。

拔萝卜的码农 459

mysql chunk 函数_Laravel中的chunk组块结果集处理与注意问题

前言如果你需要处理成千上万个 Eloquent 结果,可以使用 chunk 命令。chunk 方法会获取一个“组块”的 Eloquent 模型,并将其填充到给定闭包进行处理。使用 chunk 方法能够在处理大量数据集合时能够有效减少内存消耗:PHP;">Flight::chunk(200,function ($flights) {foreach ($flights as $flight) {...

weixin_32112607的博客 801

laravel批量更新多条记录

写在前面熟悉laravel的童鞋都知道,laravel有批量一次性插入多条记录,却没有一次性按条件更新多条记录。是否羡慕thinkphp的saveAll,是否羡慕ci的update_batch,但如此优雅的laravel怎么就没有类似的批量更新的方法呢?高手在民间Google了一下,发现stackoverflow( https://stackoverflow.com/questions/261339

技术圈 1万+
上一篇: 在 Laravel 的 Blade 模版中定义变量
下一篇: Laravel各种错误总结,不定期更新
beyond__devil
博客等级 码龄14年 147粉丝 314原创
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值