BackEnd

Laravelのchunkメソッドとcursorメソッドのメモリ使用量

投稿日:

はじめに

テーブルの全レコードに一括で処理を行うバッチを作成する事ってありますよね。
そういう時に出来るだけメモリ節約しながらの実装が出来る chunk() メソッドと cursor() メソッドの紹介です

テスト用のデータ準備

ローカル環境でテスト用にSeederとFactoryを利用して、100,000件のレコードを作成します。
Memberモデルとリレーション用にCommentモデルのレコードも同数作成します。

Seederファイル

Factoryファイル

get()

試しに、普通に get() メソッドで取得してみます。

chunk()

それでは、 chunk() メソッドで取得してみます。
chunkメソッドを利用すると、クエリを複数回発行しながら、データを小分けにして取得可能です。
第一引数に取得するレコード数、第二引数に取得毎に行う処理をクロージャで指定出来ます。

メモリ使用量が大分減りましたね。
内部的には以下のように、第一引数で指定した数分offsetを指定していて、文字通り小分けして取得しています。

chunkById()

chunkした結果を使って、DB更新する場合は chunkById() メソッドを使用します。

chunk()との違いは、selectの際に where id > ? が付与されていて、プライマリキーを基準にoffset的にデータ取得するのでselectの度に検索結果が変わっても抜け漏れがなくなります

cursor()

cursor() メソッドでも取得してみます。
これは、内部でLazyCollection(Generatorのラッパーのようなもの?)を返し、取得したデータを1行ずつ取得出来るようです。

メモリの最大使用量はchunk()よりも大きい結果となりました。
クエリを見ると、シンプルに全件取得する1つだけが発行されています。
また、 with() メソッドでリレーション指定していますが、取得されていないようです。

さいごに

今回の結果ではchunk()の方がメモリ節約は出来るようでしたが、実装の際は、実際の処理で一度試してから使いたい所です。

おすすめ書籍

PHPフレームワークLaravel Webアプリケーション開発 バージョン8.x対応 独習PHP 第4版

blog-page_footer_336




blog-page_footer_336




-BackEnd
-,

執筆者:

免責事項

このブログは、記事上部に記載のある投稿日時点の一般的な情報を提供するものであり、投資等の勧誘・法的・税務上の助言を提供するものではありません。仮想通貨の投資・損益計算は複雑であり、個々の取引状況や法律の変更によって異なる可能性があります。ブログに記載された情報は参考程度のものであり、特定の状況に基づいた行動の決定には専門家の助言を求めることをお勧めします。当ブログの情報に基づいた行動に関連して生じた損失やリスクについて、筆者は責任を負いかねます。最新の法律や税務情報を確認し、必要に応じて専門家に相談することをお勧めします。


comment

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

CAPTCHA


関連記事

Go言語

GoフレームワークGinでミドルウェアを使ってログインAPIを実装

1 はじめに2 ログインAPIの作成3 ログインのセッション管理4 ミドルウェア4.1 gin.Default()4.2 Logger4.3 Recovery4.4 sessions5 独自ミドルウェ ...

laravel logo

laravel-enumを使ってみたら快適だった

1 はじめに2 enumについて3 環境4 導入5 enumクラス5.1 生成5.2 enumクラス編集5.3 日本語化6 マイグレーション6.1 生成6.2 編集7 プロパティのキャスト8 さいごに ...

Go言語

sqlcを使ってSQLファイルからGoのコードを生成する

1 はじめに2 sqlcとは2.1 コード解析2.2 サポートする言語とデータベース3 sqlcでコードを生成する3.1 準備3.2 DDLを書く3.3 クエリを書く3.4 コードを生成する3.5 生 ...

laravel logo

Laravelのブラウザテスト「Dusk」をシンプルなCRUDで始めてみよう

1 はじめに2 Laravel Duskのセットアップ3 新規登録のテスト3.1 テスト対象となるコード3.2 Duskのテストコード3.3 テストの実行4 更新のテスト4.1 テスト対象となるコード ...

Go言語

Go言語 gocraft/workを使って常駐プロセスでジョブを処理させる

1 はじめに2 workの特徴3 workを使えるようにする3.1 Redisのインストール3.2 Go用のライブラリインストール4 Enqueue〜ジョブ実行まで4.1 Enqueue側4.2 ジョ ...

フォロー

blog-page_side_responsive

2022年2月
 12345
6789101112
13141516171819
20212223242526
2728  

アプリ情報

私たちは無料アプリもリリースしています、ぜひご覧ください。 下記のアイコンから無料でダウンロードできます。