前回の記事では、AWS LambdaとSQSを組み合わせるシンプルな方法を紹介しました。
今回は引き続きLambdaについて、関数スケーリングとローカルでの実行について紹介します
まず、関数のスケーリングについて、大まかに説明します。
前提として、Lambda関数は、特に設定しなくてもリクエスト数に応じて自動的にスケーリングしてくれますが、利用者のニーズに応じてカスタマイズすることもできます。
この設定にあたり、どのように同時実行（concurrency）されるかについて抑えておく必要があります。
同時実行（concurrency）とは、Lambda関数が同時に処理できる未完了のリクエスト数のことです。
リクエストが来るとLambda関数は、実行環境の個別のinstanceをprovisioningします。そして、処理が終わってもしばらくはそのinstanceを破棄せずに維持し、次のリクエストが来たときにそのまま使用することができます。もし、未使用のprovisioning済みのinstanceがなければ、新しいinstanceをprovisioningして、リクエストを処理します。
ただし、無制限にinstanceを増やせるわけではなく、regionごとに上限がきまっています（一般的には1000まで。この数は増やすこともできる）。
regionごとの上限や上限の増やし方については割愛しますので、詳しくは公式ドキュメントをご覧ください。
同時実行は、予約された同時実行（reserved concurrency）とprovisioningされた同時実行（provisioned concurrency）の2つの方法で制御することができます。
reserved concurrency
予約された同時実行とは、あるLambda関数のために同時実行の枠を確保することを意味します。
これは何かというと、先にも述べた通りregionごとに同時実行の上限が決まっていて、その数はすべてのLambda関数で共有します。もし、重要な処理を行うLambda関数があったとしても、予約された同時実行を設定していなければ、他のLambdaが同時実行の枠をすべて使い切ってしまっている場合、どれかの処理が終わるまで待機しなければいけません。
それを防ぐために、予約された同時実行を設定して、他のLambdaが使えない同時実行の枠を確保することができます。
また、予約された同時実行を設定した場合、その数分のLambda関数が動いていて、かつまだ同時実行の枠に余裕があったとしても、予約された同時実行以上同時実行は行えません。つまり、Lambda関数ごとの同時実行の上限としても扱うことができます。
予約された同時実行の最大数は、regionごとに同時実行の上限よりいくらか少ない値までしか設定できません。
provisioned concurrency
プロビジョニングされた同時実行とは、予め決められた数のprovisioningされたinstanceを常に保持する設定です（つまり、 Hot Standby）。これは別途料金がかかります。
プロビジョニングされた同時実行の最大数は、予約された同時実行よりいくらか少ない値までしか設定できません。
関数のスケーリングについては、他にもバースト（どれくらいのペースでprovisioningされたinstanceを増やすか）の動作についてや、CloudWatchと連携して同時実行を制御する方法などもありますが、これらについては割愛します。詳しくは公式ドキュメントをご覧ください。
次に紹介するのは、AWSのサービスのmockをローカルで動作させる方法についてです。
AWSのサービスをローカルで実行させたい場合、一般的にはLocalStackを使うことになると思います。
今回は、ローカルでLocalStackでSQSとLambdaを立ち上げ、SQSへのメッセージ送信をトリガーにしてLambda関数を実行してみます。
LocalStackは、Dockerのコンテナ上にAWSサービスを擬似的に展開することができます。
community版は無償で使うことができますが、有償のPro版より機能が落とされています（例えば、ECSやRDSなどが使えない）。community版とPro版の比較はこちらをご覧ください。
LocalStackのSetupはdocker-compose.ymlを書くだけなので簡単です。
version: "3.8"
services:
localstack:
container_name: "${LOCALSTACK_DOCKER_NAME-localstack_main}"
image: localstack/localstack
ports:
- "127.0.0.1:4566:4566" # LocalStack Gateway
- "127.0.0.1:4510-4559:4510-4559" # external services port range
environment:
- DEFAULT_REGION=ap-northeast-1
- DEBUG=1
- DOCKER_HOST=unix:///var/run/docker.sock
volumes:
- "${LOCALSTACK_VOLUME_DIR:-./volume}:/var/lib/localstack"
- "/var/run/docker.sock:/var/run/docker.sock" 用意したら、docker-compose up -dでコンテナを立ち上げます。
LocalStackが立ち上がったら、AWS CLIコマンドでSQSのQueueを作成します。
aws sqs create-queue --queue-name example-queue --endpoint-url http://localhost:4566
このように表示されたらQueueの作成は成功です。
{
"QueueUrl": "http://localhost:4566/000000000000/example-queue"
}
次に、Lambda関数を作成して、Goの実行ファイルをdeployし、SQSと関連付けます。Goのコードは前回の記事のsendMessage関数を流用します。
こちらを参考に以下のようなdeployスクリプトを用意しました。
#!/usr/bin/env bash # intel mac用 GOOS=linux GOARCH=amd64 CGO_ENABLED=0 go build -ldflags '-w -s' -o main ./get_message/main.go zip main.zip main # LambdaのDelete aws lambda delete-function --function-name example-sqs-consumer --endpoint-url http://localhost:4566 > /dev/null 2>&1 # LambdaのCreate aws lambda create-function --function-name example-sqs-consumer \ --runtime go1.x --architectures x86_64 --role arn:aws:iam::123456789012:role/sampleRole --handler main \ --zip-file fileb://main.zip --endpoint-url http://localhost:4566 > /dev/null 2>&1 # Lambdaの設定 aws lambda update-function-configuration --function-name example-sqs-consumer \ --endpoint-url http://localhost:4566 > /dev/null 2>&1 # SQS Queue イベントトリガーを設定 aws lambda create-event-source-mapping --function-name example-sqs-consumer \ --event-source-arn arn:aws:sqs:ap-northeast-1:000000000000:example-queue --endpoint-url http://localhost:4566 > /dev/null 2>&1 # 後始末 rm main main.zip
こちらを実行し、このようにLambda関数が作成されていればdeployは成功です。
% aws lambda list-functions --endpoint-url http://localhost:4566 --region ap-northeast-1
{
"Functions": [
{
"FunctionName": "example-sqs-consumer",
"FunctionArn": "arn:aws:lambda:ap-northeast-1:000000000000:function:example-sqs-consumer",
"Runtime": "go1.x",
"Role": "arn:aws:iam::123456789012:role/sampleRole",
"Handler": "main",
"CodeSize": 2712522,
"Description": "",
"Timeout": 3,
"MemorySize": 128,
"LastModified": "2023-09-15T19:00:37.793490+0000",
"CodeSha256": "aRo75P/WQejSalYDM90D1g4D+nqGIVdvbqG6Ca8Y/Mk=",
"Version": "$LATEST",
"TracingConfig": {
"Mode": "PassThrough"
},
"RevisionId": "3e11bd83-d178-485f-a15d-0f00a94870e8",
"PackageType": "Zip",
"Architectures": [
"x86_64"
],
"EphemeralStorage": {
"Size": 512
}
}
]
}
最後に、SQSにメッセージを送って、Lambda関数が実行されるかやってみます。
aws sqs send-message \ --queue-url http://localhost:4566/000000000000/example-queue \ --message-body "hoge" \ --endpoint-url http://localhost:4566
Dockerのログに以下のような表示がされていれば成功です。
2023-09-16 02:32:43 localstack_main | 2023-09-15T17:32:43.347 DEBUG --- [ Thread-5] l.s.l.i.version_manager : > Message ID: 3879138c-88be-4693-8be9-94d5d0deee4f 2023-09-16 02:32:43 localstack_main | 2023-09-15T17:32:43.347 DEBUG --- [ Thread-5] l.s.l.i.version_manager : > Message Body: hoge 2023-09-16 02:32:43 localstack_main | 2023-09-15T17:32:43.347 DEBUG --- [ Thread-5] l.s.l.i.version_manager : > END RequestId: 246d589d-cbde-4442-9c9f-207f0c8c4483 2023-09-16 02:32:43 localstack_main | 2023-09-15T17:32:43.347 DEBUG --- [ Thread-5] l.s.l.i.version_manager : > REPORT RequestId: 246d589d-cbde-4442-9c9f-207f0c8c4483 Duration: 4.16 ms Billed Duration: 5 ms Memory Size: 128 MB Max Memory Used: 128 MB
Lambdaの関数スケーリングについてと、ローカルでのAWSサービスの実行方法について紹介しました。