【Puma】アプリサーバのチューニング

1 はじめに
2 チューニングで注意する項目
3 子プロセスの数
4 スレッド数
- 4.1 一般的にはスレッド数は”5”で良い
5 Copy-on-write
- 5.1 効率を高めるために
6 サーバスペック
7 設定サンプル
- 7.1 デーモンとして起動
- 7.2 workerを定期的に再起動させる
8 さいごに
9 参考

はじめに

みなさん、アプリサーバのチューニングはどのように行っていますか？
私の場合、使うサーバのスペックがだいたい同じくらいなので、過去の設定ファイルを使いまわしていました。

そんな中、先日本番環境で初めてPumaを使用しましたが時間の都合でチューニングが行えませんでしたので、今回Pumaのパフォーマンスチューニングについて調べてみました。

チューニングで注意する項目

アプリサーバのチューニングにおいて注意する項目は下記のとおりです。

子プロセスの数
スレッドの数
Copy-on-write
サーバスペック（メモリ、CPU等）

これらの項目はPumaに限らずUnicornやPassengerなどの他のアプリサーバにも当てはまります。
それでは個別の設定を見ていきましょう。

子プロセスの数

Puma（UnicornとPassengerも同様）はforkを使う設計になっており、アプリのプロセス1つから複数のコピー（子プロセス）を作成します。
これにより、例えば2コア4スレッドのマシンなら4つの子プロセスを作成することで大幅にパフォーマンスを向上させることができます。
この子プロセスの数がチューニングにおける最も重要な設定です。

最低3つの子プロセスを割り当てる

1サーバあたり最低3つの子プロセスを割り当てるのとルーティングの効率が良いようで、それに合わせてサーバスペックを調整すると良いです。
最適な子プロセスの数については、CPU使用率や搭載するRAMに合わせて調整します。

最大子プロセス数

最低3つの子プロセスを割り当てれば良いことはわかりました。では、最大でいくつの子プロセスを割り当てることができるでしょうか。
これはRAMとCPUで決まります。

まず、RAMですがサーバのRAMがサポートできる個数を上回る子プロセスを割り当てるとパフォーマンスが低下します。
なので、メモリ使用量には余裕を保つ必要があります。
一つの目安として下記の式を見てください（多くのRubyアプリは1プロセスあたり200MBから400MBのメモリを使います）
(RAM / (プロセスあたりのメモリ使用量 * 1.2))

次にCPUですが、サーバの利用可能なCPUキャパシティを超えないようにする必要があります。
理想的には、CPU使用率100％になる総割り当て時間の5％を超えないことです。

CPUコア数と子プロセス数

一般に「CPUのコア数より多くの子プロセスを1サーバに割り当てるべきではない」と言われますが、多くのアプリケーションではプロセスの数は利用できるハイパースレッドの数の1.25倍から1.5倍に落ち着くようです。

なぜPumaの子プロセス数を増やす必要があるのか

Pumaはマルチスレッドに完全対応したアプリサーバなのに、なぜプロセス数を増やす必要があるのかと疑問を持つかもしれません。
たしかに、JRubyやRubiniusを使用しているのならば、理論上は1つのプロセスで処理することができます。
しかし、MRIにはグローバルVMロック（GVL）という仕組みがあり、一度に1つのRubyプロセスで実行できるスレッドは1つに制限されてしまうためです。

スレッド数

次にスレッド数について見ていきます。
並列化によってどの程度スピードが上がるかは、それぞれのアプリケーションの並列化度合いによります。

一般的にはスレッド数は”5”で良い

上述の通り、MRIではGVMの影響でIO待ちのみ並列化できるため、スレッド数を増やすことによる恩恵を受けにくいという特徴があります。
また、MRIではスレッド数を増やす事によりメモリを大幅に消費する場合があります。
スレッド数は現在の設定での測定値を定期的にチェックして設定するのが良いですが、一般的にはスレッド数を5に設定して放置してもたいてい大丈夫なようです。

Copy-on-write

あらゆるUnixベースのOSはメモリの挙動がCopy-on-writeで実装されています。
Copy-on-writeとは簡単に説明すると、プロセスがforkして子プロセスができた時点ではメモリを親プロセスと完全に共有していて、子プロセスに変更があった場合に初めてコピーされて子プロセス専用メモリになる方式です

効率を高めるために

Copy-on-writeはオフにできるものではありません。
Copy-on-writeの効率を高めるためにはforkの前にアプリを全て読み込む必要があります（設定に関しては後でまとめて記載します）

サーバスペック

一般的に、サーバで利用可能なCPUやメモリの使用率は70％から80％に留めるのが良いとされています。
子プロセスの数で書いたとおり、最低でも子プロセスは3つにしたほうが効率が良いため、これを考慮してスペックを決めると良いと思います。

また、ハイパースレッドの数に応じてプロセス数の上限が決まるため、コア数やハイパースレッディングをサポートしているのか等も確認しておくと良いでしょう。

設定サンプル

では、実際にPumaの設定ファイルを書いてみましょう。
Pumaの設定ファイルはconfig/puma/に作成します。

子プロセスの数
スレッドの数
Copy-on-write

上記のポイントを考慮して作成した設定ファイルは下記の通りです。

 environment "production" # UNIX Socketへのバインド tmp_path = "#{File.expand_path("../../..", __FILE__)}/tmp" bind "unix://#{tmp_path}/sockets/puma.sock" # スレッド数とWorker数の指定 threads 5, 5 workers 3 preload_app! pidfile "#{tmp_path}/pids/puma.pid" # Allow puma to be restarted by `rails restart` command. plugin :tmp_restart before_fork do ActiveRecord::Base.connection_pool.disconnect! if defined?(ActiveRecord) end on_worker_boot do ActiveRecord::Base.establish_connection if defined?(ActiveRecord) end

environment "production"

# UNIX Socketへのバインド

tmp_path = "#{File.expand_path("../../..", __FILE__)}/tmp"

bind "unix://#{tmp_path}/sockets/puma.sock"

# スレッド数とWorker数の指定

threads 5, 5

workers 3

preload_app!

pidfile "#{tmp_path}/pids/puma.pid"

# Allow puma to be restarted by `rails restart` command.

plugin :tmp_restart

before_fork do

ActiveRecord::Base.connection_pool.disconnect! if defined?(ActiveRecord)

end

on_worker_boot do

ActiveRecord::Base.establish_connection if defined?(ActiveRecord)

end

デーモンとして起動

アプリケーションを長時間バックグラウンドに常駐させるために、デーモンとして起動します。

 # デーモン化の設定 daemonize stdout_redirect "#{tmp_path}/logs/puma.stdout.log", "#{tmp_path}/logs/puma.stderr.log", true

# デーモン化の設定

daemonize

stdout_redirect "#{tmp_path}/logs/puma.stdout.log", "#{tmp_path}/logs/puma.stderr.log", true

workerを定期的に再起動させる

Pumaのworkerは起動して暫く経つとメモリの消費が膨れ上がるため、定期的にworkerを立ち上げ直します。
これには、PumaWorkerKillerというGemを利用します。
https://github.com/schneems/puma_worker_killer

 # puma_worker_killerの設定 before_fork do PumaWorkerKiller.config do |config| # 閾値を超えた場合にkillする config.ram = 1024 # mb config.frequency = 5 * 60 # per 5minute config.percent_usage = 0.9 # 90% # 閾値を超えたかどうかに関わらず定期的にkillする config.rolling_restart_frequency = 24 * 3600 # per 1day # workerをkillしたことをログに残す config.reaper_status_logs = true end PumaWorkerKiller.start ActiveRecord::Base.connection_pool.disconnect! if defined?(ActiveRecord) end

# puma_worker_killerの設定

before_fork do

PumaWorkerKiller.config do |config|

# 閾値を超えた場合にkillする

config.ram = 1024 # mb

config.frequency = 5 * 60 # per 5minute

config.percent_usage = 0.9 # 90%

# 閾値を超えたかどうかに関わらず定期的にkillする

config.rolling_restart_frequency = 24 * 3600 # per 1day

# workerをkillしたことをログに残す

config.reaper_status_logs = true

end

PumaWorkerKiller.start