カテゴリー: Server

ブログ運営で最も気をつけること（障害報告）

1 お詫び
2 障害報告書
3 対応
4 再発防止策
5 さいごに

お詫び

10月21日（土）1時頃〜10月23日（月）16時30分頃まで本サイトにアクセスできない状態となっておりました。
皆様にはご不便をおかけしましたことをお詫び申し上げます。
二度とこのようなことがないよう再発防止に努めてまいります。

障害報告書

障害内容

サイトがアクセス不可になっていた

障害期間

10月21日（土）1時頃〜10月23日（月）16時30分頃

障害の原因

クレジットカード利用停止（BAN）のためConoHaサーバの料金支払いが遅延したことでサービスが停止した。

障害の長期化の原因

ちょうど同時期にConoHaのバックボーン回線がDDoS攻撃を受けており、障害発生時の原因がDDoS攻撃の可能性もあると判断したことで、初動が遅れました。

また、ConoHaからの問い合わせの返信もなく、原因の特定に時間がかかってしまいました。（インフラ事業者ではありますが、土日の問い合わせはサービスの状況に関わらず、受け付けていないと思います。）

詳細

10月前半　ConoHaサーバの決済に登録していた楽天カードがBANされる。このときカード会社から特に連絡無し
10月21日（土）1時頃　ConoHaからも事前の予告なしにサービスを停止した旨のメールが届く（障害発生）
10月21日（土）12時頃サーバに接続できないことを確認したが、ちょうど前日ConoHaのバックボーン回線がDDoS攻撃を受けていたので、それで遅延していると判断した。
10月21日（土）13時頃　メールなどを確認していたところ、ConoHaがサービスを停止したということを確認し、クレジットカード会社に連絡、BANされた旨を伝えられる(特に理由は教えてくれませんでした)
10月21日（土）14時頃　別のクレジットカードを登録する
10月21日（土）未明　コントロールパネル上はサーバが正常起動となっているが、コンソールでもアクセスできないため、問い合わせを行う
10月22日（日）昼過ぎ　ConoHaから連絡がないため、再度問い合わせを行う。
10月23日（月）10時頃 ConoHaからやっと連絡がある。ただし、「決済は完了しているので、後はお客様環境なのでそちらで対応してください」とだけであり、こちらで調査を開始する
10月23日（月）12時頃　サーバを再度起動したがサイトにアクセスできず。Kernel Panicが発生した。
10月23日（月）12時頃　復旧対応を行う（詳細は後述）
10月23日（月）16時30分頃　サイト復旧

対応

決済に使用するクレジットカードを変更する

ConoHaのコントロールパネルより、BANされたメンバーA（フリーランス）のクレジットカードから、メンバーB（正社員）のクレジットカードに変更。

一つ前のOSバージョンで起動する

yum updateによりKernelがアップデートされたことがKernel Panicを起こした原因でした。
手順は下記の通りです。

コントロールパネルのコンソールボタンを押してコンソールを立ち上げる
シャットダウンボタンを押してサーバを停止する
起動ボタンを押したらすぐにコンソールの再読み込みボタンを押して、キーボードのEnterを押す
起動したら一つ前のOSのバージョン（上から二番目）を選択して起動する

必要なサービスの起動

一つ前のOSバージョンで起動するとSSHでアクセスできるようになるので、必要なサービスを起動します。

SSHでログインする
Nginxを起動する
sudo systemctl restart nginx.service
firewallを止める（ポートのアクセス制限はConoHaの機能を利用）
sudo systemctl status firewalld
sudo systemctl stop firewalld
sudo systemctl disable firewalld.service