お詫び
10月21日(土)1時頃〜10月23日(月)16時30分頃まで本サイトにアクセスできない状態となっておりました。
皆様にはご不便をおかけしましたことをお詫び申し上げます。
二度とこのようなことがないよう再発防止に努めてまいります。
障害報告書
障害内容
サイトがアクセス不可になっていた
障害期間
10月21日(土)1時頃〜10月23日(月)16時30分頃
障害の原因
クレジットカード利用停止(BAN)のためConoHaサーバの料金支払いが遅延したことでサービスが停止した。
障害の長期化の原因
ちょうど同時期にConoHaのバックボーン回線がDDoS攻撃を受けており、障害発生時の原因がDDoS攻撃の可能性もあると判断したことで、初動が遅れました。
また、ConoHaからの問い合わせの返信もなく、原因の特定に時間がかかってしまいました。(インフラ事業者ではありますが、土日の問い合わせはサービスの状況に関わらず、受け付けていないと思います。)
詳細
10月前半 ConoHaサーバの決済に登録していた楽天カードがBANされる。このときカード会社から特に連絡無し
10月21日(土)1時頃 ConoHaからも事前の予告なしにサービスを停止した旨のメールが届く(障害発生)
10月21日(土)12時頃 サーバに接続できないことを確認したが、ちょうど前日ConoHaのバックボーン回線がDDoS攻撃を受けていたので、それで遅延していると判断した。
10月21日(土)13時頃 メールなどを確認していたところ、ConoHaがサービスを停止したということを確認し、クレジットカード会社に連絡、BANされた旨を伝えられる(特に理由は教えてくれませんでした)
10月21日(土)14時頃 別のクレジットカードを登録する
10月21日(土)未明 コントロールパネル上はサーバが正常起動となっているが、コンソールでもアクセスできないため、問い合わせを行う
10月22日(日)昼過ぎ ConoHaから連絡がないため、再度問い合わせを行う。
10月23日(月)10時頃 ConoHaからやっと連絡がある。ただし、「決済は完了しているので、後はお客様環境なのでそちらで対応してください」とだけであり、こちらで調査を開始する
10月23日(月)12時頃 サーバを再度起動したがサイトにアクセスできず。Kernel Panicが発生した。
10月23日(月)12時頃 復旧対応を行う(詳細は後述)
10月23日(月)16時30分頃 サイト復旧
対応
決済に使用するクレジットカードを変更する
ConoHaのコントロールパネルより、BANされたメンバーA(フリーランス)のクレジットカードから、メンバーB(正社員)のクレジットカードに変更。
一つ前のOSバージョンで起動する
yum updateによりKernelがアップデートされたことがKernel Panicを起こした原因でした。
手順は下記の通りです。
- コントロールパネルのコンソールボタンを押してコンソールを立ち上げる
- シャットダウンボタンを押してサーバを停止する
- 起動ボタンを押したらすぐにコンソールの再読み込みボタンを押して、キーボードのEnterを押す
- 起動したら一つ前のOSのバージョン(上から二番目)を選択して起動する
必要なサービスの起動
一つ前のOSバージョンで起動するとSSHでアクセスできるようになるので、必要なサービスを起動します。
- SSHでログインする
- Nginxを起動する
sudo systemctl restart nginx.service - firewallを止める(ポートのアクセス制限はConoHaの機能を利用)
sudo systemctl status firewalld
sudo systemctl stop firewalld
sudo systemctl disable firewalld.service
再発防止策
今後は決済登録するクレジットカードは正社員のメンバーのクレジットカードにいたします。また、今後のために復旧手順をまとめておきます。
さいごに
クレジットカードがBANされるとは夢にも思っておりませんでした。
フリーランスの方は同じ状況にならぬようご注意ください。
私たちは普段はAWSを利用しておりますが、今回のブログサーバでは、初めてConoHaを利用し、サポート内容などをしっかりと把握できていませんでした。
サービス性質によっては、しっかりとサーバを冗長構成にしたり、VPSやクラウドサービスなどインフラ事業者のサポート内容なども把握してしっかりと自分たちのサービスにあったものを選定しましょう。
この度はご不便をおかけしてまことに申し訳ございませんでした。
色々と書きましたが、一番お伝えしたいことは、「クレジットカードのBANは色々と影響は大きい」ということです…