下記日時に発生したChatworkのアクセス障害についてご報告いたします。
■発生日時
2017年11月15日 17:28 ~ 20:28
■障害内容
プログラムのアップデートをおこなった際に、想定外のサーバー高負荷が発生し、
サービス全体がアクセスできない状態となりました。
■復旧対応
緊急メンテナンスを実施し復旧対応をおこないました。
■障害原因
アップデートしたプログラムの不具合により、通常とは異なるパターンの読み込み処理が大量発生したことで、
データベースへのアクセスが増加しサービスが不安定な状態となりました。
サーバーが高負荷になったことを検知してすぐに、アップデート内容を戻す復旧対応をおこないましたが、
症状が解消しなかったため、アクセス制御によりデータベースの負荷を低減することで、
サービスを一部回復するとともに、原因究明の調査を実施いたしました。
調査の結果、一部の共通システムに関わる部分のアップデート内容が完全には前の状態に
戻っていなかったことがわかり、再度アップデート内容を戻す処理を実施したところ
急速に負荷が収束し、回復しました。
■再発防止
データベースへのアクセスに関わる改修について、十分な事前確認がおこなえるよう、
検証方法の見直しおよび改善などの再発防止対策をおこなってまいります。
また、障害が全体に波及しないような対策を行うとともに、今回、
正常に前の状態に戻すことができなかった原因である、共通システムに関わる部分についても、
アップデート内容を戻せるよう、関連システムを改善いたします。
この度は長時間のアクセス障害により、ご利用中の皆さまには
大変ご迷惑をおかけいたしましたことを、心よりお詫び申し上げます。