CAT ご利用者各位
2024/11/22 17:05 復旧を完了いたしましたので連絡いたします。
復旧完了について
2024/11/22 16:30 本件の復旧作業を完了しました。昨日お知らせしました通り、影響範囲について現在の進捗データは次の状態となっております。
リカバリ後の状態
- 11/18の進捗実績：11/18の進捗実績
- 11/19の進捗実績：11/19の進捗実績
- 11/20の進捗実績：11/20の進捗実績
原因及び今後の対応について
先に連絡しましたとおり、メンテナンス時の手順を起因した事象であることを確認しております。
今後、リリース・メンテナンス時のプロセスをはじめとした運用体制について見直し・改善を行います。
今回について本件についてご不便おかけし申し訳ございません。
不明な点などありましたらご連絡いただきたく存じます。
---
2024/11/21 復旧手順の検証を完了いたしました。復旧のスケジュールについてお知らせします。
復旧について
次の手順で復旧作業を行います。
- 11/18、11/19のバックアップデータより、各日の断面での進捗実績データを作成します。
- 上記のデータを各環境に適用します。
スケジュールについて
2024/11/21 より復旧の準備(データ作成)を開始します。
準備が完了次第、順次適用をいたします。
全環境の復旧は明日中を目処としておりますが、完了を確認次第追って本記事にてお知らせいたします。
ご確認のほどよろしくお願いいたします。
不明な点がありましたらご連絡いただきたく存じます。
---
2024/11/20 16:30 原因の確認を完了し、今後の方針について連絡いたします。
原因
今回の一連の事象について、次の点が原因であることを確認いたしました。
- 24/11/18に実施したメンテナンス後、日次確定処理(バッチ処理)の起動に失敗した
- また11/19深夜時点でも日次確定処理(バッチ処理)が停止したままであった
本事象により、11/18、11/19の進捗が確定されず、11/20に計上されている
現在の状況
24/11/20の10時頃に日次確定処理(バッチ処理)を再開しました。
これにより、停止していた直近(11/19)の日次確定処理を実行し11/19の実績が確定しています。
上記の処理状況から、次のリカバリ完了まで以下のデータの状態となっております。
- 11/18の進捗実績：なし
- 11/19の進捗実績：11/18、11/19、11/20の10時ごろまでの進捗実績
- 11/20の進捗実績：11/20 10時ごろ以降～11/20の日次確定処理実行までの進捗実績
- 11/21以降の進捗実績：正しく計上、確定されます(問題なし)
上記の状況を次のデータの状態にリカバリする手順を現在検証しております。
本来の状態(リカバリ後)
- 11/18の進捗実績：11/18の進捗実績
- 11/19の進捗実績：11/19の進捗実績
- 11/20の進捗実績：11/20の進捗実績
本リカバリについては早急に行うべく、手順の検証を行っております。今週中にはリカバリの予定を確定し追って連絡いたします。
申し訳ございませんが、引き続きご確認のほどよろしくお願いいたします。
---
2024/11/20 11:48 状況の進展がありましたので現在の状況を共有いたします。
状況
進捗確定処理の動作を解消しました。原因の確定を進めております。
不具合の事象
現在次の状況となっております。
11/18分、11/19分、11/20(朝10時頃まで)の進捗実績が、11/19分の進捗実績として計上されている。
対応の方針
11/18、11/19、11/20分についてそれぞれ本来の値に戻すための手順について確認を行っております。
本作業の目処が立ち次第、追って連絡いたします。
ご不便おかけし申し訳ございません。
---
2024/11/20 10:31 昨日、18日分が確定できていないという不具合が発生しておりましたが、
19日分についても確定できていない事象を確認しております。
以下、詳細を連絡いたします。
不具合の事象
11/18分、11/19分の進捗実績が確定しておらず、
11/20分に計上されている
原因
11/19分の進捗確定処理が動作しておらず、
事象が発生していることを確認しています。
真因の確認、及びリカバリスケジュールの策定については至急実施し、随時お知らせいたします。
操作について
昨日と変わらず、CATの操作(実施結果の記録)などは行っても問題ありません。
度重なるご不便をおかけし申し訳ございません。
確認と対応が進み次第随時連絡いたします。
---
2024/11/19 19:27 本件について確認を行い、次の通り対応をすることを決定しました。
ご不便おかけし申し訳ございませんが、ご確認のほどよろしくお願いいたします。
対応内容
2024/11/18 の進捗データ(確定した情報)を復旧いたします。
これにより、11/18分と11/19分の進捗データが本来の数値として計上されます。
(対応完了まで、11/18の情報は11/19分として計上したままとなります。)
復旧について必要となるバックアップの取得、データの抽出、復旧の検証を行った上で対応いたします。
対応予定日時
2024/11/21 (木) 深夜
お手数ではございますが、2024/11/22 (金)の朝より復帰していることをご確認いただきたく存じます。
---
2024/11/19 14:12 現在以下の事象を検知しており、対応について検討を行っております。ご不便おかけし申し訳ございません。対応について確認が進み次第追って本情報を更新いたします。
事象
24/11/18(月) の進捗情報(全体進捗・詳細進捗)について、24/11/19(火)に計上されている事象が発生している
対象環境
CAT(*.catcloud.netのドメイン)の一部の環境
原因
24/11/18(月) 22:30に実施したメンテナンスにより、日次の進捗確定処理が実行されなかったことが原因であることを確認しております。
対応
本件の対応については現在確認を行っております。確認、方針が決まり次第追って連絡いたします。
不明な点がありましたら、以下CATサポートまでご連絡願います。
CAT サポートチーム