CATご利用者様 各位
2025/01/28 13:15 サーバーが高負荷にて繋がりにくくなっている件について連絡します。
概要
本日、現在までに以下の時間帯でCATへの接続しづらいもしくは503エラーが発生していることを確認しております。
13:00 頃
該当の環境
ドメインが *catcloud.net の一部の環境
本日の状況について
- 本日(2025/01/28)、利用量の増加を確認しており、高負荷が発生している状況であることを確認しています。
- 前回(1/14)と同じく、現時点では接続できる状況ではありますが、断続的に発生することが予想されます。
- 常時モニタリングは行っており、高負荷状況が発生した場合、復旧に向けた対応を随時おこないます。
- なお503エラーが発生した場合自動的に復旧する構成としております。申し訳ございませんが、数分後に再度接続できるかの確認をお願いしたく存じます。
根本的な対応状況について
以下の対応を実施済みとなります。
- 25/1/16(木) 原因となっている処理について発生頻度を抑える修正を行いました。
- 25/1/23(木) DBのコネクションプーリングの最適化を実施しました。
これにより最適化以前よりも本事象が発生しにくい状態であること計測しています。 - 25/1/28(火) 深夜のリリースにて原因となっている処理の改善のための修正を適用します。
今後の施策及び対応時期については追って記載いたします。
本件についてご不便おかけし申し訳ございません。
不明な点がありましたらサポートまでご連絡ください。
cat_tech_support@shiftinc.jp
---
2025/01/14 16:40 サーバーが高負荷にて繋がりにくくなっている件について連絡します。
概要
本日、現在までに以下の時間帯でCATへの接続しづらいもしくは503エラーが発生していることを確認しております。
2025/01/14 10:00、11:00、11:30 、15:30
該当の環境
ドメインが *catcloud.net の一部の環境
本事象の状況について
- 本日(2025/01/14)より利用量の増加が発生しており、高負荷が発生している状況であることを確認しています。
- 現時点では接続できる状況ではありますが、断続的に発生することが予想されます。
- 常時モニタリングは行っており、高負荷状況が発生した場合、復旧に向けた対応を随時おこないます。
- なお503エラーが発生した場合自動的に復旧する構成としております。申し訳ございませんが、数分後に再度接続できるかの確認をお願いしたく存じます。
事象について及び、根本的な対応状況について
- 本件は24年12月に発生した高負荷状況と同じ状況であることを確認しています
- 24年12月にサーバーの容量の増強などを行っておりますが、処理が重い一部の処理が引き続き残存している状況です
- 原因となっている機能は特定しており、負荷状況を解消するための修正を数段階で対応している状況となります
(高負荷となる条件が特殊であることと、システム面の複雑性及び、確実な対応の担保の面から、引き続き改修作業を行っている状況となります。本件の対応については別途アナウンスを行います。)
ご不便をおかけし大変申し訳ございません。ご確認のほどよろしくお願いいたします。
---
2024/12/24 10:25 サーバーに負荷がかかっている件について現時点での対応の方針を記載します。
- 2024/12/24 17:00頃 テスト管理画面のパフォーマンスチューニングを反映します。
(アップデート時にメンテナンスによる停止はありません) - 以下のについて現在適用可能範囲、対応時期を検討しております。本件については検討が進み次第追って連絡いたします。
- テスト管理画面のパフォーマンスチューニング拡大範囲の確認、適用
- 重くなっている処理のキャッシュ化の検討
---
2024/12/18 9:35 サーバーのパフォーマンス増強を完了しました。
本対応は一次対応であるため、引き続きモニタリングを実施し恒久対応を進め
目処が立ち次第共有いたします。
---
2024/12/17 サーバーのパフォーマンス増強のメンテナンスを実施いたします。(2024/12/17 22:30～1:30)
詳しくは次のお知らせもご確認ください。
CAT・TDメンテナンスのお知らせ （2024/12/17 22:30～翌1:30ごろ）
---
2024/12/16 21:58 本件について現時点で把握している原因と現時点での対応方針を記載いたします。
原因
CATの利用量の急激な増加に伴って一部の処理で高負荷となっていることを確認いたしました。
本件については次の通り対応を進めています。
(該当のテナント様には個別に連絡を行っております)
一次対応
サーバーのパフォーマンス改善のためサーバーの増強を2024/12/17の深夜に予定しております。
本作業にて高負荷状況の回避を行います。
恒久対応
高負荷になっている画面のクエリ数が増大していること検知しており、本画面のチューニングを最優先で実施予定です。本件については別途目処が立ち次第連絡いたします。
ご不便をおかけし大変申し訳ございません。
2024/12/16 15:48 本件について解消の方法について引き続き確認を行っております。
申し訳ございません。対応が進み次第追って連絡いたします。
---
2024/12/16 9:00頃より 以下の環境についてCATが繋がりにくい(エラーが発生する、接続できるが重い)状況が発生していることを確認しております。
対象環境
CAT(*.catcloud.netのドメイン)の一部の環境
現在、原因の確認及び対応を進めております。
対応が進み次第追ってご連絡いたします。
本件、ご不便をおかけし大変申し訳ございません。
不明な点がありましたら、以下CATサポートまでご連絡願います。
CAT サポートチーム