障害報告 : 横断検索サービスの品質低下について（2021年8月15日）

状況　復旧済

発生日時　2021年8月15日9:00 ～ 2021年8月15日19:00頃 

状況　「通常時より検索が遅い」

発生原因　データセンター間ネットワークの品質低下

- 2021年8月15日 8:52 アラート検出
- 2021年8月15日 9:30 データセンター間ネットワークの品質低下を確認
- 2021年8月15日 9:45 自動バックアップの停止／有人によるネットワーク監視を開始

カーリルが運用するサービスは複数のデータセンターに冗長化されて運用されています。このデータセンターをつなぐネットワーク（インターネット）で異常なレイテンシ（通信の遅延）とパケットロスを検出しました。各データセンターは正常に機能しているものの、サービスの相互監視が正常に機能しないため、障害時の自動切換えを一時的に停止しました。また、検索速度向上のために一部のキャッシュはデータセンターを超えて共有されているため、横断検索サービスはネットワーク品質低下の影響を受けています。

現在この問題を回避するため、データセンター間の通信を最小限となるよう調整しており、通常よりも検索に時間がかかる状態となっています。

カーリルでは引き続き、サービスの可用性維持に努めてまいります。

2021年8月15日 17時35分 追記
これまでにGoogleの東京リージョン向けの通信経路（AS15169）に問題があることが判明しています。当該の通信経路を回避するオペレーションを行っています。

2021年8月16日 8時30分 追記
ネットワークの問題が解消されたことを確認いたしました。正常運用への切り替えを実施しています。

2021年8月16日 8時35分 追記
通常運用に切り替えました。