An issue in HENNGE Email DLP

Incident Report for HENNGE One

Update

本件につきまして続報です。
本事象に関するインシデントレポートを弊社ヘルプセンターにて公開いたしました。
なお、本事象の影響を受けたと考えられるお客様宛には別途、詳細なインシデントレポートをメールにてお送りしております。

https://support.hdeone.com/hc/ja/articles/39739697257369

上記にて公開したインシデントレポートでもご案内をしておりますが、
本事象の発生原因につきましては引き続き詳細調査を実施しており、再発防止策につきましても
弊社システムチームと連携しながら実装並びに運用の制定を進めております。
また、並行して HENNGE Email DLP 以外の関連製品における影響についても調査、確認を実施しております。

あわせまして、本件に関する詳細なインシデントレポート、および今後の更新版レポートにつきましては、
本事象の影響を受けたと考えられるお客様宛に別途メールにてご案内を行います。
まずは初版として、具体的な原因並びに再発防止策の内容を含むインシデントレポートを
本日 11:00 頃にご案内しておりますので、ご確認いただけますようお願い申し上げます。

Posted Nov 08, 2024 - 11:34 JST

Update

本件につきまして続報です。

現在、弊社システムチームと連携して詳細調査並びにインシデントレポートの
作成を進めておりますが、現時点で判明している情報についてご案内をいたします。

【事象発生日時】
2024 年 11 月 1 日(金) 04:00 頃〜 11:00 頃

【影響範囲】
上記時間帯に、Microsoft 365 から HENNGE Email DLP へリレーされたすべてのメールに影響がございました。

【発生原因】
Microsoft 365 にて TLS に関する仕様変更が行われたことに起因しているものと考えております。
現時点では、以下 Microsoft 社ヘルプセンターに公開されている
TLS 1. 0 および 1.1 の廃止に関連した変更に起因しているものと考えております。

▽2024 年 10 月 31 日までに終了する TLS 1.0 と TLS 1.1 のサポート
　https://learn.microsoft.com/ja-jp/lifecycle/announcements/tls-support-ending-10-31-2024

HENNGE Email DLP は以前より TLS1.3 に対応はしておりましたが、
上記の変更により Microsoft 365 から HENNGE Email DLPに対して TLS 1.3 での接続が
明示的に行われるようになったことに起因して問題が発生した可能性が高いものと考えております。

【暫定対応】
調査の結果、TLS 1.3 の通信で事象が発生し、TLS 1.2 の場合は事象が発生していないことが判明したため、
Microsoft 365 からのメールリレーについて、TLS 1.2 での接続を強制するよう対処を行いました。
これにより問題は解消され、同様の原因によるエラーが発生しない状況であることを確認しております。

なお、上記それぞれの内容につきましては現時点での情報となります。
今後の詳細調査により変更となる可能性がございますこと、何卒ご理解いただけますようお願い申し上げます。

お客様には多大なご迷惑をおかけしており申し訳ございません。
インシデントレポートの公開まで何卒お時間をいただけますよう何卒お願い申し上げます。

Posted Nov 01, 2024 - 16:01 JST

Update

本件につきまして続報です。
弊社システムチームでの対応後、HENNGE Email DLP にて滞留していたキューの処理も完了し、
現在は HENNGE Email DLP サービスが正常に稼働する状態へと復旧しております。

つきましては、本障害の対応として一時的に HENNGE Email DLP の切り離しをご実施いただいたお客様につきましては、
お手数ですが HENNGE Email DLP の再接続（トランスポートルールの再有効化）をご実施いただけますようお願い申し上げます。

なお、本事象の影響を受けて Microsoft 365 にて HENNGE Email DLP への再送が繰り返されているメールにつきましては、
Microsoft 365 側の再送間隔にもよりますが、しばらく時間を置いたのちに HENNGE Email DLP にて受付が行われ、一時保留画面に表示される挙動となります。
このため、先のご案内の通り手動で再送信を実施された場合、重複して宛先に送信されてしまう可能性がございますこと、何卒お含みおきくださいますようお願い申し上げます。

また、本事象の影響を受け送信者様に 500 番台のエラーメールが返送されている場合は再送が必要となりますので、お手数をおかけしますが手動での再送信のご対応をお願いいたします。

あわせまして、本障害の発生並び復旧対応に伴い、一時的に HENNGE Email DLP におけるメールキューが増加したため、
Google Workspace をご利用されているお客様につきましても、送信メールが一時保留画面に表示されるまでに数分程度のお時間がかかる状態となっておりました。
お客様には多大なるご迷惑をおかけしましたことを改めてお詫び申し上げます。

本事象に関する詳細なレポートにつきましては、後日改めて公開予定となります。
大変恐れ入りますが、何卒お時間をいただけますようお願い申し上げます。

Posted Nov 01, 2024 - 11:57 JST

Monitoring

本件につきまして続報です。
本事象につきまして、弊社システムチームにて対処を行い
一部のメールが HENNGE Email DLP にて処理され始めたことを確認しております。

引き続き状況をモニタリングしておりますが、一時的なトラフィックの増加もあり
現在も HENNGE Email DLP 一時保留画面上にメールが表示されるまでに時間がかかっている状況となります。
完全な復旧までにはお時間を要する見込みとなりますこと、何卒ご理解賜れますようお願い申し上げます。

状況に進捗があり次第改めて本ダッシュボードを更新してご案内いたします。
多大なご迷惑をおかけしており誠に申し訳ございません。

Posted Nov 01, 2024 - 10:52 JST

Update

本件につきまして続報です。
引き続き弊社システムチームと連携し、詳細について調査を実施しております。
しかしながら、現時点で原因究明までは至っていない状況でございます。

引き続き、最優先での調査を行なっております。
多大なご迷惑をおかけしており申し訳ございませんが、
今しばらくお時間をいただけますようお願い申し上げます。

また、重ねてのご案内となりますが、本事象につきまして外部送信するメールへの影響が発生している状況となりますため
ご必要に応じまして、以下ヘルプセンターをご参考に HENNGE Email DLP を一時的に切り離すこともご検討いただけますようお願い申し上げます。

▽HENNGE Email DLP の一時的な切り戻し方法 (Microsoft 365)
　https://support.hdeone.com/hc/ja/articles/29802542824601

なお、HENNGE Email DLP を切り離した場合、メールの一時保留や自動の添付ファイル暗号化が行われない状態となりますのでご留意ください。
また、送信できなかったメールにつきましては HENNGE Email DLP 切り離し後に再度 Microsoft 365 から送信いただく必要がございますが
HENNGE Email DLP 上で保留されているメールがある場合は、宛先に重複して送信される可能性がございますことをお含みおきくださいませ。

本件につきまして、多大なご迷惑をおかけしており誠に申し訳ございません。

Posted Nov 01, 2024 - 10:02 JST

Investigating

現在、Microsoft 365 から HENNGE Email DLP 経由でメールの送信をする際
HENNGE Email DLP 一時保留画面上に表示されるまで時間がかかる状態であること、
また以下のエラーとなり、外部宛のメールが送信できない場合があるというケースを確認しております。

エラー: 550 5.0.350 Remote server returned an error
　　　　530 Must issue a STARTTLS command first
メッセージの拒否者: gwsmtp.prod.mo.hdems.com

上記について、現在詳細調査を行なっております。

本事象につきましては、現時点で HENNGE 起因の問題であるか、Microsoft 365 起因の問題であるか判明していない状況となります。
しかしながら、外部送信するメールへの影響が発生している状況となりますため、ご必要に応じまして
以下ヘルプセンターをご参考に HENNGE Email DLP を一時的に切り離すこともご検討いただけますようお願い申し上げます。

▽HENNGE Email DLP の一時的な切り戻し方法 (Microsoft 365)
　https://support.hdeone.com/hc/ja/articles/29802542824601

なお、HENNGE Email DLP を切り離した場合、メールの一時保留や自動の添付ファイル暗号化が行われない状態となりますのでご留意ください。
また、送信できなかったメールにつきましては HENNGE Email DLP 切り離し後に再度 Microsoft 365 から送信いただく必要がございますが
HENNGE Email DLP 上で保留されているメールがある場合は、宛先に重複して送信される可能性がございますことをお含みおきくださいませ。

本件につきまして詳細調査を行なっておりますので、今しばらくお時間をいただけますよう何卒お願い申し上げます。

Posted Nov 01, 2024 - 09:07 JST

This incident affects: HENNGE Email DLP.