piyolog

piyokangoの備忘録です。セキュリティの出来事を中心にまとめています。このサイトはGoogle Analyticsを利用しています。

NTTドコモで発生した全国規模の通信障害についてまとめてみた

2021年10月14日、NTTドコモは全国で音声通話やデータ通信が利用しにくくなる通信障害が発生したと公表しました。障害は同日17時頃の発生以降、完全復旧の発表は10月15日5時点でされていません。ここでは関連する情報をまとめます。

全国で障害、回復公表後も一部で影響継続

  • 10月14日17時頃からNTTドコモ全国のエリアで音声通話、データ通信が利用しにくくなる通信障害が発生。同日19時57分にドコモより障害が回復したと発表されたが、その後も接続ができないとする投稿がSNS上で相次いだ。*1
  • 障害回復公表後も影響が継続した原因として、通話や通信が集中的に発生(通常のトラフィックの3倍の規模)し混雑した状況となり輻輳が完全に解消しなかった。(そのためドコモの発表情報では10月14日時点で「一部回復」といった表現が使われていた。)4G/5Gは翌日早朝に解消したが3Gは夜まで障害の回復が遅れた。*2
障害発生時間 4G/5G 約12時間5分:2021年10月14日17時頃~2021年10月15日5時5分
3G 約29時間:2021年10月14日17時頃~2021年10月15日22時00分
対象サービス 音声通話、データ通信サービス
対象地域 全国
想定影響者数 当初約200万人と公表*3その後少なくとも延べ約1290万人
音声通話:約15%減(前日比)
データ通信:約4%減(前週比)
影響者数の内訳

NTTドコモは利用できない状況、利用しにくい状況に分けて次の通り公表を行った。

状況 利用できない状況 利用しにくい状況
発生日時 2021年10月14日(木)17:37 2021年10月14日(木)16:54
解消日時 2021年10月14日(木)19:57 2021年10月15日(金)22:00
影響時間 2時間20分 29時間6分
(利用できない2時間20分を含む)
影響規模 約100万人 音声通話:約460万人
データ通信:830万人以上
影響範囲 全国(石川県・富山県・福井県・奈良県・和歌山県を除く) 全国
  • 利用できないエリアに5県が含まれなかった理由はネットワークコントロールの100%制限を実施しなかったため。東西に分けて全国的に実施していたが、5県に到達する頃には規制効果が薄れ輻輳も収まっていたため。*4

発生事象については次の通り。

利用できない状況 工事切戻作業で発生した大量の位置登録信号に対処するための位置登録規制により、一部利用者の音声・データ通信が利用できない
利用しにくい状況 利用できなかった状況に加え、大量の位置登録信号の輻輳がネットワーク全体に波及したことにより、音声・データ通信が利用しづらい

影響規模の推計方法は次の通り。

対象 推計方法
利用できない利用者約100万人 通常稼働時と位置登録100%規制時の位置登録数差分の最大値
利用しづらい音声通話利用者約460万人 通常稼動時と事象発生時の呼数の差分と一人あたりの平均呼数から算出
利用しづらいデータ通信830万人以上 通常稼動時と事象発生時の4Gサービスの位置登録数差分の最大値

IoT関連工事のトラブル発端

  • NTTドコモは原因が「ネットワーク工事の切り戻しに伴う信号量増大によるネットワーク輻輳」であったと公表している。
  • 10月16日時点での重大なお知らせには具体的なネットワーク工事の内容について触れられていないものの、当日未明より行われていたdocomo IoT回線管理プラットフォームのメンテナンス工事に起因した障害だったと報じられた。*5 また15日に行われた記者会見でIoTサービスを提供する加入者・位置情報サーバー4か所(バックアップ含む)を旧設備から切り替える工事が行われており、これが障害の原因であったことを明らかにした。 *6
  • 東京で行われていたネットワーク工事は予定時間を超過し、工事中に想定外の挙動(海外ローミングアウトしたIoT端末と通信ができない不具合)が発生したため切り戻しが行われた。 切り戻し後に復旧を目的に行われたIoT機器に対する位置情報登録を促す措置は通常運用にはないものであったが、工事の切り戻しとしては想定していた手順であった。
  • 位置情報信号を送信したIoT端末の台数は約20万台。位置情報発信が旧設備のサーバー側に集中した結果処理能力を超過し、輻輳が発生したことが発端だったとされる。*7 IoT端末と利用者のトラフィックを分けて制御することは出来なかったことから音声通話、データ通信にも影響が波及。
  • この状況を受け、通信制限を最大100%実施するネットワークコントロールを約2時間半の間にかけて実施し、IoT端末のトラフィックの一部の処理を進めた。*8
トラブルが起きた流れ

今回の障害は次の段階で生じたとみられる。

  1. IoT設備切替工事のトラブルが発生
  2. 工事トラブルを受け旧設備へ切り戻しが行われIoT端末への位置登録を促す措置を実施
  3. 旧設備の加入者・位置情報サーバーが輻輳し、音声・データ通信側のネットワークにも輻輳が波及
  4. 輻輳発生に伴い非常通信保護のため最大100%制限のネットワークコントロールを実施
  5. ドコモ側ネットワークでの輻輳、ネットワークコントロールの影響で全国で通信障害が発生
  6. 2時間半のコントロール解除後も通信混雑によりその後長時間にわたり通信障害が一部解消されず
音声通話、データ通信が影響を受けた理由

音声通話、データ通信が影響を受けた直接の原因は次の通り。

音声通話 音声交換機、信号交換機の輻輳発生のため利用しにくい状態となった。
データ通信 パケット交換機は正常であったが、位置情報更新が必要となった場合に信号交換機の輻輳の影響を受け利用しにくい状態となった。

MVNO事業者などにも影響波及

今回の障害はドコモ、ahamoの他、ドコモ回線を利用するMVNO事業者にも影響が及んだ。*9 障害報告を公表している事業者は次の通り。

MVNO事業者 障害発表
IIJmio 障害発生報告(10/14)
QTmobile 【一部復旧】Dタイプ 音声通話・データ通信サービスがご利用しづらい事象について
y.u mobile 音声通話・データ通信サービスがご利用しづらい事象について
イオンモバイル 【お詫び・一部回復】ドコモ回線の音声通話・データ通信サービスがご利用しづらい事象について(10月14日 22時10分)
エキサイトモバイル 【障害復旧中】エキサイトモバイルの音声通話・データ通信サービスがご利用しづらい事象について
ヤマダニューモバイル 音声通話・データ通信サービスがご利用しづらい事象について
NTTコミュニケーションズ 【更新】モバイルサービス故障のお知らせ(ドコモ社からの故障情報)

また次のサービスにも影響が及んだと発表や報道がされている。

影響を受けたサービス 概要
カレコ カーシェアで使用していた一部の車で利用開始や返却が出来ない状況が発生した。遅延等により生じた料金への影響については順次対応すると説明
Uber Eats 配達途中で、届け先が分からず宅配に支障が出た。平日クエスト最終日の木曜夜であり配達員の稼働も増えていたとみられる。*10
国際自動車、日本交通 クレジットカード決済などの通信を要する決済時に支払いできず。現金で支払ってもらったり、運賃を受け取らずに降車してもらったりするケースが生じた。
郵便局 局内の決済端末機が影響を受け電子決済ができずに現金支払いのみとなるケースが生じた。

重大事故に該当

  • 今回のNTTドコモの通信障害について、電気通信事業法の定める「重大な事故」に該当すると総務省が判断したことが報じられた。10月19日にまでに法律に基づき、原因究明、再発防止策の取りまとめを指示した上で2021年11月13日までに総務省へ報告を行うよう要求。*11
  • 総務省は2021年11月10日にNTTドコモより報告書を受領したと公表。

株式会社NTTドコモから提出された重大な事故報告書の受領

再発防止の取り組み
  • NTTドコモは原因を6点として、報告した再発防止に向けた取り組みは次の通り。
原因 再発防止策と実施時期
① IoT海外ローミングのソフトウェア仕様の考慮漏れ(切替工事の不具合) ・IoT海外ローミングに対応したソフトウェアの導入
・新設備と旧設備の機能差分の再確認
(2021年12月下旬開発完了)
➁ 切り戻し手順の認識齟齬(切替工事の不具合) ・作業関係者側の切り戻し手順内容の条件の明確化
・作業関係者側の手順も含めた全体手順書の作成
(2021年11月下旬対応完了)
③ 信号交換機の位置登録リソース枯渇(携帯電話への影響拡大) ・一般ユーザとIoT端末の信号交換機の位置登録処理リソースを分離
(2021年12月下旬開発完了)
④ IoT端末に限定した位置登録規制ができない(影響の長期化) ・IoT端末と携帯電話を区別して位置登録規制できる機能を導入
(2022年1月下旬開発完了)
⑤ 事前準備不足による作業着手の遅延(影響の長期化) ・短時間に復旧措置を実行する事前準備を実施
(次回工事までに対応完了)
⑥ 「回復」の表現と利用者体感の差異(回復に関する情報錯綜) ・利用者の利用しづらい状況解消後に「回復」を公表
・ホームページ更新の迅速化・高頻度化
(次回障害発生時より対応)
総務省による指導
  • 総務省は2021年11月26日にNTTドコモに対して厳重注意と適切な対応について指導を行ったと公表。相互の確認、事前の準備、社外関係者との連携の徹底、万一の事態発生後の影響を最小限とする措置の実施、利用者等への情報提供方法の改善、他事業者への教訓とすべき内容の周知と業界横断的な検討など。12月27日までに経過、具体的な実施状況の報告を要求。

株式会社NTTドコモに対する電気通信事故に関する適切な対応について(指導)

ドコモの対応に関する報告
  • 総務省からの指導を受け、NTTドコモは2021年12月27日に指導への対応を報告書を提出。
  • NTTドコモは2021年12月28日に報告内容の要旨を公開。

2021年10月14日の通信サービス障害の行政指導に対する報告書を提出<2021年12月28日>

関連タイムライン

日時 出来事
2021年10月14日0時 NTTドコモがdocomo IoT回線管理プラットフォームのメンテナンス工事を開始。
:3時1分 IoT端末の3Gローミングのパケットが利用しづらい障害が発生。
: 7時26分 工事中不具合を確認し、旧設備への切り戻しを実施。
: 10時52分 IoT端末の3Gローミングのパケット接続障害が回復。
: 13時38分 IoT回線管理プラットフォームのWebポータルの提供再開。
: 14時9分 在圏情報に変更のあるIoT端末で音声通信ができない障害が発生。
: 16時36分 IoT端末に対して旧設備への位置登録を促す措置を実施。
: 16時44分 3G/LTEの一部でパケット・音声・SMSが利用しづらい障害が発生。
: 17時頃 NTTドコモの音声通話・データ通信サービスで全国規模の通信障害が発生。
: 17時19分 NTTドコモがIoT回線管理プラットフォームの障害情報を更新。
: 17時37分 全国の全ての位置登録信号に対してネットワークコントロールを開始。
: 18時頃 NTTドコモが重要なお知らせで通信障害の発生を公表。
: 18時9分 NTTドコモがIoT端末を除いたネットワークコントロールの緩和を開始。
: 19時57分 NTTドコモが通信障害が順次回復している状態にあると公表。(IoT端末を除いたネットワークコントロールを解除)
2021年10月15日5時 IoT回線管理プラットフォームにおいて障害継続中だった音声着信等について9時頃回復見込みと公表。
: 5時5分 NTTドコモが5G/4Gの通信が回復したと公表。
: 昼頃 総務大臣がNTTドコモの通信障害について大変遺憾であるとコメント。*12
: 14時 NTTドコモが通信障害について記者会見。
: 22時 NTTドコモが3Gの通信が回復したと公表。
2021年10月19日までに 総務省がNTTドコモに対し重大事故にあたると判断し報告を要求。
2021年11月10日 NTTドコモが総務省へ通信サービス障害に関する報告書を提出。
2021年11月26日 総務省がNTTドコモに対して厳重注意と適切な対応を取るよう指導。
2021年12月27日 NTTドコモが総務省からの行政指導に対する報告書を提出。
2021年12月28日 NTTドコモが行政指導に対する報告書の要旨を公開。

更新履歴

  • 2021年10月15日 AM 新規作成
  • 2021年10月15日 AM 続報反映(5G/4G回復)
  • 2021年10月15日 PM 続報反映(ドコモ記者会見)
  • 2021年10月16日 AM 続報反映(3G回復)
  • 2021年10月21日 AM 続報反映(重大事故判断)
  • 2021年11月10日 PM 続報反映(報告書提出)
  • 2021年11月27日 AM 続報反映(総務省指導)
  • 2021年12月30日 PM 続報反映(ドコモ報告書公開)

*1:NTTドコモ 通信障害復旧も 通常どおり利用できるめどたたず,NHK,2021年10月14日

*2:ドコモ、17時ごろからの障害は復旧も、”輻輳“でつながりにくく,ケータイwatch,2021年10月14日

*3:ドコモ通信障害、200万人が完全に使用不能に 3Gは回復見通せず,毎日新聞,2021年10月15日

*4:830万人以上に影響したドコモの通信障害、石川県や奈良県などでは圏外にならず その理由は?,ITmedia,2021年11月10日

*5:14日のドコモ通信障害は、IoT回線のメンテナンス工事が原因,ケータイWatch,2021年10月14日

*6:【速報】ドコモが大規模通信障害に関する記者会見を実施、音声通話15%、データ通信4%に影響,Buzzap,2021年10月15日

*7:NTTドコモ障害の原因は「IoT関連のネットワーク工事トラブル」「輻輳が発生したため制限をかけた」,三上洋氏取材,2021年10月14日

*8:12時間に及ぶ通信障害はなぜ起きたのか、ドコモの“輻輳”が長引いたワケ,ITmedia,2021年10月15日

*9:ドコモ、全国で一時通信障害 3時間、通話などしづらく,時事通信,2021年10月14日

*10:「届け先がわからない!」 ドコモ通信障害にウーバー配達員も悲鳴,朝日新聞,2021年10月15日

*11:NTTドコモ通信障害 総務省「重大事故」にあたると判断,NHK,2021年10月19日

*12:ドコモの通信障害 金子総務相「大変遺憾」と再発防止求める,TBS,2021年10月15日