ちょっと前のドコモのSPモードメール障害の話、その他、スマートフォンの小さな不具合の数々を見るにつけ、障害、不具合に関する考え方、というものについて考えさせられてしまうわけで、今日はそんなお話。

最近、ドコモが障害や不具合を多発しているイメージが強く、一方、障害・不具合に関しては横綱級のソフトバンクについてはあまりそういう話を聞かない、この辺について、ちょっと思うところがあるんですよね。それは、両者の障害に対する考え方、ポリシーの違い。

ドコモの障害に対する考え方というのは、これこそ日本の通信事業者に特有の考え方なのかもしれませんが、まず最優先することが、「万一を起こさない」という予防絶対主義です。万一のことを起こしてしまったら負けであり、まず何をおいても万一を起こさないように鉄壁の運用をする、というのがドコモの考え方。

一方、ソフトバンクは、ボーダフォン時代の昔こそ万一を起こさないことを前提のポリシーでしたが、最近はむしろ「万一は起こるものである」「起こってからの対策が重要である」と考えているようです。対策至上主義。

どちらがいいのかというと、これまたどちらも善し悪しがあるのですが、複雑化・高度化するシステムに対しては、どうやら予防主義より対策主義の方が有効に働いていることが徐々に分かってきたようです。

古いシステムでは、起こりうる事象の組み合わせもシンプルで、障害を絶対に起こさないようにする、という運用も可能でした。予防絶対主義の原典にはこうあります。「たとえ1ミリ秒でも何らかの形でユーザに不都合を与えてはならない」と。つまり、ユーザにサービス断という形の影響をそもそも与えてはならない、というのが予防絶対主義の考え方で、この考え方は長らく主流でした。

対する対策至上主義は、ユーザに不都合を与えることは許容する代わり、その不都合の継続時間を閾値以下に抑えればよい、ということになります。

ドコモの予防絶対主義は、とにかくシステムの設計自体を鉄壁にしようとします。考えられるあらゆる不具合事象に対してあらかじめその起こる可能性を排除しようとします。障害の想定が思いつく中にすべて網羅されるならこれが最も良い考え方ですが、複雑化するシステムにおいては、「想定漏れ」の起こる確率が高まります。むしろ、最近の3G以降のシステムでは想定漏れが起こらない方が不思議なくらいです。

この場合、もしその「想定漏れ」の障害が起こると。そもそも、「想定できなかった」事象なので、当然ながら対策できません。何が起こっているのかわからないままずるずると時間がたち、結局、影響を与えるユーザ数が莫大な数に上ってしまうことになります。

一方、ソフトバンクは、とりあえずありもので海外などでよく運用された技術を使います。障害を起こさないように鉄壁にすべくシステムを作りこむ、ということも行いません。一方で、起こりうる障害の「結果」に対して、その対策（海外で有効に働いたもの）を網羅します。「障害の結果」というのは、システムが複雑化しても案外シンプルにまとまるものです。「つながらない」「切れる」「過課金」などなど、ということであれば、大体起こりうることはまとめられます。

そうして、それぞれの事象に対して対策を施します。「つながらない」ならとりあえずアクティブ系を全断して全シリーズをスタンバイ系に切り替えてみる、とか、過課金なら原因究明の前に返金処理システムを動かす、などなど、聞けば乱暴に思えるようなことを思い切ってやっちゃうわけです。

総務省などへの報告義務の基準などでもそうですが、結局、障害は影響人数と継続時間です。予防絶対主義はこれらをゼロとすることを目的とし、対策至上主義はゼロにはしないが最小化するという考え方。そして、複雑化するシステムで障害の発生をゼロにできないことが顕著になれば、当然後者の考え方の方が、障害影響を最小化するという目的には最適となっていくのは当然です。「障害ゼロは不可能」ということを受け入れられる思考・組織の柔軟性があるかどうかがポイントです。

ソフトバンクがボーダフォンから事業を継承してから2年くらい、あほみたいに影響の大きな障害が多発しましたが、最近それをあまり聞かないのは、障害が起こらなくなったからではなく、障害の影響が最小化されて総務省報告が必要ないレベルだったり報道されないレベルに抑え込めているから、ということです。障害に対するポリシーの転換が行われ、起こったことを最小化する（うやむやにする）、という仕組みがうまく回り始めたことを意味しています。

スマホの不具合に関してもそうで、とりあえずドコモは起こった不具合を完璧に潰そうとするし、完璧でなければ大仰にアナウンスしなければならない、というポリシーのため、外に見える不具合が非常に多いように見えますが、一方、ソフトバンクは兄弟機でおそらく同じ不具合が出ているはずのところを、不具合アナウンスをする前にサクサクとアップデートしちゃう。不具合があったのかどうかもわからないレベルの段階でさっさと対策を先にばらまく。これが結局、スマホの顕現した不具合件数の差として世間に認識されるわけです。

ユーザ体感としても、実際にソフトバンクの対策の方が理にかなっています。一部の声の大きなユーザこそ「不具合を認めて謝罪なりアップデートなりをしろ」と叫びますが、大半のユーザにとっては、あれ、ちょっと動きおかしかったかな？と思っても、アップデートで自然に現象が出なくなることですぐに忘れるような内容なんですよね。

で、このドコモ型の予防絶対主義、私の知るところでは、ドコモに加えてKDDIとウィルコム（旧）がこのタイプで、ソフトバンクは完全に対策主義、イーモバイルも対策主義に近い考え方です。ウィルコムもソフトバンク傘下になってだいぶ変わってきている感じがします。とにかく予防絶対主義を採用している事業者は、何しろ動きが遅いのが特徴。予防が完璧になるまでリリースしないし、障害が起こってからも、それに対する対策が「次の予防」に対して完璧であることを確認できるまで動けないイメージ。これはもう組織の作りの欠陥、お役所主義の弊害というしかないですね。

ここから原発云々の話に展開してもいいのですが、原発関連は宗教論争に発展するので触れません（苦笑）。ということで、障害に対する事業者の考え方についてのお話でした。

TWEET

前回:フィクション連載「震災の日」～ある携帯電話事業者社員のつぶやき [07]

おは

おはようございます。

あー、意外と寝れるもんだなー。

とりあえず、急いで監視端末の前に戻ります。朝方始発に合わせてまた呼量が変動するかもしれないので。

わはは、呼量スカスカ。とりあえず規制解除していいんじゃね、これ。

とはいえ明るくなるに連れて災害対策通話がガッツリ出てくるだろうから、その様子を見てから考えます。多分、規制は半分か解除くらいまでいけそう。

アラームもある意味落ち着いちゃってるので、別の監視担当と雑談。昨日のゴタゴタをいろいろ新しく聞けた。

なんか昨日の基幹網ほぼ全断状態、本当に陸上ケーブルが物理的に切れてたんだって。でもものすごく細い回線が繋がってたのは、福島のある企業に入れていた回線が東北方面と関東方面両方から冗長で引いていて、たまたまそれが福島県内の断線域を迂回できてたかららしい。すげぇ。

他に新潟のある会社の工場がKTT関東から引いていた光ファイバと、その工場が東北電力側から引っ張ってた自前送電線に併設の光ファイバ、借りてくっつけたとかなんとか。

後は他社の日本海側海底ケーブル[新潟→北海道]を借りて一旦北海道上陸してから南下して東北に繋ぐってこともやったみたい。みんな頑張ったんだね。自分は監視端末鼻ほじりながら見てただけだけど。

太平洋側の海底ケーブルとか他社含めてほぼ全滅らしいよ。多分海底地震/地すべりで切れたんじゃないかってことだけど。

5時～。呼量がそろそろ動きはじめます。

なんか偉いっぽい人が来た。ニュースとかでみたことある顔。

社長でしたｗｗｗ自分バカ過ぎ。

あれか、経営陣の早朝の対策会議ってやつか。そういえばどんなプランになってるんだろう。興味はあるけど、会議には出席できないよね（笑）。

ぬはー、呼量が上がってきた。おーいみんなー、まだ5時だよー！？

ちゃんとチェックしましょう。どこだろう。

川口市の特定の収容局でものすごい上がってる。ってことはあれですね、どこかの企業の工場か何かですかね。こういうの、規制かけてるとかえってクレームになるからよくないんだけど、と言ってこの上がり方は、規制かけててよかった、ともいえる。

いろいろ交通とか止まってるから操業の対策で早くから動いてるんだなー。ご苦労様。

クレームの元ってこともあるし、通常平日と比較すると、だいぶ低い呼量で推移してるから、ちょっと解除を検討してみましょう。休日としてはすごい量なんだけど。

やりましょう。@masas●n風に。

き・せ・い・り・つ、5・0・%・に・ダ・ウ・ン、っと。Enterターンっ。

続き:フィクション連載「震災の日」～ある携帯電話事業者社員のつぶやき [09]

TWEET

てことで今日から始動します。ことよろ。

今日は何となく年末年始のネットワーク状況について。毎年、携帯電話各社では規制だ輻輳だと大騒ぎしていたりするわけですが、不思議と今年はただの一回も規制や輻輳に当たりませんでした。年明け、午前0時直後くらいも。

たまたま運が良かっただけなのかもしれませんが、私の持つドコモ・auともに規制なし、パケットもサクサクで、家族のドコモも同じく年明け直後からパケットはサクサクでした。なんだこれ。

ドコモでふたたびspモードメールがらみのごちゃごちゃが多少起こっていたようですが、それ以外もほとんどニュースはなく、なんというか、少なくとも私の近辺では混乱のかけらもないような状況。あれ、年末年始ってこんなに静かだっけ？（ケータイギョーカイ的に）っていう感じでした。

去年ですよね、一応。いや、スマートフォンが異常に伸びたのって。ソフトバンクはiPhoneでだいぶ先取りしていたわけですが、ドコモもauも去年中に契約台数で何十倍、トラフィックではたぶん何百倍にもなっているはずなんですけど、それがみじんも感じられない年末年始でした。

ただ、たぶん、トラフィックの性質が違ってきているんでしょうね。フィーチャーフォンの場合は、トラフィックよりもトランザクションが激しい。つまり、パケットの論理接続が張られたり切られたり、っていう遷移が非常に多いため、交換・認証系への負荷がめちゃくちゃ大きくなるわけですが、スマートフォンは基本的にIP-Always-Onなので、交換・認証への負荷がほとんどなく、無線の切り張りによるRANへの影響とIPパケット処理のためのゲートウェイへの負荷に限定されることになります。これでもしスマートフォンがフィーチャーフォンみたいにこまめにIPセッションの切り張りをしていたら相当大変なことになっているはずです。

ゲートウェイなんてのは結局はパケット一つのライフタイムごとに全部忘れてもいいようなものなので、ぶっちゃけたくさん並べれば何とかなる、という方向のもの。もちろんRANについては端末の位置により（分布の偏りはあるものの）分散されざるを得ないものなので、その二つに影響が集中する限りは混乱は起きにくく、むしろ、IPセッションのライフタイムのスケールで動く交換系と認証系は、一度に覚えておかなければならない相手が積みあがりやすいし、それを他の分散先に放り出すのも基本的に無理なので偏りが解消しにくいわけで、そういう意味では、年末年始のトラフィック（トランザクション）には、スマートフォンは意外と優しいのかも知れません。

というのはもちろん妄想レベルの話なんですが、ともかくも、今年もよろしくお願いします。

TWEET

一応タイムリーなネタかもしれないのでリアルタイムで。「コミケに移動基地局とか出てくるけど、普段からめいいっぱいの周波数を使ってしまっていればいくら移動基地局が出てきても使える周波数幅には変わりがないから容量対策にはならないのでは？」というご質問。

えー、結論から言いますと、普段からめいいっぱいの周波数を使っていないということになります。たぶんですが、相当に周波数がひっ迫しているドコモでも、全バンド全キャリアを使い尽くしているところはほとんどないと思います。いやこれは、なにかからの推論とか理論的にとかじゃぁなくて、人づてに聞いた噂レベルの話として。

一応、理屈上は、どんなにセルを区切っても電波は飛んでしまうものなので、いざという時のための空き周波数をあらゆる場所で使ってしまうと本当に混雑している場所の品質が悪くなってしまう可能性があるので、できるだけ使い尽くすことは避ける、という理屈もありそうな気がします。

たとえばあるターミナル駅でめちゃくちゃに混んでて、最後の周波数まで使ってしまう、という時。その隣の、さほど混雑していない場所で、もしその最後の周波数を常時使っているとすると、その電波は、多かれ少なかれターゲットになるターミナル駅近辺のセルに侵入してきてしまいます。なので、ターミナル駅近辺で周波数を追加した効果は限定的になってしまいます。

しかし、その周波数を本当に「最後の手段」的にとっておいて、できるだけその周波数帯をクリーンにしておけば、本当にやばいところにその周波数を打ったときの効果は絶大です。なので、お金があるからとか時間があるからとか場所があるからと言ってやたらめったらにキャリア数を増やすよりは、しっかりとメリハリをつけたネットワークにした方が、総合的なユーザ体感はよくなるはずなんですね。

で、例のコミケをやるあの辺って、はっきり言って、トラフィック的にはかなり閑散地帯ですよね。ターミナル駅があるわけでもないし特殊な大トラフィック要因があるわけでもない。年にせいぜい数回の大規模な展示会などで人が集まったときだけにトラフィックがあふれるところ。であれば、常時過大なチャネルを用意しておくよりは、必要に応じて移動局を出す方がいいわけです。なにせ、いつどんなタイミングで大トラフィックが発生するかというのがかなり完璧に予想できちゃうという場所。トラフィックは大変だけど対策は簡単なはずなんです。もちろん簡単といっても、やっぱり周波数には限りがあるので、いずれにせよあふれちゃうみたいですけどね。

また、単に周波数を増やすだけでなく、周辺に何台か移動局を出して、会場を分割してカバーする、などという対策も必要になります。そういう対策をするためにも移動局は都合がよくて、逆にそういう対策をするということがわかりきっているからこそそのための周波数帯を使わずにとっておく、という考え方もあるのかもしれません。

あと、これも聞いた話ですが、遠くの方のトラフィックがスカスカの局の電波を引っ張ってきてレピータで吹き込む、みたいな対策をしていることもあるようです。移動局はやっぱり処理能力に限界のある小型の局なので、それだけだと電波そのものの限界よりも処理能力の限界が来てしまうことがあります。もちろん、移動局は衛星やマイクロ波などの比較的細いバックホールにならざるを得ません。しかし、なんとか届く程度のところに処理能力のしっかりしていてバックホールもたっぷりの局があるなら、レピータで引っ張って吹き込んだ方が良かったりするみたいです。あ、もちろん、周波数帯が会場付近のものと違うものを使っている、という前提ですけど。

ということで、なんとなくコミケ関係の質問からトラフィック対策についててきとーに書いてみました。でわ。

TWEET

そうそう、Xi（LTE）対応のスマホが出てきてから、Xiエリアと3Gエリアに関して、着信不良だの接続不良だのという話がいろいろ出てき始めましたね。ということで、そういうことがなぜ起こるのかの話。

従来、たとえば3GケータイにWiMAXとかWiFiとかが入っている端末でも、それらの電波状況なんてまるで関係なく3Gの発着信は問題なく行えたものです。ここからの類推だと、LTEだからと言って発着信に問題が出てくることはありえない、と思うのが普通なのですが。

LTEは、他の通信方式とは根本的に違っています。というのは、LTEのシステム連携の話で書いたことが関係しています。

まず、なぜLTEがリンク先の解説で書いたような面倒なシステム間連携機能を持っているのか、というところからです。それは、CDMA2000での音声・データ同時接続の話でも書いた、「無線機」の問題です。携帯電話はただでさえ実装密度が上がっていて、そのうえ、無線機というのはその周辺の部品の影響（ぶっちゃけ感度の低下ですが）を強く受けます。何より無線機同士というのはもっとも強く影響しあうもので、一つの端末の中に複数の無線機を入れるのはかなり骨の折れる作業です。

そしてもう一つ、LTEも3Gと同じく「待ち受け」という状態が存在します。この待ち受けは、数秒に1回の割合で瞬間的に無線機の電源を入れるわけですが、これがはっきり言って馬鹿にならない大電力を消費してくれます。これが、3GとLTEの両方でやられちゃぁたまらん、ということになるわけです。

というような理由で、「LTEでは3Gと無線機を共有することを前提にしよう」という話になりました。つまり、LTEと3G両対応の端末には、無線機は1台しか載せず、LTEベースバンドと3Gベースバンドのどちらかだけが無線上アクティブになる仕組みにしよう、ということです。

要するに、LTE圏内にいるときは、3Gベースバンドはお休みです。無線的には、単にスリープ状態とかではなく、完全に電源を切っている状態です。そして、LTEベースバンドからの命令でのみ、3Gベースバンドが目を覚まして何らかの処理を行う、という形をとります。

もっともわかりやすいLTEベースバンドからの命令の例としては、「音声で発信しろ」という命令。で、上の連携話でも書きましたが、ここでさらに高度なオプションがあって、「無線を使わず、音声発信のシーケンスだけ始めて、メッセージはこっち（LTE）に渡せ」というような命令をすることもできます。で、LTEベースバンドはもらったメッセージをLTE無線でネットワークに送り、音声発信の手順が終わった後で「じゃぁあとはお前やれ」と3Gに命令して無線機を引き渡す、というやり方を行います。その時点まで、無線機はLTEが独り占めってこと。

で、LTEと3Gの共存の話では、原則として、待ち受け中は無線機はLTEだけしか使わなくて済むように、ということで徹底的な連携が組み込まれています。これを実現するために、位置登録システム的には、3Gと3GoverLTEは同システムの別のエリア扱いで、3GoverLTEエリアに位置登録すれば3Gエリアの位置登録は抜ける、という排他関係になっています。なので、3Gの電話への着信も、着信信号はLTE側に飛んでくるわけです。

と書くと、大方予想がつくと思います。つまり、3Gでなら問題なく着信できるにもかかわらず、エリア的に不安のあるLTEからしか着信信号が来ない、というケースが生じるんですよね、連携システムを使っていると。で、ドコモは当然この連携システムを使っているので、LTEがギリギリって場所だと、3Gエリアど真ん中であっても着信に失敗することになってしまいます。

ネットワークとしては、LTEに着信信号を送ったのに返事が来ない、じゃぁ3Gにも送ってみるか、という動作もします。するんですが、先ほども書いた通り、今度は端末側での無線機の占有状態が邪魔をします。つまり、待ち受け中は無線機をLTEが独り占めしているので、せっかく気を利かせて再送してくれた3G側の信号を受け取れないんです。

じゃぁ普段の待ち受けは3Gで、使うときだけLTEにすればいいんですが、そうすると今度はLTE側の着信をとれません。LTEは後発なので3Gの着信を扱えるように規格を入れこめたわけですが、3Gはすでにできている規格なので、3Gが知らないはずのLTE着信信号を受け渡すなんていう作りこみができないんですね。さらにはこのやり方をしようとすると（LTE通信中の3G着信のためにLTEと3Gの位置登録を排他にしておかなければならないので）LTEがスリープするたびに3Gに位置登録するためLTEセッションが切れる、ということになってしまいます（つまり実質LTEスリープ不可）。

というわけで、LTEは高度な連携ができる分、黎明期のエリア不安のある時期には特に着信に関しては品質が下がる可能性が高くなります。おそらくKDDIはそれを嫌って最初から同等のエリアを実現しやすい800MHzというLTEと相性の良くないバンドをあえて使っていこうとしているのだと思います。イーモバも3Gと全く同じ1.7G帯を使うようなので問題は出にくいでしょうが、ドコモは2Gと800Mで3Gをやっているにも関わらずLTEは2Gだけで、穴ができやすい体質になってしまっているんですよね。同じく2.6Gと2Gの組み合わせになるソフトバンクもちょっと厳しいことになるかも。

ということで、LTEが3Gと連携しているがために起こるちょっと困ったことについてでした。

TWEET