携帯電話会社の「オペレーションセンター」って言うと、NASAのミッションルームみたいなおっきなディスプレイパネルが並んでてたくさんのコンソールがあってみんなが同じ方向に向いてヘッドホンつけて、なんてシーンを想像しちゃうわけですが、とりあえず、私がいろんな人から聞いた感じの「オペレーションセンターのイメージ」をまとめてみるのが今回のお話。携帯電話会社のオペレーションって何やってんの？ってことで。

携帯電話事業者というのは、基本的な事業者としての機能で言えば、「インフラを建設する」「インフラ接続役務を提供する」「インフラを運用する」「インフラを保全する」「インフラを撤去（原状回復）する」と言うあたりになるかと思います。もちろん、付帯的に、インフラ機器開発、通信端末の開発・販売、上位サービス開発運用、などなど何でもやっていますが、純粋な事業者としては上記だけで十分に成り立つものです。

で、実際に物理的に基地局やバックホールケーブルを引っ張りまわしたり張り替えたりなんてことをやっている建設・保全あたりはイメージし易いと思いますが、「運用」に関しては結構ブラックボックスになっています。とはいえ、ネットワーク障害のニュースなどではまさにこの「運用」が主役。障害を発見し分析し回復するのは、運用の機能です。

まずは前提的な話。携帯電話事業者が運用しているのは、無線基地局を制御する制御局、加入者管理サーバや回線交換機、パケットセッション制御機能などが含まれる「呼制御系ネットワーク」、回線交換機、パケットゲートウェイ、コア交換機/ゲートウェイなどが含まれる「ユーザトラフィックネットワーク」、そしてそれらの機器を監視・管理するための「監視系ネットワーク」、大体この三つに分かれているといえます。もちろん無線基地局はそのどれにも属しています。

基本的に、すべての運用対象となる機器は監視系ネットワークに繋がっています（機器の種類やベンダによってネットワークが分かれている場合もあるようです）。この監視系ネットワークにより機器は「運用」されているわけです。

続けて、時系列的に運用の役割を並べてみたいと思います。

ある通信用機器を購入し、設置し、必要な配線を済ませ、電源を入れてLANケーブルがアクティブになった後、最終的に「サービスを開始しなさい」と命令するのは、運用です。そのために、運用オペレータが監視系ネットワークから対象機器にログインし、「サービス開始」とか言うコマンドを入力しなければなりません。

サービスが開始されると、そのログを収集・保管しなければなりませんが、これもも運用の役割。このログデータも監視系ネットワークを経由して運用センターに収集され、運用オペレータにより保管されます。この辺は大抵は自動化されているので、オペレータの手間はほとんどないと思います。

で、このままほっとけばすべて自動的にサービスが提供され続けるのかと言うと、そうは問屋が卸してくれません。なんだかだで、この流れのどこかに必ず問題が起こります。それがいわゆる「障害」です。このとき、各機器から監視ネットワークを通じてアラームが飛んでいきます。このアラームはオペレーションセンターのアラーム端末に通知され、そこに表示されます。運用オペレータがやることは、そのアラームが出たら、それに対処すること。

アラームが出たからと言ってサービスが止まっている、と言うことはまずありません。普通は、「この系統に障害が出たので別系統に切り替えました」なんてアラーム。で、大抵はすぐに「メイン系統が復活したので切り戻します」なんてアラームが飛んできておしまい。ただし、オペレータはそれが最後まできちんと動いていることを目視で確認しなきゃなりません。

さらに、自動的に復帰しないことも多々あります。この場合は、とりあえず機器に直接ログインしてリセットコマンドをぶち込んでみたりします。リセットが出来ないとかログインできないとなると、今度は何が原因かを推定しつつ、いろいろな手段でのアクセスを試みたりします。こういうのが、運用オペレータのノウハウ・スキルと言うものです。

また、障害を起こした機器が自分でアラームを出してくれれば良いのですが、アラームを出す間もなく落ちちゃうなんてこともしばしば。そういう時は、そこに繋がっている前段後段の機器が、「あいつとの間のリンクが切れちゃったんすけど」と言うアラームを上げてきて、その機器自身の問題かどうか調べ、そうでなければ相手側が落ちちゃってる、みたいな対応をします。

多分、こういうレベルの小さなサービス影響のない障害が毎日何十と起こっているのが、携帯電話事業者の運用です。こういうのは元々織り込み済みでそのために多重化してあったりするので、ほっといてもただちに（笑）影響はないのですが、復旧しないでおくと次の次の障害でアウトになっちゃう、程度のモノ。ただ、こういうレベルで運用が続いている限りは、担当者が淡々と処理していれば済む問題。オペレーションセンターのイメージにあるでっかいディスプレイパネルとかは必要ないですね。

実際には、やはりもっと重大な、サービス影響のあるような障害や災害が起こります。大きなディスプレイパネルなどは大体そういうものへの対処用。一つは、重大障害があったら画面に情報を出して担当者全員の注意を喚起。やはりいくつかの機器は、それ一つが落ちるだけでサービス影響を起こすようなものです。あるいは、ある機器が落ちることで連鎖的にさまざまな機器で動作不良を起こすようなものもあります。そういった重要な機器の障害に関する注意喚起はやはり大きなディスプレイなどでみんなに伝え、防護策を講じたり二次対処の準備を促したりするわけです。こういった重大障害のために、巨大ディスプレイ以外にも回転灯とサイレン（ブザー）なんかもあったりするみたいです。

また、災害への即座の対応のために、大きなパネルのいくつかには各TV局の放送を流していたりもするらしいですね。なんだかだでTVは速報性が一番高いメディアなので、地震や台風や豪雨などの情報はTVが情報源として役に立つようです。大規模な避難が行われるときなども、避難先の回線確保などの必要がないかの確認などが必要になるかもしれません。

また、障害ではないけど必要な運転中の運用作業としては、状況に応じた設定変更などがあります。一番分かり易いのは、何かのイベントで急に音声発呼が増えたときに発呼規制をかけるような場合。大抵は呼量がある閾値を超えるごとにアラームが出るので、それにより注意を向け、それまでの呼量の推移やその対象となる地域でどんなイベントをやっているのか（事前に準備しておく）などの情報を合わせて今後の呼量の動きを推定し、必要であれば必要な量の規制をかける、と言うことをしていきます。

もちろん、混雑が解消したときに規制を解除するのも運用のお仕事。ただ、普通は規制をかけると呼量そのものが減ってしまうため（呼が端末内で止まるので）、減ったからと言って即座に解除して良いわけではなく、やはり呼量の推移から実際の需要を推定しつつどこで解除するのかを都度判断する、と言う難しいことをやっているはずです。下手に早く解除すると突然呼量が増えてパンクなんてこともありますし、一方解除が遅いと後々重要顧客からのきつーいクレームが入ったりするわけで、この辺は相当神経を使う作業になるだろうなぁ、と思います。

その他、もちろんもっと細かい設定変更は常にやっているはずで、トラフィックのパターンによりユーザトラフィック用のスイッチ群の振り分け比率を変えるとか（あくまでイメージです）、そういうことも毎日やってるんだろうなぁ、と言う感じ。ネットワークは毎日何か新しく建設されるし利用者傾向も毎日変わるので、自動化するのは難しいでしょうね、こういう運用は。

そして最後に、ある機器が古くなった、入れ替える、などのときに「サービス終了」のコマンドを入れるまで、が、機器の生涯における運用の範囲です。サービスを終了し、後は主電源を切ってケーブルを引っこ抜いてと言うことができる段階までが、運用のお仕事。実際、毎日大量の基地局が建設されているってことは同じ頻度で基地局の寿命も来ているわけで、基地局と言っても一基に何十もの内部モジュールがあってそれぞれを運用するわけで、もちろん基地局以外の機器も常に入れ替わっているわけで、ひたすらサービス終了コマンドを打ちまくっている担当者とかもいるんじゃないかなんて思ったりします。もちろん、その機器が繋がっている相手側にも「あいつはいなくなりますよ」と言う設定変更作業が必要です。

ということで、具体的に何をやるのか、と言う点を、思いつく限りでずらずらと列挙してみました。携帯電話ネットワークの運用って大変なんだよ、ってのが少しでも伝われば幸いです。多分、私が人づてに聞いた程度の話では抜けだらけだとは思いますが、そこはそれ、本物の事業者の「中の人っぽい人」がメールとかでいろいろ教えてくれるはずです（ガビーン）。と言うことで、今日は運用のお仕事についてでした。でわ～。

TWEET

[技術解説メニューに戻る]