Home
Feeds
for Mobileさて、勢いで始めたケータイニュース.netのほうで、携帯電話基地局数を集計している件、FAQっぽいものを掲載しておきます。他に質問あったらコメントかメールで下さい。
Q. 携帯電話・PHS関連@wikiの情報を引っ張ってくれば良いんじゃないの？
A. よそから引っ張ることはプライドが許さなかったのです。嘘です。集計済みの数字だけに興味があるのならそれでもよかったのですが、ほら、フェムト局とか別途集計したいじゃない。あと一応、一度取得したデータは自前のデータベースに超簡易化して格納しています。なので、いろんな統計が取れるようになるのです。それが主な目的。おかげでDBのテーブルサイズが30MB近くになっちゃった。
Q. どんな感じで取得してるの？
A. 定期的に総務省検索ページの検索結果リスト表示を取得しています。その結果をデータベースに一旦格納し、別のクローラが空っぽのレコードを1件ずつデータベースから抽出してそれに対応する無線局情報を総務省の検索ページから引っ張っています。なので、実はリスト自体は既に全国を網羅しました。免許情報詳細の取得が現在8万か9万かくらいに達しているという状況。まだデータ取得が終わっていないので今はお急ぎモード、1ヶ月で全部終わるくらいのペースにしていますが、その後はリストページを3ヶ月で一巡するくらいのゆっくりペースに落とす予定です。免許情報詳細ページへは新規追加以外では原則アクセスしません。
Q. 基地局の追加や撤去などには対応しているの？
A. 対応しています。ただし撤去物件については、総務省のページで一時的にエラーを起こしているだけの可能性もあるため、リスト巡回を数回やっても見つからなかった基地局がDBから消えて基地局数に反映されます。新規追加は巡回ごとに基地局数に加算されます。
Q. 表示情報はどのくらいで更新されているの？
A. 今は、10分に一回の更新です。データベースがかわいそうです。なので、巡回が終わって免許数が落ち着いたら、数日に一回くらいのペースに落とす予定です。
Q. なんか隠しページ？を見つけたんだけど。
A. そっとして置いてください（笑）。
Q. 隠しページ？のアレはどのくらいで更新されているの？
A. 誰かが一回アクセスすると1日～2日キャッシュされます。更新タイミングがかぶらないようにかなりでかい乱数値を与えています。なので、アクセスが多ければ平均1.5日で更新。ただしこの数字も免許数が落ち着いたら大幅に伸ばす予定です。どうしても最新を見たい場所があったら言ってくださればキャッシュ手動で削除します。
Q. 隠しページ？のアレが重いんだけど。
A. キャッシュされていないと重いです。「全」のご利用は計画的に。多分1分～1分半かかります。データベースがかわいそうです。
Q. 隠しページ？のアレで、うちの近所が空白（濃い青）なんだけど。
A. まだ全国網羅出来ていないので、空白が多いかも。ただ、関東甲信越は完了しましたので、それでも空白がある場合は、市町村合併による市町村名変更と漢字表記ゆれが原因です。私はぱっと見てどこがなに市とか全く分からないので、なんか不自然な穴があったらお知らせください。基本、ドコモのエリアで「穴」があったら何かデータが間違っています（ドコモはエリア100%なので）。
Q. 生データもらえませんか？
A. あげません（笑）。いや、容量きりつめのためにかなり意味不明な記号化を施しちゃってるので、実際使いにくいかも。でもそのうちAPIとして公開するかも。総務省にはお世話になっているので、同程度の情報を提供して負荷分散してあげて恩返しをしなきゃ。
Q. 隠しページ？の画像を再利用して良いですか？
A. いいです。が、常に最新とは限らないのでご注意。キャッシュ期限後も画像は保存されていますが、画像に直接アクセスしても最新版にはなりません。誰かが隠しページ？からメニューを選択しないと賞味期限後も古い画像のままです。
まだデータがそろわないので、眺めてニヤニヤするという用途にさえ使いにくいですが、そろったら、その後は要望に合わせていろんな見せ方を考えていきたいと思います。見せ方自体は簡単に追加できるので。それでわ～。
TWEET
[…] This post was mentioned on Twitter by kohey – こうへい, 無線にゃん. 無線にゃん said: [携帯電話基地局数の集計について] http://wnyan.jp/752 ◆さて、勢いで始めたケータイニュース.netのほうで、携帯電話基地局数を集計している件、FAQっぽいものを掲載しておきます。他に質問あったらコメントかメールで下さい。Q… […]