
ところてん
日記/2012年02月09日/大手通信会社の研究所を辞めて、ソーシャルゲーム屋さんに行きます。
さて、そんなわけで2012年1月31日付けで大手通信会社の研究所を辞めました。
辞めることに関しては色々あったわけだけど、入社からの経緯を書いてみようと思う。
元々大学では電子透かしの画像処理とか、自然言語処理を使ったフィッシング詐欺の検知とか、上のレイヤーのセキュリティをやっていた。
就職活動で通信会社の研究所を選んだのは、フィッシング詐欺の検知や上位レイヤーのセキュリティをやっていたからだった。
いざ研究所に配属になると、L8のセキュリティをやっていた部署は、僕の入社する直前に解散になっていて、私はマルウェア解析の部署に配属になった。
人事に「何でこの部署になったんですか?もっと上のレイヤーのセキュリティがいいんですが」と聞いたら「うちの会社はファイバーとか建物のL0からやってるから、L3は上位レイヤーだよ」という謎の説得をされた。
まぁそれでもいいかと思い、ひたすらにマルウェアを逆アセンブルして読んでいた。
セキュリティホールを突く攻撃の検知とか、L3のセキュリティをやってた。
IE6に対して俺俺セキュリティパッチを書いたり、ハニーポット作ったりしていた。
仮想マシンを拡張して、アプリの挙動を解析するコードを書いていたときはきつくもあり、そして楽しかった。
セキュリティの部署に二年ほど居て、色々やってたわけだけど、セキュリティの研究って三ヶ月くらいで賞味期限が切れちゃうんだよね。
その部署は個人がセキュリティのノウハウをためる分には一生モノのスキルが身に着くのだけど、研究成果は三ヶ月で賞味期限が切れちゃう。
でも僕らの研究成果を事業に導入するには、二年間の開発が必須。
研究所内で一年の開発、その後事業会社で一年の開発で、ようやく事業導入が出来る。
研究所では大昔の設備開発と同じようなノリでアプリケーションの開発を未だに続けていた。
だから、セキュリティの部署ではどうやっても成果を世の中に出せないということを確信して、クラウド部隊への部署変更を願いでた。
クラウド部隊に移動したら、ちょっと子会社に行って修行してきて、と言われて、半年ほど子会社で検索エンジンのクローラを書いていた。
Cで書かれた検索エンジンのプログラムをカリカリにチューンするのは楽しかった。
とはいえ、CでマルチスレッドでSocket直叩きで自家製HTMLパーサとかもう書きたくないよ。
この環境で得られた教訓としては、運用部隊が隣に居ることで、開発しながら生の情報が手にはいるという環境がいかににすばらしいかを痛感した。
その後研究所に戻って、PFIさんと一緒にビッグデータ系のOSS開発をさせてもらった。
PFIさんと一緒にやるのはすっごく楽しかった。
その中で私はOSSを使ったアプリケーション設計、提案、とかをやらせてもらった。
だけど、研究所におけるビッグデータ研究のためのアプローチが全力で間違っていた。
ビッグデータの研究は次のような流れになる。
- RやSQLを使った小規模なデータ解析を行い、データを様々な角度から眺め、仮説構築をする。
- 得られた仮説をhadoopなどを使った大規模環境で検証する。
- 仮説をもとにしたバッチのシステム反映や、オンライン機械学習などを利用した本番投入をする。
研究所は外面からビッグデータに見えればよいという姿勢で、hadoopのクラスタを持ってることをアピールしたり、PFIさんと一緒にOSS開発をしているというアピールをしていた。
小規模なデータ解析や仮説構築に関して完全に手を抜いていた。
その結果、僕の手元に生データが何もなく、生データがないにも関わらず、新しいアプリケーションを開発しろという無茶なオーダーが降ってきた。
そして、研究所内では小規模データ解析用のサーバさえ調達することが出来なかった。
新しいサーバを購入することは禁じられ、研究所内の社内クラウドを借りるにもリードタイム一ヶ月、運用部隊からデータを貰おうにも、運用部隊は孫会社や外注がやってるからデータを貰うのにもひと苦労。
事業会社と共同研究しようにも、大昔の装置を作ってた頃のスキームが未だに生き残っていて、どのような成果が出るかを明らかにしないと一緒にやらせてもらえない。
データマイニングって、どのような結果が出るか分かってからやるもんだったっけ?
さらには、事業会社と一緒にやりましょうとなっても、当の運用部隊にやる気がない(余計な仕事が降ってきたという認識)。
こんな状態でどうやって研究をしろと?
このような状態になると、上司が事業会社の微妙な部署から案件を引っ張ってきて僕らに押し付けてくる。
僕らからするとこの案件はSIであり、研究要素を組み込める箇所なんてかけらもない。
3ヶ月ほどクソつまんないSIやりますけどそれでいいですか?
上司「君たちが仕事をしたことが研究結果だよ。特許も書いてね」
え?プロジェクトの成功ではなく、プロジェクトの存続が目的になっていませんか?そんなのに従う気はないですよ。
運用がデータを生み出し、データを解析することで新しい価値を生み出す。
運用と研究が遠い組織では、ビッグデータを本気で扱うには無理だ。
運用部隊の真横でデータ解析をしていない会社はこの先生きのこることは出来ない。
そんなわけで私は研究ができない研究所を辞めることにしました。
マルウェア解析技術を叩きこんでくれた先輩方、CでのLinux低レイヤープログラミングを叩きこんでくれ、実運用の現場で動いているプログラムの過酷さを教えてくれた事業会社の皆様、一緒にOSS開発をしたPFIと研究所の皆様には大変感謝しております。
皆様を裏切るようで申し訳ありませんが、このたび研究所を辞めさせていただきます。
次の仕事はソーシャルゲーム屋さんです。2/1からすでに働いています。
データが私の手元にないのなら、私がデータの元に行きます。
ソーシャルゲーム屋さんで自ら運用を行いながら、百万人規模の生データをゴリゴリ解析して収益改善、企画提案を行う予定です。
もうしばらくすると、私の作ったものが世に出るかと思います。
またよろしくお願いします。
- ご活躍なにより! -- 中川 (2012-02-16 12:54:53)

トップページ
ページ一覧
ウィキ内検索
ホットワード
タグ一覧
ページの先頭へ[2]
ページの下へ[8]
友達に教える
PC版はこちら



直前のページは
の戻るボタンで