2009/02/16

はてな がHadoopを使っているという話。

hadoop by Jinho.Jung.
hadoop on Flickr - Photo Sharing!

タイトルまんまです。

はてなは現在Hadoop(分散処理のMapReduceのため)をログ解析・検索インデックスの構築・Webのクローリングに使っているそうです。

はてなキーワードの全文検索部分に利用されているとのこと。これはインターンで学生が実質2週間で実装しました…とのこと!?

Hadoop Streaming - naoyaのはてなダイアリー
はてながこういったエントリーを書いているのは、実験して遊んでるからじゃなくて実際に活用しているからなんですね:-)
一番最初にHadoopを導入した理由はログ解析の効率化のためのようです。

でも、基盤に近いからかインターネット上に情報が少ないのが残念です。
自分も還元していきたいけど、チュートリアル程度の事しか出来ないから…涙目

 

via 日経ソフトウェア 2009/1月
(Hadoopはあくまでも単語で登場するだけですので、それに付いて書かれているわけではないです)