hadoop on Flickr - Photo Sharing!
突然のHadoopの話題:-)
分散コンピューティング環境のHadoopが実際にどんな企業で使われているのかメモです。
実際に大きな所はPoweredBy - Hadoop Wikiに書かれているので詳しくはそちらを。
あと、ここに書かれている以外にも気になるものが…
- Facebook
ログ解析と機械学習に利用
4,800コアの600ノード規模 - Google & IBM
学生の分散コンピューティング教育のためにGoogleとIBMのハードウェア資産を遠隔操作できるそうです。その上で動いているのはHadoop
元々Googleの技術のオープンソース実装を、Googleが使っているのが面白い:p
Google Press Center: Press Release - IBM
自社のBlue Cloud製品の基盤にHadoopを採用
IBM、クラウド推進の「Blue Cloud」計画を発表 - ITmedia News - The New York Times
Amazon EC2上でHadoopを利用し4TB分のデータをOCRし、80万枚のPNGに36時間で変換
Linux と Hadoop による分散コンピューティング - Yahoo!
おそらく最大の導入例
4,000ノード以上で検索エンジンのランキング部分の処理にHadoopを使用。
非常に参考になるデータScaling Hadoop to 4000 nodes at Yahoo! (Hadoop and Distributed Computing at Yahoo!)
日本のYahoo! japanについては情報が無いので分からない - 楽天
“現在はオープンソースのJava向け分散処理フレームワーク「Hadoop」を使っている”
楽天版MapReduce・HadoopはRubyを活用 － ＠IT
おそらくは現在Hadoopを利用していると思う。楽天は独自にRubyでMapReduceを実装しようとしており今日現在どうなのかは不明
規模は4,200万楽天市場会員のレコメンデーション部分に使用していると推測できる。
こんな感じです。
楽天さんももっと積極的に言ってくれればいいのに…
