S-JIS[2012-09-29/2012-10-02] 変更履歴

HttpFS

HadoopのHttpFSのメモ。


概要

HttpFSは、HTTPでHDFS上のファイルを読み書きをする為のプロキシーサーバー。
(ずばり「Hadoop HDFS Proxy」という名前のものもあるらしいが、HttpFSとは別物

Cloudera社がHoopというプロキシーサーバーを開発したが、Apache Hadoopにコントリビュート(寄贈)してHttpFSになったらしい。
HttpFSがHDFSプロキシーサーバーであるという基本的な仕組みは変わらないが、REST APIはHoopと違ってWebHDFSに似ている 。

HttpFSはHadoop2.0(旧Hadoop0.23)(CDH4)を対象としているが、CDH3にもバックポートされている。(ただし現時点で最新であるCDH3u5には入っていない。ソースからビルドすれば使用可能)


リンク


WebHDFSへ行く / Hadoopへ戻る / 技術メモへ戻る
メールの送信先:ひしだま