HadoopのHttpFSのメモ。
|
HttpFSは、HTTPでHDFS上のファイルを読み書きをする為のプロキシーサーバー。
(ずばり「Hadoop HDFS Proxy」という名前のものもあるらしいが、HttpFSとは別物)
Cloudera社がHoopというプロキシーサーバーを開発したが、Apache Hadoopにコントリビュート(寄贈)してHttpFSになったらしい。
HttpFSがHDFSプロキシーサーバーであるという基本的な仕組みは変わらないが、REST APIはHoopと違ってWebHDFSに似ている
。
HttpFSはHadoop2.0(旧Hadoop0.23)(CDH4)を対象としているが、CDH3にもバックポートされている。(ただし現時点で最新であるCDH3u5には入っていない。ソースからビルドすれば使用可能)