S-JIS[2010-02-21/2021-05-17] 変更履歴

Apache Hadoop

Apache Hadoop(ハドゥープ)は、分散コンピューティングの為のオープンソースのソフトウェア(フレームワーク)。

Hadoopというのは、製作者の子供のぬいぐるみの象の名前なんだそうだ。
公式ページの上の方に描かれている黄色い象がそれか?^^; (ぬいぐるみの写真→@ITの記事工藤さんのブログの下の方)


リンク

情報 内容 辿り着く方法
Hadoopのトップページ Hadoopの日本語トップページ  
ダウンロードページ ダウンロード トップページの上部のタブっぽいリンクから「Common」を選択し、
スタートガイドの「ダウンロードする」をクリックする。
概要 簡単なリンク集 トップページの上部のタブっぽいリンクから「Common」を選択し、
スタートガイドの「知る」をクリックする。
クイックスタート サポートされるOSや
必要なソフト(バージョン)
環境設定方法など
概要ページの左側のメニューの「スタートガイド」→「クイックスタート」を選択する。
あるいは概要ページの本文の「Hadoop クイックスタート」をクリックする。
Map/Reduce チュートリアル Map/Reduceのサンプルソース 概要ページの左側のメニューの「スタートガイド」→「Map/Reduce チュートリアル」を選択する。
あるいは概要ページの本文の「Hadoop Map/Reduce チュートリアル」をクリックする。
コマンドガイド hadoopのコマンドマニュアル 概要ページの左側のメニューの「プログラミングガイド」→「コマンド」を選択する。
APIドキュメント Javadoc 概要ページの左側のメニューの「その他」→「APIドキュメント」を選択する。
なんで“その他”なんだ?!(苦笑)

Windowsへのインストール

Hadoop0.20〜0.21

Hadoop0.20はUNIXを想定しているようなので、Windowsで試す為にはCygwinが必要。
sshが必要なので、CygwinのOpenSSHダウンロードして設定しておく。 (単独環境で動作させるだけならsshは不要)

参考: クイックスタート

HadoopはJavaで動くので、JDK1.6もインストールしておく。

  1. Hadoop Common リリースの 「今すぐダウンロードする」を選択してダウンロードページを開く。
  2. ダウンロードページから適当にミラーサイトを選んで、アーカイブをダウンロードする。(hadoop-0.x.y.tar.gz)
  3. 適当な場所にアーカイブを展開する。(C:\temp\hadoop-0.x.y\〜)
  4. 展開したディレクトリーをCygwinのディレクトリーに移動する。(C:\cygwin\usr\local\hadoop-0.x.y\〜)
    (Cygwin(bash)から、/usr/local/hadoop-0.x.y/でアクセスできるようになる)
    以降、C:\cygwin\usr\local\hadoop-0.x.yをHADOOP_HOMEと呼ぶことにする。

Hadoop1.1.0

Hadoop1.1ではHortonworksがWindows用に起動コマンドを用意したHDPというディストリビューションがあるので、それを使う。[2013-05-26]


Hadoopの環境設定


Hadoop単独環境の動作確認

Windows上の単独環境(スタンドアローン・非分散環境)で試す方法。

単独環境は通常のマシンのファイルシステムをそのまま使うので、HDFS(Hadoop Distributed File System:Hadoop分散ファイルシステム)は使わない。
設定ファイル(HADOOP_HOME/confの下のxmlファイル)はデフォルトで単独環境用なので、特にいじる必要は無いらしい。


技術メモへ戻る / Javaへ戻る
メールの送信先:ひしだま