MicrosoftのWindows用Hadoop(プレビュー版)のインストールおよび動作確認。
Windows用のHadoopは、HortonworksのHadoop(Hortonworks Data
Platform(HDP))がベースになっている。
Microsoftとしての製品名はHDInsightになったようだ。
HDInsightのプレビュー版のHadoopのバージョンは、Hadoop1.1.0-SNAPSHOT。
対象OSはWindows7およびWindows Server 2008 R2。
かつ、シングルノードでしか動かせないらしい。
これで、自分の場合は以下の様なディレクトリーが作られていた。
(どの場所にインストールするか聞かれることもなく、勝手に出来ていた(苦笑))
ディレクトリー | 内容 | 備考 | |
---|---|---|---|
D:\HadoopInstallFiles |
Hadoop本体のアーカイブファイル等。 | Hortonworks Data Platform(HDP)によって作られたっぽい。 | |
D:\HadoopFeaturePackSetup |
ツールやサンプル類のアーカイブファイル等。 | ||
C:\Hadoop |
GettingStarted |
アーカイブを展開したもの。 | Java・Hive・PigやC#のサンプルソースやDLL。 |
java |
JDK1.6そのもの! | ||
sqoop-1.4.2 |
Sqoop |
Hadoop本体は何故か展開されていなかったので、手動で解凍する。(本当はインストーラー(PowerShellのファイル)があるっぽいんだけど、使い方が不明(爆))
また、環境変数JAVA_HOMEに「c:\hadoop\java」が設定される。
※C:\Hadoop\javaが出来ていない場合は、hdp-1.0.1-winpkg.zipの中のresources/java.zipを解凍すれば作ることが出来る。
※このJavaは64bit版 JDK1.6.0_31だった。
コマンドプロンプトからHadoop(スタンドアローン環境)を実行してみる。
set HADOOP_HOME=C:\Hadoop\hadoop-1.1.0-SNAPSHOT set JAVA_HOME=C:\Hadoop\java cd /d %HADOOP_HOME%
C:\Hadoop\hadoop-1.1.0-SNAPSHOT> bin\hadoop version Hadoop 1.1.0-SNAPSHOT Subversion on branch -r Compiled by jenkins on Wed Oct 17 22:28:56 PDT 2012 From source with checksum 80f5614dfb0743b569344f051a07b37d
C:\Hadoop\hadoop-1.1.0-SNAPSHOT> bin\hadoop jar hadoop-examples-1.1.0-SNAPSHOT.jar pi 4 1000 〜 Job Finished in 16.356 seconds Estimated value of Pi is 3.14000000000000000000
binの下にhadoop.cmdがあるので、(.cmdファイル
は拡張子を省略できるから)hadoopコマンドがUNIX版Hadoopと同様に使える。
同じく、%HADOOP_HOME%\conf\hadoop-env.cmdというファイルもあるので、各種環境変数はここで指定することが出来る。
環境変数JAVA_HOMEが設定されていないと、以下のようにエラーになる。
C:\Hadoop\hadoop-1.1.0-SNAPSHOT> bin\hadoop version
Error: JAVA_HOME is not set.
'-classpath' は、内部コマンドまたは外部コマンド、
操作可能なプログラムまたはバッチ ファイルとして認識されていません。
自前でインストールしている標準的なJavaの場所を指定すると…
C:\Hadoop\hadoop-1.1.0-SNAPSHOT> set JAVA_HOME=C:\Program Files (x86)\Java\jdk1.6.0_37
C:\Hadoop\hadoop-1.1.0-SNAPSHOT> bin\hadoop version
'Files' は、内部コマンドまたは外部コマンド、
操作可能なプログラムまたはバッチ ファイルとして認識されていません。
Error: JAVA_HOME is incorrectly set.
Please update C:\Hadoop\hadoop-1.1.0-SNAPSHOT\conf\hadoop-env.cmd
'-classpath' は、内部コマンドまたは外部コマンド、
操作可能なプログラムまたはバッチ ファイルとして認識されていません。
くそバカMicrosoft、スペース入りのディレクトリー名いい加減にしやがれ!!
JAVA_HOME設定時にダブルクォーテーションで囲めば大丈夫だったが。
C:\Hadoop\hadoop-1.1.0-SNAPSHOT> set JAVA_HOME="C:\Program Files (x86)\Java\jdk1.6.0_37" C:\Hadoop\hadoop-1.1.0-SNAPSHOT> bin\hadoop version Hadoop 1.1.0-SNAPSHOT Subversion on branch -r Compiled by jenkins on Wed Oct 17 22:28:56 PDT 2012 From source with checksum 80f5614dfb0743b569344f051a07b37d
HDInsightおよびHDP(Hortonworks Data Platform)をアンインストールする方法。[2013-02-26]