S-JIS[2012-10-25/2013-02-26] 変更履歴

HDInsight(プレビュー版)

MicrosoftのWindows用Hadoop(プレビュー版)のインストールおよび動作確認。


概要

Windows用のHadoopは、HortonworksのHadoop(Hortonworks Data Platform(HDP))がベースになっている。
Microsoftとしての製品名はHDInsightになったようだ。

HDInsightのプレビュー版のHadoopのバージョンは、Hadoop1.1.0-SNAPSHOT。

対象OSはWindows7およびWindows Server 2008 R2。
かつ、シングルノードでしか動かせないらしい。


Windows7へのインストール

  1. インストーラー(Microsoft Web Platform Installer(WebPI))をダウンロードする。
    1. MicrosoftのDownload CenterのHDInsight Previewsのページを開く。
    2. Instructionsの「Microsoft HDInsight Server Community Technology Preview」の項の「Install the Microsoft Web Platform Installer」をクリックし、Microsoft Web Platform Installer 4.0のページを開く。
    3. 右側の「Free Download」ボタンをクリックし、インストーラー(wpilauncher.exe)をダウンロードする。
  2. インストール作業を行う。
    1. インストーラー(wpilauncher.exe)を実行する。
    2. 最初は「スポットライト」という全然関係ないものが表示されているので、画面上部の「製品」をクリックし、一覧の中から「Microsoft HDInsight for Windows Server Community Technology Preview」の追加ボタンを押す。
      • もしくは、右上の検索ボックスに「Hadoop」と入れると、HDInsightだけ表示される。
      • 「Hortonworks Data Platform for Windows (Developer Preview)」は依存プロダクトとして自動的に選択されるので、明示的に追加する必要は無い。
    3. 「前提条件」として、Hadoopの他に依存するプロダクト(下記参照)とライセンスが表示されるので、「同意する(A)」ボタンを押す。
      • IISの各機能
      • Microsoft Visual C++ 2010 SP1 Redistributable Package (x64)
      • Python 2.7 (32-bit)
    4. ダウンロード・インストールが終わったら、インストーラーを終了する。

これで、自分の場合は以下の様なディレクトリーが作られていた。
(どの場所にインストールするか聞かれることもなく、勝手に出来ていた(苦笑))

ディレクトリー 内容 備考
D:\HadoopInstallFiles Hadoop本体のアーカイブファイル等。 Hortonworks Data Platform(HDP)によって作られたっぽい。
D:\HadoopFeaturePackSetup ツールやサンプル類のアーカイブファイル等。  
C:\Hadoop GettingStarted アーカイブを展開したもの。 Java・Hive・PigやC#のサンプルソースやDLL。
java JDK1.6そのもの!
sqoop-1.4.2 Sqoop

Hadoop本体は何故か展開されていなかったので、手動で解凍する。(本当はインストーラー(PowerShellのファイル)があるっぽいんだけど、使い方が不明(爆))

  1. D:\HadoopInstallFiles\HadoopPackages\hdp-1.0.1-winpkg.zip を適当な場所に解凍する。
  2. その中のresourcesディレクトリーのhadoop-1.1.0-SNAPSHOT.winpkg.zip を適当な場所に解凍する。
  3. その中のresourcesディレクトリーのhadoop-1.1.0-SNAPSHOT.zip を解凍し、C:\Hadoopの下に置く。
    C:\Hadoop\hadoop-1.1.0-SNAPSHOTが出来ることになる。HADOOP_HOMEはここを指定する。

また、環境変数JAVA_HOMEに「c:\hadoop\java」が設定される
※C:\Hadoop\javaが出来ていない場合は、hdp-1.0.1-winpkg.zipの中のresources/java.zipを解凍すれば作ることが出来る。
※このJavaは64bit版 JDK1.6.0_31だった。


動作確認

コマンドプロンプトからHadoop(スタンドアローン環境)を実行してみる。

set HADOOP_HOME=C:\Hadoop\hadoop-1.1.0-SNAPSHOT
set JAVA_HOME=C:\Hadoop\java
cd /d %HADOOP_HOME%
C:\Hadoop\hadoop-1.1.0-SNAPSHOT> bin\hadoop version
Hadoop 1.1.0-SNAPSHOT
Subversion on branch -r
Compiled by jenkins on Wed Oct 17 22:28:56 PDT 2012
From source with checksum 80f5614dfb0743b569344f051a07b37d
C:\Hadoop\hadoop-1.1.0-SNAPSHOT> bin\hadoop jar hadoop-examples-1.1.0-SNAPSHOT.jar pi 4 1000
〜
Job Finished in 16.356 seconds
Estimated value of Pi is 3.14000000000000000000

binの下にhadoop.cmdがあるので、(.cmdファイル拡張子を省略できるから)hadoopコマンドがUNIX版Hadoopと同様に使える。
同じく、%HADOOP_HOME%\conf\hadoop-env.cmdというファイルもあるので、各種環境変数はここで指定することが出来る。


環境変数JAVA_HOMEが設定されていないと、以下のようにエラーになる。

C:\Hadoop\hadoop-1.1.0-SNAPSHOT> bin\hadoop version
Error: JAVA_HOME is not set.
'-classpath' は、内部コマンドまたは外部コマンド、
操作可能なプログラムまたはバッチ ファイルとして認識されていません。

自前でインストールしている標準的なJavaの場所を指定すると…

C:\Hadoop\hadoop-1.1.0-SNAPSHOT> set JAVA_HOME=C:\Program Files (x86)\Java\jdk1.6.0_37
C:\Hadoop\hadoop-1.1.0-SNAPSHOT> bin\hadoop version
'Files' は、内部コマンドまたは外部コマンド、
操作可能なプログラムまたはバッチ ファイルとして認識されていません。
Error: JAVA_HOME is incorrectly set.
       Please update C:\Hadoop\hadoop-1.1.0-SNAPSHOT\conf\hadoop-env.cmd
'-classpath' は、内部コマンドまたは外部コマンド、
操作可能なプログラムまたはバッチ ファイルとして認識されていません。

くそバカMicrosoft、スペース入りのディレクトリー名いい加減にしやがれ!!

JAVA_HOME設定時にダブルクォーテーションで囲めば大丈夫だったが。

C:\Hadoop\hadoop-1.1.0-SNAPSHOT> set JAVA_HOME="C:\Program Files (x86)\Java\jdk1.6.0_37"
C:\Hadoop\hadoop-1.1.0-SNAPSHOT> bin\hadoop version
Hadoop 1.1.0-SNAPSHOT
Subversion  on branch  -r
Compiled by jenkins on Wed Oct 17 22:28:56 PDT 2012
From source with checksum 80f5614dfb0743b569344f051a07b37d

アンインストール

HDInsightおよびHDP(Hortonworks Data Platform)をアンインストールする方法。[2013-02-26]

  1. コントロールパネルの「プログラムのアンインストール」を選択する。
    1. 「Hortonworks Data Platform 1.0.1 Developer Preview」をアンインストールする。
    2. 「Microsoft HDInsight Community Technology Preview」をアンインストールする。
    3. 「Microsoft Web Platform Installer 4.0」は…どちらでもw
  2. 「C:\Hadoop」を削除する。
  3. 「D:\HadoopFeaturePackSetup」「D:\HadoopInstallFiles」を削除する。

Hadoop目次へ戻る / 技術メモへ戻る
メールの送信先:ひしだま