Sqoopインストール

Sqoopのインストール。

前提

SqoopはHadoopのMapReduceプログラムとして動作するので、Hadoopクライアントのマシンにインストールする必要がある。

RDBにはJDBCでアクセスするので、そのRDBMS用のJDBCドライバーが別途必要。

CentOSへのインストール

CentOSへは、CDH3（Cloudera）のSqoopをインストールするのが簡単。

# yum -y install sqoop

インストールが終わったら、バージョンを確認してみる。

$ sqoop version
Sqoop 1.3.0-cdh3u3

/usr/bin/sqoopはシェルスクリプトであり、その中で「HADOOP_HOME=/usr/lib/hadoop」と決め打ちしている。
CDH3のHadoopでは/usr/lib/hadoop/confはalternativesを使った実体へのシンボリックリンクになっているので、現在の設定が参照される。
ただ、--hadoop-homeでHadoopのディレクトリーを個別に指定することも出来る。

Sqoopのlib

SqoopでDBアクセスを実行する為には、別途JDBCドライバーが必要になる。
「/usr/lib/sqoop/lib」の下にJDBCのjarファイルを配置する。

ソースのダウンロード

ソースはyumではインストールできないが、Clouderaのサイトからダウンロードできる。[2012-06-19]
（CDH3のアーカイブのダウンロード方法と同じ）

1. Clouderaのトップページの上部のメニューバーっぽいところからDownloadsをクリックし、Downloadsページを開く。
2. 「CDH Packages and Downloads」セクション内の「CDH3」の右側にある「Downloads and Documentation」をクリックし、CDH Downloadsページを開く。
3. 「CDH3 Packages and Downloads」セクション内の「Tarball」の右側にある「Download」をクリックし、CDH3 Downloadable Tarballsページを開く。
4. SqoopのDownloadファイル（2012-06-19時点ではCDH3u4の「Sqoop 1.3.0+5.76」）をクリックすると、アーカイブ （sqoop-1.3.0-cdh3u4.tar.gz）がダウンロードされる。