Hadoopインストール手順（0.20.1）

概要
インストール時に打ったコマンドのログです。

素直にQuick Startを見た方が参考になると思いますが、日本語で実際に入れた人間のログが役に立つこともあると思ったので公開してみた感じです。

ディレクトリやユーザの構成は、割と自分仕様になっています。

# hadoop用にユーザを追加してみる（任意）
$ sudo addgroup -gid 5000 hadoop
$ sudo adduser --uid 5000 --home /home/hadoop --shell /bin/bash --system --group hadoop
$ sudo passwd hadoop

# hadoopユーザになる
$ sudo su hadoop
$ cd ~

# SUN純正のJDK6をここからダウンロード
http://java.sun.com/javase/ja/6/download.html
# 落とすのは「Java SE Development Kit」
# OpenJDKだと動かないという噂を聞いた
# 32bit / 64bitの選択を間違えて微妙にハマったのは内緒だ

# JDKをインストールする（利用規約が長い……）
$ sh jdk-*-linux-x*.bin

# 個人的な趣味で/usr/local配下に配置する
$ cp -r jdk1.6.* /usr/local

# バージョン変えるのが楽なように、シンボリックリンクを貼っておく
$ ln -s /usr/local/jdk1.6.* /usr/local/jdk

# 下記URLからstableな子をダウンロードしておく
http://hadoop.apache.org/common/releases.html
# このドキュメントで使用しているのは、0.20.1

# 解凍する
$ tar xzvf hadoop-*.tar.gz

# hadoopディレクトリに入る
$ cd hadoop-*

# sshが入ってなければ入れておく
# Ubuntuはデフォルト入ってなかった、Fedoraは入ってた
$ sudo apt-get install ssh

# rsyncも入ってなければいれておく（UbuntuもFedoraも入ってた）
sudo apt-get install rsync

# sshの鍵作る
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

# FedoraやCentOSの場合は、以下のような手順で権限を変えておかないと
# ssh時にパスワード聞かれるかも
$ chmod 700 ~/.ssh
$ chmod 600 ~/.ssh/authorized_keys

# sshでlocalhostに入ってみる
# パスワードを聞かれずにすんなり入れればOK
$ ssh localhost
$ exit

# JAVA_HOMEを指定している箇所があるので、コメントを外して修正
$ vi conf/hadoop-env.sh
export JAVA_HOME=/usrlocal/jdk

# Quick StartではStandaloneモードでの使用も解説もしてるけど、
# ここではPseudo-Distributedからスタート

# 下記のように追記する
$ vi conf/core-site.xml
<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

$ vi conf/hdfs-site.xml
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

$ vi conf/mapred-site.xml
<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
  </property>
</configuration>

# ファイルシステムをフォーマットする
$ bin/hadoop namenode -format

# Hadoopをスタートする
$ bin/start-all.sh
# 設定が問題なければ

# 動作確認の為に、lsして何もないよと言われてみる
$ bin/hadoop dfs -ls
ls: Cannot access .: No such file or directory.
戻る    ご意見、ご要望