MapReduce的配置详解 - hadoop1.2.1

1944 查看

hadoop官方文档 http://hadoop.apache.org/docs/r1.2.1/single_node_setup.html

  1. 关闭防火墙 service iptables stop

  2. 修改 vi /home/hadoop-1.2/conf/mapred-site.xml

    配置主JobTracker

    <property>
                    <name>mapred.job.tracker</name>
                <value>hnd1:9001</value>
        </property>
    
    配置TaskTracker

    最好运行在HDFS的DataNode上 默认也是在DataNode上 所以不需要修改配置

    把配置文件复制到其他机器上
    scp ./mapred-site.xml root@hnd2:/home/hadoop-1.2/conf/
    scp ./mapred-site.xml root@hnd3:/home/hadoop-1.2/conf/

  3. 启动
    cd /home/hadoop-1.2/bin/
    ./start-all.sh

  4. jps查看启动进程
    访问
    NameNode - http://localhost:50070/
    JobTracker - http://localhost:50030/

  5. hadoop执行jar文件
    创建输入目录
    ./hadoop fs -mkdir /usr/input

    ./hadoop jar /home/hadoop/package/wordcount.jar com.hadoop.mr.JobRun

  6. 在目录C:WindowsSystem32driversetc中
    修改文件hosts

    添加
    192.168.40.101 hnd1
    192.168.40.102 hnd2
    192.168.40.103 hnd3
    192.168.40.104 hnd4