初识hadoop - 快车库

google大数据技术：

MapReduce
BigTable
GFS

HDFS是Google File System（GFS）的开源实现。
MapReduce是Google MapReduce的开源实现。
HBase是Google BigTable的开源实现。

一、大数据相关技术

Hive 降低了使用hadoop的门槛

Hbase相比于传统的关系型数据库放弃了事务特性，追求更高的扩展和HDFS 提供数据的随机读写和实时访问，实现对表数据的读写功能

zookeeper 监控hadoop集群的节点状态等

二、环境配置

hadoop使用java写的需要jdk环境
输入：javac 查看java版本

安装jdk apt-get install jdk*

添加环境变量
修改/etc/profile

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export JRE_HOME=/$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

source /etc/profile

wget命令用来获取hadoop的安装包

wget http://apache.stu.edu.tw/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

修改配置文件
1、hadoop-env.sh 修改$JAVA_HOME
2、core.site,xml 修改配置

  <property>

    <name>hadoop.tmp.dir</name>

    <value>/hadoop</value>

  </property>

  <property>

    <name>dfs.name.dir</name>

    <value>/hadoop/name</value>

  </property>

  <property>

    <name>fs.default.name</name>

    <value>hdfs://localhost:9000</value>

  </property>

3、hdfs-site.xml 修改配置

<property>

<name>dfs.data.dir</name>

<value>/hadoop/data</value>

</property>

4、mapred-site.xml修改配置

<property>

<name>mapred.job.tracker</name>

<value>localhost:9001</value>

</property>

再次编辑/etc/profile

export JAVA_HOME=/usr/local/jdk1.8.0_60
export JRE_HOME=$JAVA_HOME/jre
export HADOOP_HOME=/home/server/hadoop/hadoop-1.2.1
export CLASSPATH=$JRE_HOME/lib:$JAVA_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH

source一下
输入hadoop生效如下

发现有一个问题

    Warning: $HADOOP_HOME is deprecated.

解决办法：
/etc/profile 文件最后加上 export HADOOP_HOME_WARN_SUPPRESS=1 ，然后输入命令

    source /etc/profile

使其生效即可。

三、简单操作

格式化文件系统

hadoop namenode -format

格式化之后，输入启动命令：

/hadoop/bin$ sh start-all.sh

启动后使用命令

jps

查看是否有以下的在运行程序

忽略bootstrap这个进程