更多内容请访问:
http://www.mikameng.com
简介:
Hadoop是Apache开源组织的一个并行分布式计算开源框架,借助hadoop框架程序员很容易的实现大规模计算机并行分布式计算。hadoop主要包含MapReduce和HDFS,
MapReduce是基于Google MapReduce论文的开源java实现,
map就是将任务分解,然后交给大规模计算机集群去运算,reduce负责合并计算结果。
HDFS: 基于google GFS分布式文件系统论文的开源实现,是hadoop底层存储组件。
环境: RedHat as 5
配置机器:
namenode:10.0.0.114, 机器名: mika
datanode: 10.0.0.115 机器名: c1
-
配置JDK
下载linux jdk安装包: http://download.oracle.com/otn-pub/java/jdk/6u25-b06/jdk-6u25-linux-i586.bin
,
提升bin权限: $ sudo chmod +x jdk-6u25-linux-i586.bin
安装bin文件 $ ./jdk-6u25-linux-i586.bin, 确认后安装即可。
设置java运行环境变量, 我的jdk安装在opt下
$ sudo vi /etc/profile 添加下面的设置:
JAVA_HOME="/opt/jdk1.6.0_25"
PATH=$JAVA_HOME/bin:$PATH
CALSSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export
JAVA_HOME
export PATH
export CALSSPATH
修改保存,然后输入source /etc/profile 激活修改后的java环境变量。
2. 修改hosts文件
name节点,可以通过机器名访问data节点, 添加如下内容:
10.0.0.114 mika
10.0.0.115 c1
data节点,c1添加如下内容:
10.0.0.114 mika
10.0.0.115 c1
3. 设置ssh实现免密码登录
redhat 默认是安装ssh的, 如果没有请先安装ssh服务。
在name节点 生成ssh key,
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 生成密钥对,
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
复杂公钥到authorized_keys文件
scp命令将公钥拷贝到c1数据节点:
$ scp ~/.ssh/authorized_keys c1:/~/.ssh
测试name节点无密码登录c1机器: ssh c1, 出现欢迎登录,配置成功。
4. 配置hadoop
下载最新hadoop最新稳定发行版: http://www.apache.org/dyn/closer.cgi/hadoop/common/
,
解压后修改conf/hadoop-env.sh内的JAVA_HOME,修改为/opt/opt/jdk1.6.0_25
输入命令 bin/hadoop 出现命令使用说明
接下来配置完全分布式集群,所有机器的hadoop安装路径相同:
-
修改core-site.xml文件:
XML语言
:
<?xml-stylesheet type="text/xsl"
href="configuration.xsl"?>
<configuration>
<property>
<name>
fs.default.name
</name>
<value>
hdfs://mika:9000
</value>
</property>
<property>
<name>
hadoop.tmp.dir
</name>
<value>
/opt/hadoop/tmp
</value>
</property>
</configuration>
注意: 需要更改hadoop.tmp.dir默认的指向, 默认指向tmp目录下,
有可能会出现其他问,有时候会出现发现不了datanode的问题。
-
修改hdfs-site.xml 文件:
XML语言
:
<?xml version=”1.0″?>
<?xml-stylesheet
type=”text/xsl” href=”configuration.xsl”?>
<configuration>
<property>
<name>
dfs.replication
</name>
<value>
1
</value>
</property>
</configuration>
-
修改mapred-site.xml
XML语言
<?xml
version="1.0"?>
<?xml-stylesheet type="text/xsl"
href="configuration.xsl"?>
<configuration>
<property>
<name>
mapred.job.tracker
</name>
<value>
mika:9001
</value>
</property>
</configuration>
修改masters: 添加一行内容 mika
修改slaves: 添加一行内容 c1
然后scp将masters,slaves, core-site.xml, hdfs-site.xml, mapred-site.xml 复制到
c1节点
bin/hadoop namenode -format
bin/start-dfs.sh
-
在分配的JobTracker上, 启动mapred
bin/start-mapred.sh
JPS查看namenode服务是否启动
浏览NameNode和JobTracker的网络接口,它们的地址默认为:
备注:
如果新加一个节点c2(10.0.0.116), 该如何设置?
在name节点的hosts里加入 10.0.0.116 c2, 然后在name和c2节点的slaves里添加c2
,然后在c2节点里启动输入:
bin/start-daemon start datanode
bin/start-daemon start tasktrack
固定链接:
http://www.mikameng.com/?p=289
分享到:
相关推荐
Hadoop 分布式集群搭建 Hadoop由Apache基金会开发的分布式系统基础架构,是利用集群对大量数据进行分布式处理和存储的软件框架。用户可以轻松地在Hadoop集群上开发和运行处理海量数据的应用程序。Hadoop有高可靠,...
Hadoop分布式集群搭建所需安装包资源 jdk-8u171-linux-x64.tar.gz hadoop-2.7.5.tar.gz
集群搭建:里面包括hadoop hive hbase spark mongo 等组建
Hadoop 分布式集群搭建.md
Hadoop分布式集群搭建.pdf
(85条消息) Hadoop分布式集群搭建(完整版)_卡布达暴龙兽的博客-CSDN博客_hadoop分布式集群搭建.htm
Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程 按照文档中的操作步骤,一步步操作就可以完全实现hadoop2.2.0版本的完全分布式集群搭建过程
本人搭建hadoop完全分布式集群时,写的文档,内有详细步骤,
VM+CentOS+hadoop2.7搭建hadoop完全分布式集群,自己实际实用过程的总结
史上最详细的hadoop完全分布式集群搭建,适合初学大数据的新手。由于涉及到linux的安装什么的,需要另外linux系统安装详解资源的可以联系我,免费给q:1487954071
Hadoop由Apache基金会开发的分布式系统基础架构,是利用集群对大量数据进行分布式处理和存储的软件框架。用户可以轻松地在Hadoop集群上开发和运行处理海量数据的应用程序。Hadoop有高可靠,高扩展,高效性,高容错等...
hadoop完全分布式集群搭建笔记
Hadoop分布式集群搭建过程中IP配置,包括单机伪分布式和多台机器集群搭建。同时包括VBox linux虚拟机网卡配置
hadoop2.8.1分布式集群搭建,有详细的图文,只要按照操作一步步的来,基本上都能完成搭建
自己整理的Hadoop环境的一些安装,和一些简单的使用,其中包括Hadoop、hbase、hive、mysql、zookeeper、Kafka、flume。都是一些简单的安装步骤和使用,只在自己的虚拟机(Linux centOS7)上使用测试过。按照步骤一步...
Hadoop3.3.1分布式集群搭建详细教程,简单零基础一站式搭建
#资源达人分享计划#
hadoop分布式集群环境搭建参考文档