Hadoop集群组件配置

Spark集群搭建

首先在scala官网（http://www.scala-lang.org/files/archive/scala-2.10.4.tgz）下载scala语言并解压缩，配置/etc/profile下scala的环境变量

export SCALA_HOME=/usr/local/scala
export PATH=$PATH:${SCALA_HOME}/bin

环境变量成功生效后进行测试，输入15*15,返回225，成功

接下来到spark官网（http://archive.cloudera.com/cdh5/cdh/5/spark-1.5.0-cdh5.6.0.tar.gz)下载Spark包，继续配置环境变量

export SPARK_HOME=/usr/local/soft/spark-1.6.0-bin-hadoop2.6
export PATH=$PATH:${SPARK_HOME}/bin

完成后继续配置${SPARK_HOME}/conf/spark-env.sh

配置{SPARK_HOME}/conf/ slaves，在vi编辑器中添加node节点,在将程序分发给node节点

scp -r spark-1.6.0-bin-hadoop2.6. root@node1:/usr/local/soft/
scp -r spark-1.6.0-bin-hadoop2.6. root@node2:/usr/local/soft/

可以通过./start-all.sh命令来启动spark集群

可也有通过节点来启动：

· 通过sbin/start-master.sh启动主节点
· 通过sbin/start-slave.sh 192.168.218.141:8070等启动node节点

可以执行/bin/run-example SparkPi 10 > Sparkpilog.txt运行spark示例程序

通过jps命令查看启动的java服务，进行验证

都通过后，可以在本地浏览器输入http://192.168.218.141:8090/，进入到spark服务界面

如果要启动spark shell，可以执行：spark shell：bin/spark-shell

最后通过./stop-all.sh来关闭spark集群

Hive

Hbase

Kafuka

Sqoop

Flink

Strom

（未完）