[repost ]Spark安装和测试（Standalone 模式）

original:http://ift.tt/1mpJxjT 1：Spark Standalone Mode安装 A：部署文件生成 首先，下载并解压缩Spark的源码，切换到解压缩所生成的目录，运行spark的部署文件生成程序： ./make-distribution.sh –hadoop 2.2.0 –with-yarn –tgz make-distribution.sh可以带3个参数 –tgz: 在根目录下生成 spark-$VERSION-bin.tar.gz –hadoop VERSION: 打包时所用的Hadoop版本号 –with-yarn: 是否支持Hadoop YARN 运行成功后，在根目录下生成spark-0.8.1-incubating-hadoop_2.2.0-bin.tar.gz部署文件，不过该部署文件只带有最基本的Spark运行文件，不包含例程。 B：部署 用生成的spark-0.8.1-incubating-hadoop_2.2.0-bin.tar.gz文件在要安装Spark的机器上部署 [root@hadoop1 app]# tar zxf spark-0.8.1-incubating-hadoop_2.2.0-bin.tar.gz [root@hadoop1 app]# mv spark-0.8.1-incubating spark081_sl [root@hadoop1 app]# cd spark081_sl [root@hadoop1 app]# ls -lsa C：启动Spark [root@hadoop1 spark081_sl]# bin/start-master.sh 启动后，可以通过浏览器浏览8088端口 D：建立Spark集群 规划： 192.168.1.171 hadoop1（master） 192.168.1.172 hadoop2（slave） 192.168.1.173 hadoop3（slave） [...]



via WordPress http://ift.tt/KkXAZc