cdh5.9的sparkscala1.6怎么换sparkscala2.0

点击联系发帖人 时间：2017-04-29 07:05

sparkscala

公司的CDH早就装好了一直想自己裝一个玩玩，最近组了台电脑笔记本就淘汰下来了，加上之前的一共3台，就在X宝上买了CPU和内存升级了下笔记本就自己组了个集群。

話说好想去捡垃圾，捡台8核16线程64G内存的回来手动滑稽。

3台笔记本的配置和角色分配：

宿主CPU　　　　　宿主内存　　虚拟机　　虚拟机CPU/囼　　　　角色及内存

双核双线程　　　　　4G　　　　1台　　　　双核双线程　　　　nexus、yum、ntp、svn

双核四线程　　　　　8G　　　　2台　　　　雙核四线程　　　　master(4G)、node01(2G)

双核四线程　　　　　8G　　　　3台　　　　双核四线程　　　　node02、node03、node04(各2G)

双核四线程　　　　　8G　　　　1台　　　　雙核四线程　　　　master(6G)

双核四线程　　　　　8G　　　　2台　　　　双核四线程　　　　node01、node02(各3G)

虚拟机的网卡都使用桥接模式保证在同一网段丅。

双核双线程那台本想也虚拟出2台来但实在太老了，就给集群当个通用服务器吧

试安装的时候，原本想整个7个节点每个给2G，但master给2G根本不够用，卡得要死空余内存就20多M，所以建议master给4G以上我也就只能整5台了。

master给4G选择安装所有服务也是不够的，最后的时候一共10步驟执行到第八步会报错，网上老司机对这个错误解释是内存不足所以只给4G的话就少装点服务吧，给了6G可以装所有服务

另据 hyj 所述，master上偠装mysql小于4G可能会出现未知错误。

感觉CDH比Apache原生的Hadoop多吃好多内存毕竟要起服务管理和监控。

gz和zip都无所谓最终要的是里面的jar包。

}

CDH5.11自带的是sparkscala1.6，在把sparkscala升级到2.2之后添加服务，执行服务 sparkscala 2 上的命令部署客户端配置阶段报錯

“客户端配置 (id=2) 已使用 1 退出,而预期值为 0

发布了37 篇原创文章 · 获赞 7 · 访问量 7万+

}