linkding / my-work Goto Github PK

8月18日，我们跑通了在我的虚拟的spark+hadoop的环境部署，成功跑通了测试脚本。

其中，纠正了一下几点：

• 加大了内存到6G（原1G），spark配置文件配置了5G;
• 修正了spark对应的hadoop版本（原来对应的是2.7，实际使用2.6）
• 删除了anaconda默认使用的python；

此issue就是要讨论下，怎么整合ananconda到spark的环境中，因为anaconda是一个非常强大的科学套件，整合了很多优秀的软件库：

参考资料：

• http://www.codexiu.cn/python/blog/3699/
• https://www.continuum.io/blog/developer-blog/using-anaconda-pyspark-distributed-language-processing-hadoop-cluster （来自conda官方）