jxt1234 / sunsetglow Goto Github PK

#SunsetGlow介绍 ##作用 SunsetGlow是Renascense的并行计算插件，支持单机和分布式的计算，旨在建立一个最优的分布式计算架构。

##架构设计 ###一期：实现master-slave分布式计算模式 数据存储于HDFS系统中，所有计算函数库及配置文件事先放到每一台计算资源上。所有计算资源共同访问同一个HDFS文件系统。

计算调度分为三个模块： 客户端(client)——中心服务端(server)——响应者(responser)

client发起计算请求，server响应请求并将任务分解传给responser，等待responser完成后返回。

conf/ip.conf 为 起responser的机器ip地址。

###二期：加入计算函数库的编写与安装机制 支持函数库编写后推送到目标机器上编译，动态加载

##相关依赖 ###Renascense

###HDFS Version: 2.5.2 1、下载HDFS 2.5.2源码及安装包。 2、在源码包中编译hdfs的jni库，将其放入/usr/lib。 3、在.bashrc中指定 CLASSPATH，加载hdfs相应的类。 4、建立自己的hdfs配置文件，格式为四行文本：

ip（访问HDFS集群的ip地址） username:password（用户名：密码） hdfsBaseDir（HDFS根目录）

5、修改 conf/hdfs.conf，将路径改为自己的hdf配置文件路径