Giter Club home page Giter Club logo

brfs's Introduction

BRFS

BRFS是一个主要针对海量小文件(快照、图片、语音等)存储而设计的高可用、高性能、易扩展的分布式文件系统。BRFS对存储的文件格式没有限制和要求,任何格式的文件都会以byte字节流的方式进行存储。此系统功能不仅包含了现有其他开源产品具备的权限控制、数据增删读、多副本备份、数据检验等基础功能,同时我们还设计了独特且高效的副本自动迁移和平衡策略、多应用数据隔离且独立配置,系统资源管理插件、集群状态可视化监控与报警等功能。

一般来说,一个BRFS系统包含如下三个部分:
1、FS_Server.jar:在集群每个节点上运行的核心服务模块。在模块运行时会启动若干ReginNode(管理节点)和DataNode(数据节点)进程来提供服务。其中ReginNode进程主要职责是管理存储域元信息、管理数据节点、把用户数据分配到不同的数据节点上进行处理;DataNode进程主要职责是用户数据文件的写入和读取、副本自动平衡恢复、执行定时任务(副本数校验、CRC校验、数据删除、数据归并)执行等。

2、FS_ResouceManager.jar:系统资源管理模块,用于实时收集和监控集群各节点资源负载情况,以支持系统可根据节点负载情况分配资源,解决各节点资源利用和负载不均衡问题。BRFS系统内部默认提供了一组资源管理的策略,主要包含CPU、内存、I/O、磁盘容量等负载指标。目前此模块采用可热插拔的设计方式,但如果用户有特殊需求,可自定义此插件,自行实现集群资源的分配和管理。

3、server.properties.example:用于后台服务运行时所有的关键控制参数的默认值配置,如果想变更参数值,可以复制一个名为server.properties的文件,并把需要修改的属性和值添加到此文件中即可,程序运行时server.properties文件中的配置的参数值会覆盖server.properties.example文件中参数的默认值。

同时,用户如需调用BRFS服务,则需要在工程中引入FS_Client.jar,并在代码中调用相关的接口对BRFS系统进行操作;

BRFS分布式文件系统接收的数据形式可以是快照、图片或者任何以byte数组方式进行存储的数据文件。

性能

集群规模:由2台物理机器组成集群,数据保存一副本;  
单台配置:CPU:4核、内存:18G、磁盘:STAT盘 4T 7.2K;  
网络:千兆网卡;  
压测结果指标:QPS、CPU、MEMORY、IO;

压测方式:  
    分别使用 1个/2个/3个 JMeter客户端对BRFS进行压测,每个JMeter客户端开启50个并发线程;      
    分别使用 1个/2个/8个 JMeter客户端对BRFS进行压测,每个JMeter客户端开启50个并发线程;  
目标文件:随机生成1KB数据文件;  
写入性能
1个JMeter:  qps:7541; cpu:59%; 内存:21%; IO:53%; 吞吐量:9MB;  
2个JMeter:  qps:12216; cpu:66%; 内存:26%; IO:53%; 吞吐量:15MB;  
3个JMeter:  qps:15767; cpu:72%; 内存:33%; IO:53%; 吞吐量:19MB;  
读取性能
1个JMeter:  qps:13295; cpu:21%; 内存:19%; IO:3% 吞吐量:7MB;  
2个JMeter:  qps:40729; cpu:61%; 内存:19%; IO:5% 吞吐量:20MB;  
8个JMeter:  qps:96000; cpu:80%; 内存:25%; IO:5% 吞吐量:50MB;  

价值

1、文件存储采用写时合并机制,帮助客户解决环境IO瓶颈的问题;  
2、文件副本自动平衡恢复,帮助客户解决数据的安全性的问题;  
3、硬件资源负载管理,帮助客户解决集群资源使用热点的问题;  
4、引入应用分区的概念,帮助客户解决不同业务数据个性化处理的问题;  
5、集群横向扩容,帮助客户解决集群扩容不方便的问题。  

如何使用

BRFS系统依赖第三方组件极少,除依赖JDK等基础组件外,其他组件只依赖Zookeeper服务进行集群状态同步,且核心服务只有两个Jar文件,因此安装部署极为简单,以下是部署安装的具体步骤:
1、安装基础组件,主要包括Zookeeper、JDK等;
2、根据业务需要配置server.properties文件;
3、启动各节点FS_Server.jar服务;
4、通过测试客户端,测试读写功能是否正常。

后续

BRFS分布式文件系统目前推出仅是第一个版本,并已在博睿公司所有产品线上实际运行,大大降低了博睿公司对于海量小文件的存储成本。同时,BRFS下个版本还将进行两方面优化,一是对大文件存储的支持和优化,不再区分大文件或是小文件,而定位为海量非结构化数据分布式存储系统;二是解决目前所有类似服务都存在的需要用户保存文件FID的问题,对于用户来说,存储海量文件的FID同样是个很大的开销,BRFS将开发一款全新的基于磁盘的key-value系统,以解决海量FID和文件元数据关联存储的问题,请持续关注。

brfs's People

Contributors

makemedroid avatar wellicoming avatar zhwei4150 avatar zhangnianli avatar lq1804 avatar

Stargazers

 avatar UMUJ avatar WenbinAi avatar  avatar lxw avatar forideal avatar lgw avatar  avatar orangleliu avatar  avatar  avatar  avatar  avatar  avatar  avatar JieCheng@bit avatar wangnk avatar  avatar  avatar

Watchers

LI Daobing avatar huapuyu avatar James Cloos avatar  avatar  avatar  avatar  avatar  avatar

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.