昵称登录后显示

● 项目基于开源的分布式存储系统ceph，采用对象存储的方式，自主研发；主要研发任务分为以下两个方面：
● 1、针对海量小文件并发的处理，主要对数据存储介质，元数据处理，数据合并等设计理念；
● 2、针对冷热数据的不同处理逻辑，提供接口，可以自主选择存储位置，方便用户构建自己的数据管理系统。
● 功能修改主要基于rgw网关模块
● 小文件归并部分主要修改现有的元数据处理方式，创建新的缓存池（ssd），拆分元数据和数据，合并元数据、数据、index的更新流程，减少io时间损耗。目前性能大幅提升50%。
● 文件转储基于现有的storage_class模型，拓展新的存储类（对应外部存储介质），开发单独的转储、取回模块，同时兼容正常的上传下载删除逻辑；目前该功能已经上线。
设计思路是沿用ceph本身的线程管理模型，消息队列的方式异步处理。一致性采用cls方式注入osd接口的方式。

特色功能
● 存储池的优化根据设定的权重，对后续的存储按照权重分配存储池，扩容减少数据平衡；
● 生命周期添加自研参数，实现智能化存储初步实现；
● 小文件归并采用在线、离线归并方式，在线增加归并速度，离线保证数据没有遗漏；
● 对接外部存储，数据存储更持久，耗能更低；
● 对接文件系统，保证多场景的存储入口。