坚持存储技术创新,浪潮InRAID带来的高品质数据性能与可靠
2022年4月6日 | by tgcode
新一代信息技术正加速数字经济时代的到来,数据作为数字经济时代的信息支撑,数据成为继土地、劳动力、资本、技术之后的第五大生产要素,正在成为驱动经济社会发展的重要力量。
数据也作为企业重要的数字资产,成为驱动企业数字化转型升级的重要引擎,数据的可靠性、完整性和安全性,关系到行业和企业的生存力和竞争力,业务永远在线、数据永不丢失、性能永无止境、容量永远充足,已成为存储在智慧时代下全新的挑战。 作为数据的核心载体,存储系统更加关注可靠性、性能等重要指标,浪潮存储通过算法优化、分布式热备空间等一系列的技术创新推出了 InRAID 功能,突破传统 RAID 的性能和可靠性局限,为数字化转型提供有更高可靠性及更优的性能的数据底座。
容量、性能、可靠性是RAID产生的主要原因
计算机发展的初期,产生的和要处理的数据也在快速增加,单块磁盘无法满足系统对于数据存储的容量、读取的性能、安全可靠性的要求。RAID(Redundant Arrays of Independent Disks)技术应运而生,其意为独立磁盘构成的具有冗余能力的阵列,多个独立的磁盘组成在一起形成一个大的磁盘系统,从而实现比单块磁盘更好的存储性能和更高的可靠性,这种冗余能力体现在存储数据的某个磁盘发生故障时,RAID 技术可以将故障盘的数据重构并恢复至热备盘,以此来保障数据的安全性。RAID 的可靠性是指 RAID 失去冗余丢失数据tgcode的概率。比如 RAID5 双盘故障的时候即为冗余丢失,在单个硬盘故障到重构完成之前,发生第二个盘故障的概率就是 RAID5 的失效率。从直观的角度来看,如果单盘重构速度越快,那么双盘同时处于故障的概率就越低,RAID 的可靠性就越高。
数字经济时代,传统RAID有了新的局限
传统 RAID 在解决了容量、性能、可靠性问题的同时,其热备盘的闲置造成了一定资源的浪费;另外有磁盘发生故障时,阵列进行重构任务向热备盘写入恢复的数据,单盘的写瓶颈问题会影响整个存储的重构性能,导致 RAID 的失效率升高,可靠性降低。除此之外,重构速度过快会对主机业务性能产生较大影响,重构速度过慢对存储可靠性产生影响,如何平衡重构性能以及重构对业务性能的影响也是衡量存储系统性能和可靠性的重要指标。
浪潮InRAID,基于RAID和分布式的革新
浪潮通过多年技术积累,不断创新,提出了 InRAID 技术,通过多线程技术以及校验延迟写入技术提升性能,相对传统 RAID 性能提升 50% 以上,通过分布式热备空间以及有效数据重构技术,使得重构效率提升近 20 倍,同时通过流控算法有效控制对主机性能影响,兼顾性能同时提升存储的可靠性。
在 InRAID 技术中,浪潮提出了一种新tgcode型的空间概念 pack,磁盘阵列以 pack 为单位进行划分。当存储数据时,按照一定规则将 IO 所在 pack 分配到相应的 CPU 核心,单个 RAID 可以多个 CPU 核心并发处理业务,并且通过 pack 实现物理空间隔离,不需要通过互斥同步技术保证数据一致性,提高整个存储的性能。
通过延迟校验写入提升性能
传统的 RAID 写流程会遇到两个问题,一个是读请求需要都完成才能进行异或;第二是数据盘和校验盘都写入成功后 IO 才算是完成。
传统 RAID 的处理流程图
而浪潮 InRAID 则是通过 APU 技术(atomic parity update,原子奇偶校验更新)对上面的写流程进行优化,首先采用 lazy-parity 技术(校验块延迟写入)延迟校验块的写入,数据块写入完成后即可对上层返回成功。尽量通过异步流程处理取代同步等待,尽可能的提升性能,通过 APU 保存校验块的完整性。:
InRAID 数据写入流程
极限优化,重构性能提升20倍
InRAID 技术将传统技术中固定的热备盘被打散成分布式的热备空间,随着 pack 进行旋转,有规律的分布在整个磁盘阵列中。如此,磁盘阵列不会存在闲置盘,有效的避免了资源浪费的问题。当阵列中出现故障磁盘时,多线程进行重构后的数据也会并发的写入阵列全员磁盘的热备空间中,有效的避免单个磁盘的写入的瓶颈问题,高效的提高了重构的效率,进而提升了存储系统的可靠性。
通过分布式热备空间和多线程并发提升重构性能的基础上,InRAID 使用有效数据重构代替全盘重构,减少无效数据重构带来的时间和性能损耗。同时由于只需重构有效数据部分,所以相比全盘重构性能提升明显。
目前浪潮 InRAID 已经在浪潮分布式、集中式等存储产品上广泛使用,模式式部署至金融、通信、政府、企业、医疗、教育等行业,为客户的核心应用提供保障。
浪潮存储将持续围绕行业场景需求,基于“存储即平台”的存储战略,不断进行技术创新,攻克数据存储技术难题,打造极致技术,以新存储之道推动技术革新,为业界带来安全可靠、经济高效、易用易管的存储平台。
文章来源于互联网:坚持存储技术创新,浪潮InRAID带来的高品质数据性能与可靠
相关推荐: 中文巨量模型“源1.0”:语料质量清洗与数据分析方法
浪潮人工智能研究院 2021 年,浪潮人工智能研究院发布了中文巨量模型“源 1.0”,其参数规模为 2457 亿,tgcode训练采用的中文数据集达 5TB,超越美国 OpenAI 组织研发的 GPT-3 模型。“源 1.0”在语言智能方面表现优异,获…