关键词:
分散计算
去中心化存储
多副本技术
副本数量调整
动态副本放置
摘要:
随着数字时代的发展,越来越多的图像、音频、视频等非结构化数据由智能终端设备产生并进行存储与访问。传统的集中式存储系统通过各节点与数据中心回传进行交互,从而会造成高昂的回传成本以及响应时延,因此当面对资源受限以及时延敏感的救灾场景时,集中式存储系统并不适用于其中。为解决上述问题,分散计算的概念逐渐兴起,它通过无线通信将各个节点连接后,形成一个去中心的移动自组织网络,从而充分利用分散的计算资源,降低数据的传输时间以及传输成本。然而由于分散计算场景中的各节点的动态性、易失效以及资源受限等特征,导致非结构化数据存储的可靠性难以保障。
本文针对分散计算场景中的上述问题,设计并实现了一个基于IPFS的去中心非结构化数据存储系统,通过多副本技术保证非结构化数据的存储可靠性,为分散计算场景中上层任务调度与执行模块供非结构化数据存储支撑,避免因节点资源受限或节点失效等情况造成数据丢失。
针对分散计算网络会出现用户并发访问量增大导致响应困难,以及集群中存储的文件副本过多而用户很少访问导致存储资源浪费这两个问题,出一种基于文件访问热度的副本数量动态调整策略。该策略通过统计文件访问次数,基于LSTM神经网络预测算法预测出未来文件访问次数,进而计算文件的实时访问热度值,结合指定的文件初始热度值,计算出文件的总访问热度值,最终根据文件的总访问热度值的大小,动态地调整集群中存储的文件副本数量。
针对分散计算网络中节点的动态性、异构性以及节点资源受限等情况,出了一套副本放置、删除以及用户访问节点选择的策略。面对副本放置的情况,该策略基于马尔可夫预测模型预测出节点的失效率,并选择失效率低的节点作为放置候选节点集,然后采集候选节点的性能参数,通过层次分析法量化节点的性能指标,选择合适的节点作为最终的副本放置节点。当面对副本删除时,选择删除磁盘利用率高的节点上的文件副本,从而最大限度地释放集群中的存储资源。当用户访问文件时,根据节点的网络带宽选择响应能力最强的节点,从而减少响应时间。
基于以上技术研究,本文详细设计并实现了去中心化移动网络下的非结构化数据存储系统,搭建了分散计算架构的验证环境进行了详细的测试。最终实验结果证明,本文实现的非结构化数据存储系统适用于分散计算集群中出现的节点动态、易故障和资源受限等问题,并且满足分散计算上层模块的非结构化数据存储需求。