关键词:
智慧机场
物联网
数据处理
规则引擎
规则网络
摘要:
本论文源于国家重点研发计划“机场飞行区设施智能监测与互联”(No.2020YFB1600104)。物联网技术在智慧机场的数字化转型中发挥着越来越重要的作用。机场部署的物联网设备数量显著增加,使得机场运营得以全面掌控和管理,但物联网数据的爆炸式增长,使得机场物联网数据处理方面的问题逐渐显现,如数据收集实时性、全面性较差,应对业务变化耦合性较高,数据处理性能较差、数据利用率低等。因此,本论文紧紧围绕机场物联网的业务场景,设计并实现了基于机场物联网管控中心的数据处理系统,并对系统的功能及性能进行了测试与验证。
本论文的主要工作如下:
(1)针对当前国内外机场物联网数据处理方式,分析了实时数据及非实时数据收集、数据结构化和规则引擎等技术,重点分析了规则引擎的运行机制及匹配算法。
(2)在深入分析系统功能需求的基础上,设计了一种机场物联网管控中心数据处理系统的总体实现方案,具体包括数据收集、整合处理和分析利用等模块。为了保证机场实时性高,数据全面的要求,数据收集模块采用实时监控消息队列遥测传输协议(Message Queuing Telemetry Transport,MQTT)传输的重要数据并辅助非实时全面数据收集的方式。同时本文分析了传统日志收集ELK技术的不足,设计了基于Filebeat的ELK非实时日志数据的收集单元。为保证业务的灵活配置及与系统解耦,设计规则引擎动态配置规则,使得数据处理系统可以根据不同的业务进行数据处理。为解决数据格式众多、数据存储困难等问题,利用结构化技术将数据解耦存储,并利用规则引擎处理速度快,实时性高的优势,对数据进行智能处理。同时对数据存储与检索数据库Elasticsearch进行集群化部署,保证系统的可靠性。
(3)为提高系统的数据处理性能,在规则网络方面提出了一种基于规则差异的并行化子网络规则组网方式,在数据源分类方面提出了一种基于设备运行数据差异的降维K-Means聚类分簇算法。并行化子网络方式利用规则所属设备的不同,将规则进行分类,从而建立并行的规则子网络,提高了系统的并行性,同时对网络的规则节点采取过期管理机制优化系统内存消耗。本文提出的数据源分簇算法根据不同类设备运行数据的差异将设备分簇,有效减少了每一次匹配的数据量,同时也有效减少了无关数据的重复匹配。之后对优化后的规则引擎进行了性能分析,性能分析实验结果表明,本文优化的规则引擎能够有效减少规则组网以及数据匹配的时间,并且可以降低工作时的内存消耗。
(4)研制完成了机场物联网管控中心数据处理系统,进行了功能与性能测试且通过第三方测试,与机场物联网管控中心其它功能模块进行了系统联调,验证了设计方案的可行性。测试结果表明,本文设计并实现的机场物联网数据处理系统符合预期设计的需求,在压力环境下也可以发挥稳定的性能。