关键词： 深度学习   数据处理   光伏发电预测   核主成分分析   XGBoost   GRU  

摘要： 目前,光伏发电已成为最受欢迎的可再生能源形式之一,然而光伏的接入给电力系统的运行带来了许多挑战,一个准确可靠的光伏发电预测模型将有效提升系统安全和降低系统运行成本.将数据处理与深度学习模型相结合,提出了一种完整的光伏发电预测模型,其中包括数据预处理、特征工程、核主成分分析、XGBoost以及数据后处理等.此模型以历史光伏功率、太阳辐照度和数值天气预报数据作为输入数据集.案例测试以4个光伏电站的测量功率为例,利用归一化均方根误差(NRMSE)和归一化平均绝对百分比误差(NMAPE)来评估预测模型的性能.测试结果表明,与其他深度学习模型相比,所提出的预测模型在准确率上表现出了优越的性能.

关键词： 需求管理   数据处理   需求变更   软件生命周期  

摘要： 针对当前软件需求变更日渐增多但管理效率低下的现状,基于大数据平台计算能力强、成本低的特点建立需求自动同步更新管理系统,并从总体设计、需求数据库以及数据处理流程三个方面对其进行了阐述。该系统通过将繁杂需求进行标签化处理建立起需求数据库,通过总库分库存储模式完善数据处理机制,有效优化需求建立、测试和变更流程,实现需求的快速查找和自动更新同步,同时减少资源投入和资源浪费,从而加快项目的研发进程。

关键词： 电信   大数据处理   SparkonYarn模式  

摘要： 针对电信大数据处理系统中存在的问题,文章提出一种基于Spark on Yarn模型的SY-TPP。在SY-TPP平台上,应用Hadoop2.0 Yarn标准,并利用Spark分布式存储技术,将SY-TPP系统的数据在内存中进行集中处理。以分级聚类算法为案例,对SY-TPP平台的开发过程进行了详细的分析。实验结果表明,TPP平台上的GB级用户可以在半个工作日内完成数据处理,而32个实体节点的SYTPP系统的速度比相同配置下的Map Reduce平台提高了10.25倍。

关键词： 普惠金融   错配   数据处理  

摘要： 普惠金融是我国深化金融改革、促进金融公平的重要举措。针对普惠金融是否存在错配的问题,该文以2010—2019年全国31个省市的数据为样本,通过DEA-Malmquist-Tobit方法,检验了我国不同省市的普惠金融资源配置效率。通过研究发现以下3点:(1)我国中西部地区技术效率高于东部地区,西部地区金融资源投入规模仍可继续扩大。(2)我国中西部地区全要素生产率低于东部地区,主要因素来源于技术进步效率。(3)经济增长和政府扶持力度对普惠金融资源配置效率有显著的促进作用。该文的发现为当下经济阶段发展普惠金融提供了一个新视角,对改善普惠金融资源配置效率具有一定的参考价值。

关键词： 敏感数据   数据隐私   数据保护   特征数据   小型企业   德克萨斯州   数据处理   个人数据  

摘要： 英国“Data Guidance”网站2023年6月19日消息,6月18日,美国德克萨斯州州长签署了《数据隐私和安全法案》。该法案将于2024年7月1日生效,部分条款将于2025年1月1日生效。该法案定义了“生物特征数据”、“同意”、“消费者”、“控制者”、“未识别数据”、“个人数据”、“处理”、“匿名数据”、“敏感数据”、“出售个人数据”、“对消费者产生法律或类似重大影响的决定”等术语。法案适用人员包括:在德州开展业务或生产德州居民消费的产品或服务;处理或从事个人数据的销售;非美国小企业管理局所界定的小企业,但该法案规定的豁免组织除外。该法案不适用于在纯粹的个人或家庭活动过程中处理个人数据。法案规定了消费者的权利,包括知情权、纠正权、删除权、技术上可行的数据可移植等权利。该法案规定了数据处理原则,包括“目的限制”,以及个人数据的保密性、完整性和可访问性。关于敏感数据,控制者不得在未获得消费者同意的情况下处理敏感数据。该法案特别规定,小型企业在未获得消费者事先同意的情况下,不得从事敏感个人数据的销售。法案还规定了数据控制者必须对涉及个人数据的活动进行数据保护评估(DPA)的情形,如为了定向广告而处理数据、处理敏感数据,处理活动涉及对消费者造成伤害的高风险的个人数据等。

关键词： 智能电网   信息通信技术   云计算   大数据处理  

摘要： 随着经济水平的提升,社会用电需求量增大,加强智能电网建设至关重要,而信息通信技术、云计算、大数据处理等技术的引入,有助于提升智能电网的信息交互能力。基于智能电网特点,研究了智能电网建设的关键技术,提出在智能电网科学应用信息通信技术、云计算、大数据处理等技术的策略。

关键词： 高速铁路   轨道测量   数据处理   整体平差   自由设站   平顺性   搭接精度  

摘要： 针对目前轨道测量分站数据采用单测站独立计算方法处理存在相邻测站基准不一致、相邻测站相对精度低、搭接区段横垂向偏差大等问题,本文根据轨道测量任意相邻测站间存在公共点的特征,提出一种高速铁路轨道测量分站数据整体平差方法。通过阐述该方法原理、开展试验验证以及对实测数据进行分别处理,结果表明:本文采用的方法可有效克服单测站独立计算方法的诸多问题,自由设站精度的合格率从92%左右提高到95%以上,相邻测站轨道测量点重复测量横垂向偏差的合格率从90%左右提高到98%左右。

关键词： 城市道路网络   车牌识别   深度逆向强化学习   数据处理   路径链重构  

摘要： 随着城市交通监测系统的完善,大量车牌识别数据被存储下来,该类数据具有时间连续性强、空间范围广、样本类型多的优点,为研究城市交通提供了信息基础。但受制于成本和技术,信息采集过程中采集的车牌数据在时空上并不连续,导致车牌识别数据的应用受限。有鉴于此,文中提出一套路径链提取方案,对单次出行的完整路径链和缺失路径链加以区分,并提出了一种基于深度逆向强化学习的城市车辆出行路径链重构算法。该算法对完整路径链进行采样获得专家示例,利用深度逆向强化学习挖掘专家示例,以非线性回报函数的形式拟合出潜藏的路径选择特性,指导智能体自主补全缺失的路径链,实现车辆出行缺失路径链的重构。将该算法在杭州市萧山区的局部路网中进行实验验证,结果表明,所提出的重构算法具有良好的稳定性能,其平均准确度可达95%,且在缺失程度较大的情况下准确度仍能保持在92%以上,相比传统算法具有较大优势。文中还分析了专家示例的位置分布和数量对算法性能的影响,验证了所提出的重构算法的泛化能力。

关键词： 称重蒸发仪   自动   卡尔曼滤波   蒸发量   称重传感器   数据处理   气象   日变化  

摘要： 蒸发量的测量,目前气象和水利等业务应用上较为广泛的是蒸发皿人工观测,人工观测蒸发数据操作过程复杂要求严格,且每日只能记录一个数据且受降水(雨、雪、冰雹)等气象因素影响较大。基于上述,该文设计研制了一种全自动称重式蒸发仪,2022年9月至10月连续40天无降水期间通过与气象站蒸发皿人工观测数据比对,利用卡尔曼滤波原理进行了初步数据质量控制。结果表明,40天蒸发皿人工测量值累计蒸发量为182.4 mm,蒸发仪测量值累计蒸发量为179.9 mm,蒸发仪测量值经卡尔曼滤波后的累计蒸发量为182.1 mm;蒸发仪测量值经卡尔曼滤波后与人工观测相比,日蒸发量差值40天累计为6.3 mm,日蒸发量平均误差为3.65%,40天累计蒸发量误差为0.20%,数据质量有较为明显的提高。该文对仪器设计应用的探索可为蒸发量测量提供新的思路和技术参考。

关键词： 水文及水资源学   气候变化   水资源管理   数据处理  

摘要： 本文针对水文及水资源学中的关键问题,如地表水与地下水的相互作用和气候变化对水资源的影响进行探讨,并分析数据获取、模型不确定性和水资源管理的挑战。同时,提出创新数据处理、提高模型精度和制定有效管理政策的解决策略,并对未来的研究方向进行展望,目标是为实现更有效、可持续的水资源管理提供科学依据。因此对水文水资源受气候变化的影响进行研究有重要的意义。