教学课程资源库 更多>>

关键词： 可重构超表面   信道外推   深度学习   常微分方程   轻量化网络  

摘要： 可重构超表面(Reconfigurable Intelligent Surface,RIS)因具有智能调控无线环境、低成本、低功耗和高可靠等特点,成为未来无线网络中极具发展前景的技术之一。未来,RIS辅助的通信系统可为覆盖增强、干扰抑制、高精度定位等问题提供新的解决方案。然而,RIS信道的高精度获取是其产生性能增益的前提,而大量部署的RIS电磁反射单元引入了高维信道估计,给传统信道估计算法带来挑战。为了降低信道估计的导频开销和计算复杂度,本文利用深度学习模型探索空域和时域下采样的部分信道与全部信道之间的映射关系,实现RIS信道的多域智能外推。具体内容如下: 首先,针对无源RIS阵列信号处理能力受限、信道获取困难的问题,提出了一种基于常微分方程理论的空域信道智能外推方案,解决了高维RIS信道获取问题。该方案以建立空域下采样的部分信道与全部信道间的映射为目标,融合图像超分辨思想,基于常微分方程数值解理论改进传统卷积神经网络模型,建立数据层间的复杂连接,实现了RIS信道的天线域压缩和高精度外推。相较于标准卷积神经网络,该模型在促进网络收敛和提升传统模型精确度方面具有显著增益,表现出出色的RIS空域信道外推性能。 其次,在高频高移动场景下,针对RIS信道时变特性明显、时域导频开销大的问题,以常微分方程理论精确描述信道动态变化特性,提出了一种时域信道智能外推方案,充分利用RIS信道的时域相关性,挖掘时域下采样的部分信道与全部信道间的关系,改进传统循环神经网络结构,提高其对信道序列的重构性能。此外,结合空域信道压缩,进一步设计了一种空时域联合智能外推方案,实现RIS信道的空时二维外推任务。仿真结果表明,所提出的空时域信道联合外推网络在空间域和时间域上同时具有优越的外推性能,且具有良好的抗噪声性能和数据泛化能力。 最后,针对高移动场景下RIS信道预测难度大和外推网络复杂度高的问题,提出了一种轻量化多域外推方案,解决了高复杂度RIS时变信道捕获难题。该方案利用因果扩展卷积和卷积残差结构探究时变信道的时域演变规律,实现高频高速场景下RIS信道的时域预测任务。同时,针对卷积层参数量庞大的问题,提出了基于概率采样理论的参数选择网络以实现网络权重剪枝。在此基础上,设计了空时域信道外推及参数选择网络的联合训练和优化流程,进而实现RIS信道轻量化多域智能外推。仿真结果表明,所提出的空时域外推网络在信道外推任务上表现出色,且基于参数选择网络的轻量化空时域信道外推方案能够显著减少网络参数量,并进一步提升外推性能。

ISBN: (纸本)9787312056802

关键词： 中心支持向量机(P-SVM)   线性常微分方程   延迟微分方程   近似解   核函数   回归模型   数值试验  

摘要： 微分方程的数值解法设计与实现过程已成为当今计算数学和控制科学领域的一个重要分支。由于传统数值解法计算复杂度高,解的形式离散,研究者尝试以泛化能力更好的支持向量机(Support Vector Machines,SVM)方法作为求解微分方程的全新探索方向。本学位论文提出通过有效改进的中心支持向量机(Proximal Support Vector Machines,P-SVM)方法求解三类常微分方程,充分发挥其在非线性回归问题中泛化能力强,训练速度快以及解释度高等优势,以弥补传统方法的不足。首先,本文基于P-SVM方法将常微分方程求解问题转换为带有等式约束条件的目标优化问题,并在目标函数中添加偏置项,使优化问题转换成严格凸二次规划,以简化计算求解过程,可得到形式简单且结构固定的近似解。其次,利用上述思路分别对一阶线性常微分方程初值问题、二阶线性常微分方程初边值问题和延迟微分方程大时间间隔求解问题进行求解过程和近似解表达式的理论推导,通过数值试验证明其可行性和有效性,并与其他方法进行精度对比。最后,试验结果表明得到的闭式近似解在保证精度的同时,有效提高了计算速度,形式简单固定的表达式也便于近似解的定性分析及应用,证明了本文提出的基于P-SVM的三类常微分方程近似解法在微分方程数值解领域有着重要的理论意义和应用价值。

ISBN: (纸本)9787040606119

关键词： 方程学习   稀疏回归   常微分方程   时滞常微分方程   偏微分方程   人工神经网络  

摘要： 随着科技技术的快速发展,大量的数据可以很容易的被人们收集和存储.如何从数据中推断可以反映系统变化规律的动力学模型是学者们在机器学习领域研究的一个热点问题.北美和加拿大的云杉蚜虫的周期性爆发生长对当地的生态和经济造成了严重危害,研究能反映云杉蚜虫的动态信息的微分方程模型对保护生态和减少经济损失是具有重要意义的. 本文首先从1945年-1972年间加拿大新不伦瑞克格林河地区云杉蚜虫真实数据出发,对该数据进行smooth函数预处理,结合云杉蚜虫以25年左右为周期的周期爆发行为,以及蚜虫的爆发经常受季节,温度,食物,捕食动态,蚜虫的发育时滞等多因素的影响,建立具有一定生物意义的候选项,进一步采用序列阈值最小二乘(SINDy),序列阈值岭回归(STRidge),最小绝对收缩与选择算子(LASSO)三种稀疏回归方法学习构建具有周期性的常微分方程模型和具有时滞项的微分方程模型,最后把得到的模型与云杉蚜虫实际数据进行比较,发现我们学习的模型能较好地吻合实际数据并能预测云杉蚜虫的周期爆发行为.本工作对探索云杉蚜虫的动力学行为提供了有益的指导. 以上工作中关于蚜虫的常微分方程模型和具有时滞项的微分方程模型反映的是蚜虫关于时间的演化情况,而蚜虫还在空间上呈现出扩散效应.为了得到蚜虫的时空数据,我们根据文献资料,先给出关于云杉蚜虫的隐式反应扩散模型,根据模型生成具有生物统计意义的噪声数据,利用人工神经网络,多项式样条插值分别对具有生物统计意义数据进行降噪,根据隐式反应扩散方程的通用形式建立候选项,再采用序列阈值岭回归(STRidge),最小绝对收缩与选择算子(LASSO)两种稀疏回归算法学习关于云杉蚜虫的隐式反应扩散模型,发现只有在人工神经网络和序列阈值岭回归(STRidge)组合方法下才可以推断出此模型.本工作为基于时空数据的云杉蚜虫反应扩散方程的学习提供了有效的方法.

关键词： 序列生成   模型结构   常微分方程   多尺度建模   多模态   机器翻译  

摘要： 序列生成任务是自然语言处理中最受瞩目的领域之一,尤其以机器翻译和近期的大语言模型最具代表性,受到了学术界和工业界的高度关注。序列生成是一种利用计算模型自动将源序列转换成目标序列的技术。随着互联网数据的爆炸性增长以及计算能力的快速提升,基于深度学习的序列生成模型已经成为了建模的主流手段。尤其是利用自注意力机制的Transformer模型,它在机器翻译等序列生成任务中作为基础模型,已在人工智能领域实现了显著的突破。神经网络的表示能力与其网络结构、参数规模和优化算法等因素紧密相关。更为复杂的神经网络,在有充足训练数据的情况下能够呈现出更强的性能。因此,如何提高模型的表示能力并保证模型的充分收敛,是本博士论文的重点研究课题。 通过前期的调研与探索,本文总结如下几点问题:标准Transformer模型得益于子层间的残差连接能够有效缓解梯度消散问题,但受限于残差连接的计算精度问题在多层堆叠的范式下仍存在较大的误差累积;其次,目前模型只是关注于单一输入文本尺度的编码,更复杂的多尺度建模方法能否带来性能提升仍亟待探索;最后,如何高效地建模多模态模型,为未来人工智能大一统做出探索同样是当下重点攻坚问题。考虑到以上挑战,本文致力于从结构的复杂性、交互的复杂性、输入模态的复杂性三个角度出发,打造面向序列生成任务的复杂神经网络建模方法,主要研究成果如下: 第一,为了提高模型参数学习的效率,本文提出了一种基于常微分方程高阶求解方法的ODE Transformer模型。该模型建立了 Transformer结构设计与数值方法之间的连接,即解决常微分方程问题中的一阶离散欧拉方法。针对一阶方法存在较大截断误差的问题,本文提出了利用高阶方法来减少多层Transformer模型的全局误差累积,从理论上保证了模型表示能力的下限,并通过更先进的高阶系数学习策略提高了模型的表示能力上限。在机器翻译、文本摘要、语法纠错等序列生成任务上,该模型能够以更少的网络深度获得显著的性能提升,大幅度提高了模型对参数的利用效率。 第二,为了提高神经网络内部计算效率,本文提出了一种多尺度Transformer模型,实现对输入粒度的解耦与尺度聚合。出发点在于Transformer的输入序列是包含子词和词的序列,但在网络的后续计算过程中并没有显性区分不同输入粒度之间的计算差异,造成了信息交互的冗余。本文首先提出了通用多尺度Transformer模型解耦了自注意力中不同尺度之间的冗余计算,通过建模子词、词与词组之间的尺度关系大幅度提高了网络计算的精度;更进一步,本文针对字符级序列建模冗长、耗时的问题提出了解决方案,采用基于快-慢分支的架构强化模型对更细粒度表示的感知。上述方法在机器翻译、文本摘要等任务上获得了一致性的性能提升。 第三,为了实现复杂多模态序列生成模型的统一建模,本文提出了一种基于可选择注意力的Transformer-only多模态统一模型,使用基于Vision Transformer的方法提取视觉特征,代替传统的卷积神经网络。多模态翻译建模作为自然语言处理与计算机视觉的交叉研究领域近年来备受关注,现有研究更多关注如何融合跨模态的特征,更好的视觉特征是否能够提高多模态翻译的性能却鲜有研究。本文从统一建模的角度出发,验证了这种方法是否能提升多模态翻译性能,并设计了文本限制场景测试模型对视觉特征的充分利用。实验结果在多模态翻译数据集上显示了多项指标的提升,为多模态领域的统一建模提供新思路。 最后,本文基于以上研究成果针对复杂网络建模的高效性进行改进,分别从架构、训练与推断3个方面进行完善。在架构方面,提出了基于矩阵分解的参数高效方法进一步减少网络参数的冗余;在训练方面,提出了基于由浅入深的深层网络训练加速方法,在无损性能的条件下加速训练40%-60%;在推断方面,提出了深层编码器-浅层解码器的异构网络,实现模型性能与推断时延之间的平衡。上述方法有利于将理论创新方法更好地投入到实际的工业生产环境中,在小牛翻译的机器翻译产品中进行了实践,验证了方法的有效性。

关键词： 数据驱动   常微分方程   线性多步法   最小二乘法   稀疏回归  

摘要： 动力系统在科学与工程领域具有广泛应用,包括驱动机械设备、能源生产与利用、航空航天、汽车工业、海洋工程、工业自动化和环境控制等,而其建模问题一直是领域内的重要问题之一.由于实际问题日益复杂,传统基于基本原理的建模方法变得越来越困难.随着数据驱动和机器学习的快速发展,基于时间序列数据的数据驱动方法成为了发现动力系统的关键手段之一.本文提出了一种基于隐式线性多步法与稀疏识别方法相结合的动力系统构建方法,其优势在于无需任何阶段的导数信息.首先详细介绍了基于隐式欧拉方法与稀疏识别方法的动力系统构建过程,包括根据专家先验知识选择函数库和利用最小二乘法求解系统参数.为避免过拟合问题,在此基础上结合Lasso稀疏回归算法对系数进行稀疏化,从而更准确地构建动力系统.其次,在前述基础上进一步提出了基于向后差分方法的动力系统稀疏识别模型.该模型考虑了不同阶的向后差分方法,并使用噪声数据来识别不同的微分方程,如阻尼模型和混沌洛伦兹模型.实验数据结果显示,随着阶数的增加,动力系统构建的准确性逐渐提高.本文提出的方法为动力系统建模提供了一种高效、准确的数据驱动方案.

关键词： 二阶微分方程组   奇周期解   存在性   唯一性  

摘要： 本文主要运用Leray-Schauder不动点定理、Fourier分析、锥上的不动点指数理论与单调迭代技巧讨论了一类含导数项的二阶常微分方程组　　{-u"(t)=f(t, u(t), v(t), u''(t)), t∈R,　　-u"(t)=g(t,u(t), v(t), v''(t)), t∈R　　奇2π-周期解的存在性和唯一性,其中f,g:R4→R连续,且关于t以2π为周期.　　本文的主要工作有:　　1. 在非线性项f,g满足至多线性增长条件下,运用Leray-Schauder不动点定理获得方程组奇2π-周期解的存在性和唯一性.　　2. 在非线性项f,g满足单边超线性增长及Nagumo型增长条件下,运用Leray-Schauder不动点定理和Fourier分析的方法获得了方程组奇2π-周期解的存在性和唯一性.　　3. 在非线性项f,g满足超线性或次线性增长条件下,运用锥上的不动点指数理论获得了方程组奇2π-周期解的存在性.　　4. 在非线性项f,g满足单边Lipschitz条件下,运用单调迭代技巧获得了方程组奇2π-周期解的存在性和唯一性.

关键词： 深度学习   网络结构   优化器   常微分方程   循环神经网络  

摘要： 在深度学习中,输入数据流经神经网络并产生输出。神经网络可以被视为一个动态系统,而常微分方程(Ordinary differential equation,ODE)可以用以描述动态系统的行为。这表明了深度学习和ODE之间存在联系,可以根据ODE领域里的理论基础对深度学习中的问题进行分析。基于此,本文从深度学习与ODE之间的联系出发,针对深度学习中的优化器和神经网络的结构进行研究,主要开展了以下三方面的工作。首先,优化器对于神经网络的精度、泛化性和鲁棒性等有着重要的影响,对优化器的研究是神经网络中的热点内容。本文采用三阶拉格朗日型离散公式对随机梯度下降(Stochastic gradient descent,SGD)优化器进行改进。从数值方法的角度考虑,SGD优化器的迭代公式可以被理解为前向欧拉方法的离散形式。考虑到前向欧拉方法的截断误差较大,本文随采用精度更高的三阶拉格朗日型离散公式以改进SGD优化器,并提出三阶拉格朗日型随机梯度下降(Lagrange-type stochastic gradient descent,LSGD)优化器。然后,将 LSGD 优化器应用在图像识别上任务对其性能进行评估,实验结果表明LSGD优化器无法收敛。最后,采用零稳定性和一致性分析了 LSGD优化器不能收敛的原因,解释了实验结果,为下一章研究内容奠定基础。随后,基于第二章的研究内容,本文采用符合零稳定性和一致性的高阶离散公式以改进SGD优化器,提出了高阶随机梯度下降优化器(High-order stochastic gradient descent,HSGD),并从数学角度证明了 HSGD的收敛性。紧接着,在中英文文本分类和图像识别任务上对HSGD优化器的性能进行评估。实验结果表明了 HSGD相较于SGD具有较高的性能提升,验证了从数值方法角度改进优化器的可行性和优越性。最后,本文从神经网络结构与ODE的离散化之间的关系出发,将传统的循环神经网络(Recurrent neural network,RNN)的网络结构是视为前向欧拉方法的离散形式。基于这种关联,本文在精度更高的三阶泰勒型离散方法的基础上提出泰勒型循环神经网络(Taylor-type recurrent neural network,T-RNN)模型。随后,在情感分类、文本分类和统计语言模型多个自然语言处理任务(Natural language processing,NLP)任务上验证了 T-RNN相对于RNN性能的提升。此外,针对深度学习实验中出现的实验现象,本文构建了数值实验对离散公式的特性进行分析,进一步印证了神经网络与ODE之间的联系。