教学课程资源库 更多>>

关键词： 数据驱动   常微分方程   线性多步法   最小二乘法   稀疏回归  

摘要： 动力系统在科学与工程领域具有广泛应用,包括驱动机械设备、能源生产与利用、航空航天、汽车工业、海洋工程、工业自动化和环境控制等,而其建模问题一直是领域内的重要问题之一.由于实际问题日益复杂,传统基于基本原理的建模方法变得越来越困难.随着数据驱动和机器学习的快速发展,基于时间序列数据的数据驱动方法成为了发现动力系统的关键手段之一.本文提出了一种基于隐式线性多步法与稀疏识别方法相结合的动力系统构建方法,其优势在于无需任何阶段的导数信息.首先详细介绍了基于隐式欧拉方法与稀疏识别方法的动力系统构建过程,包括根据专家先验知识选择函数库和利用最小二乘法求解系统参数.为避免过拟合问题,在此基础上结合Lasso稀疏回归算法对系数进行稀疏化,从而更准确地构建动力系统.其次,在前述基础上进一步提出了基于向后差分方法的动力系统稀疏识别模型.该模型考虑了不同阶的向后差分方法,并使用噪声数据来识别不同的微分方程,如阻尼模型和混沌洛伦兹模型.实验数据结果显示,随着阶数的增加,动力系统构建的准确性逐渐提高.本文提出的方法为动力系统建模提供了一种高效、准确的数据驱动方案.

ISBN: (纸本)9787040606119

关键词： 二阶微分方程组   奇周期解   存在性   唯一性  

摘要： 本文主要运用Leray-Schauder不动点定理、Fourier分析、锥上的不动点指数理论与单调迭代技巧讨论了一类含导数项的二阶常微分方程组　　{-u"(t)=f(t, u(t), v(t), u''(t)), t∈R,　　-u"(t)=g(t,u(t), v(t), v''(t)), t∈R　　奇2π-周期解的存在性和唯一性,其中f,g:R4→R连续,且关于t以2π为周期.　　本文的主要工作有:　　1. 在非线性项f,g满足至多线性增长条件下,运用Leray-Schauder不动点定理获得方程组奇2π-周期解的存在性和唯一性.　　2. 在非线性项f,g满足单边超线性增长及Nagumo型增长条件下,运用Leray-Schauder不动点定理和Fourier分析的方法获得了方程组奇2π-周期解的存在性和唯一性.　　3. 在非线性项f,g满足超线性或次线性增长条件下,运用锥上的不动点指数理论获得了方程组奇2π-周期解的存在性.　　4. 在非线性项f,g满足单边Lipschitz条件下,运用单调迭代技巧获得了方程组奇2π-周期解的存在性和唯一性.

关键词： 深度学习   网络结构   优化器   常微分方程   循环神经网络  

摘要： 在深度学习中,输入数据流经神经网络并产生输出。神经网络可以被视为一个动态系统,而常微分方程(Ordinary differential equation,ODE)可以用以描述动态系统的行为。这表明了深度学习和ODE之间存在联系,可以根据ODE领域里的理论基础对深度学习中的问题进行分析。基于此,本文从深度学习与ODE之间的联系出发,针对深度学习中的优化器和神经网络的结构进行研究,主要开展了以下三方面的工作。首先,优化器对于神经网络的精度、泛化性和鲁棒性等有着重要的影响,对优化器的研究是神经网络中的热点内容。本文采用三阶拉格朗日型离散公式对随机梯度下降(Stochastic gradient descent,SGD)优化器进行改进。从数值方法的角度考虑,SGD优化器的迭代公式可以被理解为前向欧拉方法的离散形式。考虑到前向欧拉方法的截断误差较大,本文随采用精度更高的三阶拉格朗日型离散公式以改进SGD优化器,并提出三阶拉格朗日型随机梯度下降(Lagrange-type stochastic gradient descent,LSGD)优化器。然后,将 LSGD 优化器应用在图像识别上任务对其性能进行评估,实验结果表明LSGD优化器无法收敛。最后,采用零稳定性和一致性分析了 LSGD优化器不能收敛的原因,解释了实验结果,为下一章研究内容奠定基础。随后,基于第二章的研究内容,本文采用符合零稳定性和一致性的高阶离散公式以改进SGD优化器,提出了高阶随机梯度下降优化器(High-order stochastic gradient descent,HSGD),并从数学角度证明了 HSGD的收敛性。紧接着,在中英文文本分类和图像识别任务上对HSGD优化器的性能进行评估。实验结果表明了 HSGD相较于SGD具有较高的性能提升,验证了从数值方法角度改进优化器的可行性和优越性。最后,本文从神经网络结构与ODE的离散化之间的关系出发,将传统的循环神经网络(Recurrent neural network,RNN)的网络结构是视为前向欧拉方法的离散形式。基于这种关联,本文在精度更高的三阶泰勒型离散方法的基础上提出泰勒型循环神经网络(Taylor-type recurrent neural network,T-RNN)模型。随后,在情感分类、文本分类和统计语言模型多个自然语言处理任务(Natural language processing,NLP)任务上验证了 T-RNN相对于RNN性能的提升。此外,针对深度学习实验中出现的实验现象,本文构建了数值实验对离散公式的特性进行分析,进一步印证了神经网络与ODE之间的联系。

关键词： CPU   GPU   常微分方程   并行计算   RIDC  

摘要： 在面临需要进行建模仿真的工程问题时,可能会需要描述一些可测量的量如位置、温度、密度、浓度、电流等作为函数时间,一般均会涉及大型常微分方程(Ordinary Differential Equations,ODE)的初值问题(Initial Value Problem,IVP)求解。常微分方程是包含一个自变量的一个或多个函数以及这些函数的导数的微分方程。常微分方程的数值模拟在科学技术领域具有重要意义。但是,当前求解常微分方程常用的求解方法主要是通过MATLAB进行仿真求解。面对国外软件的封锁和壁垒,设计并提出一个自有的微分方程求解模型是十分有必要的。因此,本文基于C++和CUDA语言设计并实现了两个常微分方程求解模型。当前传统的常微分方程并行求解方法主要面临以下几个问题:首先,现有常微分方程求解方法通常是顺序执行的,求解效率较低;其次,尽管并行模拟硬件设备和并行计算技术发展迅速,但CPU和GPU的多核利用仍然效率低下;第三,并行模拟受计算模式的限制,与现有的并行底层支持不匹配。特别是在求解常微分方程时,模型之间存在输入与输出的依赖关系,这决定了求解过程的顺序。因此,当前的并行模拟性能主要取决于并行度,而算法软件并没有进行并行优化或提供并行设计接口,导致CPU和GPU的利用率较低。传统的常微分方程并行求解方法主要分为面向任务的并行求解和面向方法的并行求解。然而,这两种求解算法都只是面向CPU或同质常微分方程的集合,存在严重缺陷。为此,本文设计并实现了两种常微分方程求解模型的优化。第一种模型基于RIDC(修正积分延迟校正)算法,提出了一个在CPU和GPU上都分配任务的混合求解器,并实现了流水线形式的计算,同时获得了在单个方程和多个不同方程之间的显著并行性。该模型由四个部分组成,分别为任务生成器、调度器、同步器和内存池,以此实现常微分方程的高效求解。该框架可以充分利用GPU的多核优势,有利于计算节点内的负载平衡;第二种模型是基于在用C/C++库求解常微分方程时,由于需要对常微分方程先进行编译,通常使用的静态绑定技术实现GPU和CPU之间的动态任务平衡和按需交互变得难以实现。为解决这个问题,设计了一种基于文本的常微分方程求解框架,该框架结合了即时编译和耦合的CPU-GPU计算方法,提高了求解效率。通过对比实验,发现本文提出的基于流水线模型的常微分方程求解模型和基于文本的常微分方程求解模型准确性高,且求解效率实现了显著提升。

关键词： 人体运动   轨迹预测   神经常微分方程   空洞卷积神经网络  

摘要： 近年来，人体运动轨迹预测成为人工智能领域中的研究热点，广泛应用于人机智能交互、自动驾驶和智慧城市等领域。尽管现有人体运动轨迹预测研究已经取得了显著进展，但复杂环境下人体运动的高维性、关节空间协作性和强时序性等特性使得预测效果并没有完全满足相关行业的实用标准。因此，如何在复杂环境下准确捕捉其时空特征，进而实现精准预测，是人体运动轨迹预测算法面临的重大挑战。一般地，基于深度学习的算法具有从人体运动轨迹数据中探索其时空演化规律的能力。其中，基于神经常微分方程的预测方法因其清晰的数学结构和优异的内存效率而受到国内外学者的广泛关注。　　在人体运动轨迹预测领域中，存在因传感器遮挡、污损产生的数据丢失与不连贯问题，而传统深度学习方法受限于固有缺陷与人体运动编码困难，故难以处理“不规则”的时序数据。然而，神经常微分方程通过连续时间范式，实现了在同一框架下处理“不规则”数据和“规则”数据，适用于解决上述问题;同时，本文也研究了其收敛性问题。因此本文提出了基于神经常微分方程的人体运动轨迹预测方法，主要研究工作如下：　　1） 针对遮挡导致的数据丢失与不连贯问题，提出了基于改进神经常微分方程的人体关节轨迹预测方法。首先，神经常微分方程建立了对人体运动轨迹进行“不规则”采样的预测模型，设计了神经常微分方程的正向传播过程;其次，将预测模型带入利普西茨计算得到谱范数约束定理，提出了具有谱范数约束的神经常微分方程网络，改进了其收敛性，解决了遮挡导致的数据丢失与不连贯问题;最后，通过手腕关节的轨迹预测实验证明了所提方法的有效性。　　2） 针对传统深度学习方法固有限制与人体运动编码困难等问题，在改进神经常微分方程的基础上，耦合了空洞卷积神经网络，提出了一个新的端到端前馈网络模型：卷积—受控神经常微分方程网络。该网络通过引入一个新的轨迹空间，对具有耦合时空特征、局部相关性，全局相关性和时间相关性的人体运动轨迹序列进行运动学建模。首先，卷积-受控神经常微分方程网络以非递归的方式捕获遮挡环境下的人体运动轨迹序列，并通过空洞卷积模块同时编码人体运动序列的时空维度信息;其次，通过堆叠多个残差块并结合人体骨架信息编码人体关节之间的局部相关性和全局相关性信息;再次，通过神经常微分方程编码人体运动轨迹的时间相关性信息;最后，通过卷积模块解码为短时预测的人体运动轨迹序列，并在公开数据集 H36M 上取得良好结果，解决了传统深度学习方法固有限制与人体模型编码困难等问题。　　综上所述，本文针对遮挡环境下的人体运动轨迹预测问题，提出了基于神经常微分方程的预测算法，并通过谱范数约束改进了收敛性;在此基础上，结合深度学习方法，设计了卷积—受控神经常微分方程网络，促进了神经常微分方程在人体运动轨迹预测领域的发展，并通过实验验证了其有效性。

关键词： 常微分方程   思政教育   教学案例  

摘要： 常微分方程课程是应用型课程,是承接教学理论和实际问题的桥梁。本文从常微分方程课程思政教育的现状和必要性入手,以教学案例为载体,挖掘思政教育策略,以供参考。

关键词： 癫痫发作检测   深度学习   神经常微分方程   残差网络  

摘要： 癫痫发作会影响患者的身体功能,并对他们的大脑造成不可逆的损伤.及时诊断癫痫发作并给予抗癫痫药物治疗至关重要.脑电图检测是诊断和监测癫痫发作最常用的工具.传统的癫痫发作检测依赖于神经科医生对患者的脑电图通过视觉进行检查.由于数据量较大,基于人类视觉的检测方法不仅耗时耗力,而且容易造成误诊.近年来,随着计算机设备与并行计算理论的发展,基于数据驱动的癫痫发作检测技术成为了研究的热点.本文以深度学习和神经常微分方程模型为技术手段,开展快速高准确率的癫痫发作端到端检测研究,本文的主要工作总结如下.首先,针对现有的混合深度学习模型癫痫发作信息有限以及难以聚焦鉴别性特征的问题,提出了一种差分注意力残差-长短期记忆网络模型(Difference Attention Res Net-LSTM,DARLNet).所提模型使用Res Net和LSTM分别捕获空间相关性和时间依赖性,并设计了一种差分层,用于自动挖掘额外的癫痫发作信息;此外,引入通道注意力模块,使得模型聚焦于与癫痫发作相关的特征信息.基于波恩大学癫痫脑电图数据集,开展了多组实验对DARLNet的性能进行了评估,验证了DARLNet在两类和五类癫痫发作检测任务上的优越性.然后,本文首次将NODE应用于癫痫发作检测领域中,研究了基于神经常微分方程(Neural Ordinary Differential Equations,NODE)的癫痫自动检测方法.NODE相比于传统的深度学习模型具有参数量小、计算效率高的优势.本文在NODE的基础上,引入了扩充求解空间的机制,且构造了差分层用于挖掘高层次的癫痫发作特征,从而建立了一种差分增强神经常微分方程(DANODE).实验结果表明,所提DANODE模型相对于竞争方法在二分类和五分类检测任务中取得了最优的癫痫发作检测准确率,分别比NODE模型高出了4.32%和21.06%.

关键词： 常微分方程   参数求解   深度学习方法   神经网络  

摘要： 常见的一类科学问题是预测常微分方程的参数，使用数值方法求解该类问题耗时长且精度较低。近年来深度学习方法在分析和处理时间序列数据问题中发挥了巨大潜力，虽然有较多方法使用深度学习求解常微分方程的数值解，但极少使用深度学习求解时间序列数据背后潜在的常微分方程的未知参数。　　本论文提出了求解常微分方程参数的深度学习框架—ODENNF。使用该框架可以在常微分方程的参数值分布已知的情况下，从较短的时间序列数据中预测常微分方程中的参数值。ODENNF中包含了数据模拟和预处理过程，以及四种神经网络模型，分别为：全连接神经网络、循环神经网络，变分自动编码器，ODE-RNN。其中ODE-RNN结合了循环神经网络处理时间序列数据与神经常微分方程离散化时间步长的特点，用于处理长间隔或不规则间隔的时间序列数据，可以有效学习数据中的常微分方程参数值。　　为了验证ODENNF的可行性，本论文分别使用洛伦兹、菲茨休-南云、捕食-狩猎者三类常微分方程数据进行模拟实验测试。实验结果表明，处理不同长度的时间序列数据时，使用ODENNF预测误差小于数值方法，ODENNF预测误差在0到1左右，数值方法预测误差却在1到1*106之间。此外，使用ODENNF预测耗时优于数值方法。。虽然ODENNF训练耗时较长，如ODENNF训练模型耗时在1到8个小时范围，但在处理大量数据的情况下，ODENNF仍具有较大的优势。以预测500组时间序列数据为例，其预测耗时均值为0.1s，而迭代次数为5000的数值方法预测耗时为2到5分钟。　　本论文开源了使用该框架求解常微分方程未知参数的软件包。该软件通过配置文件指定神经网络模型，具有一定的可扩展性。同时简化了使用深度学习方法求解该类问题的过程。该软件包提供三个接口，包括数据模拟，模型训练及模型预测，方便科研人员使用该软件包进行常微分方程未知参数的求解。　　本论文使用该软件包提供的接口计算捕食-狩猎者方程的两个真实数据集，并与数值方法方法作比较。结果表明，该软件包可以有效处理真实世界的数据，在准确性和时间成本上，均优于数值方法。