关键词： 企业信用   数据库   主成分分析   神经网络   决策树  

摘要： 随着中国经济的飞速发展,我国金融市场的开放程度逐渐打开,由风险投资带来的不良违约率也在逐年上升,因此建立有效的企业信用评估体系及评估模型已显得尤为重要。本文的研究主要包括绪论,机器学习理论、实证分析、模型结论四个章节。首先,依据信用评估的准确性、系统性、科学性、可操作性等原则,构建包含流动比率、总资产增长率、资产报酬率等共计59个指标的信用评估指标体系。利用My SQL技术,对来自国泰安数据库,瑞思数据库和中经网统计数据库的2020年经营中的4082家上市公司的样本数据进行整合,清洗,前后两期插补,并进行数据的缺失值分析,异常值分析与多重共线性问题检验。其次,利用主成分法对数据进行降维处理,消除指标间的共线性问题,依据特征值接近于1,提取24个综合指标,列出主成分与指标间的线性表达式,并计算其得分值,将样本的得分值作为后续模型的特征属性。再次,将训练集与测试集样本按照违约样本与非违约样本的不同,按照7:3的比例进行划分,再通过调节神经网络模型与决策树模型的参数,进行对比分析,建立了包含2个隐含层,激活函数为逻辑S形,初始学习率为0.4的BP神经网络模型。接着建立生长法则为CHAID,最大树深度为3,最大迭代次数为100的决策树模型。然后,利用K-近邻算法、朴素贝叶斯算法、支持向量机算法、逻辑回归模型及多元判别分析进行多模型比较。最后通过混淆矩阵计算各模型的准确率、第一类错误率、第二类错误率及样本的几何均值来评估模型。结果表明,双层BP神经网络和决策树模型的准确率分别为0.982和0.984,在众多模型中准确率较高,且决策树模型的两类错误率分别为0.0038,0.2187,两类错误率最低,因此决策树在企业信用评估中表现出的综合性能最优。对比于传统的逻辑回归模型,机器学习方法在大样本的情况下对于企业信用评估优于逻辑回归模型。

关键词： 机器学习方法   缺失数据   MIMIC-Ⅲ数据库   脓毒症  

摘要： 信息技术飞速发展的过程中各行业生产实践都需要采集大量数据,数据中出现缺失值已是非常普遍的现象。医学领域的关键数据缺失或者误差极有可能导致重大医疗事故的发生,所以通过有限的数据量利用机器学习方法对缺失值插补是至关重要的。机器学习在医疗领域的深入应用已经使得医学和信息学深度交叉。利用机器学习处理脓毒症患者数据集缺失问题的主要思路是利用先进信息技术的智能处理优势,研究学习病患数据的内在规律,探索缺失数据预测、插补新方法,提高数据集的可靠性、合理性等综合性能,降低数据缺失对医学诊疗风险的影响,提高医疗整体技术水平。论文研究了医学数据的随机和完全随机缺失机制、主要的缺失值插补技术、数据插补模型评价标准和评价方法,验证数据选择面向全球开放的MIMIC-Ⅲ公共数据集,数据库中包含患者住院期间的诊断代码、生命体征、实验室测试、治疗和操作数据、用药记录、人口统计学和其他一些临床特征,根据最新的3.0诊断标准提取MIMIC-Ⅲ公共数据中脓毒症患者以及心率、呼吸频率、平均动脉压、体温和序贯器官衰竭评分5个变量进行实验。论文主要研究工作如下:首先针对脓毒症患者数据集中数据不同缺失情况进行研究分析,由于MIMIC-Ⅲ公共数据集不仅存在缺失值,还存在异常值问题,因此利用R语言对于选取指标的异常值、相关性、指标间多重共线性以及患者存活和死亡对应的指标是否存在差异方面进行预处理,通过相关理论实验对数据插补次数等参数进行初步估计。然后论文针对数据是随机缺失和完全随机缺失情况下不同缺失比例的数据插补研究,并且重点研究了两种缺失机制下缺失率较小时数据插补问题,研究其中缺失值的分布规律,缺失数据的插补重点研究了多重插补方法中的预测均值匹配法、Bootstrap和贝叶斯三种方法的不同性能特点,在小缺失率随机缺失的情况下,提出基于贝叶斯的多重插补方法;在小缺失率完全随机缺失的情况下,提出基于预测均值匹配法的多重插补方法,实验通过统计学指标和预测模型结果等性能指标评估效果实验最佳。最后论文对包含缺失值的原始数据集在随机缺失并且数据的缺失率较小情况,结合数据的缺失模式,研究贝叶斯方法对于原始数据集缺失值插补的效果,提出基于随机森林算法建模的方法预测脓毒症患者是否会发生死亡的情况,根据模型的结果对比删除原始数据集中缺失部分和插补缺失部分两种情况,从而实现了数据在随机缺失时缺失率较小的情况下使用贝叶斯方法进行插补的结论得到了进一步验证。本文对于脓毒症患者数据中的缺失值进行插补实验的尝试,从而也为研究人员处理缺失值方面提供了一条有效的解决路径。

关键词： Ser Des   DNN   RNN   机器学习   FFE   DFE  

摘要： 随着信号的传输速率越来越高,传输路径越来越复杂,信道建模的难度也越来越大。当前的高速传输主要采用串行Ser Des的方式,相比于并行信号,Ser Des具有布线空间少、抗干扰能力强、传输速率快等优点。但高速Ser Des信号,对发送端和接收端的均衡能力要求高。均衡技术作为高速Ser Des串行通信系统的核心,可以有效的解决损耗对信号的影响从而降低误码率。因此本文针对高速串行信道的建模和均衡优化技术进行了深入的研究,提高高速信号的传输质量。近年来机器学习的热度不断升温,机器学习已经成为分析海量数据的重要手段。通过机器学习方法模拟信道和均衡优化也成为国内外的热点。本文通过分析机器学习方法并与信道与均衡技术结合,利用采集的大量模拟数据,提出采用深度神经网络DNN与循环神经网络RNN方法对信道建模,以及对信号的均衡技术进行改进。通过机器学习方法对信道和均衡的建模仿真,实现快速精准的对信号完整性进行评估和分析。其次,在信号传输过程中,串扰和衰减会限制传输距离和传输速率,也会给测试和信号采集带来困难。为了恢复理想信号,高速串行链路通常包含复杂的均衡摸块。目前均衡设计中面临的主要问题是抽头系数和抽头个数的确定,以及均衡算法的制定。针对这个技术难点,本文对高速串行链路的主要均衡技术前向反馈均衡器FFE和判决反馈均衡器DFE的均衡算法进行了深入研究,提出了将神经网络算法与FFE均衡算法结合,将神经网络算法与DFE均衡算法结合,通过这种新颖的方法来确定最合理的均衡抽头系数以及最优均衡抽头系数的个数。

关键词： 机器学习   湍流模型   雷诺平均   大涡模拟  

摘要： RANS模型因其易用性、高效性被广泛采用,但是RANS模型因其不确定度而存在计算精度不足的问题。此外,LES方法尽管能在高分辨计算中取得较好的计算精度,但是所需的大量计算资源限制了该方法的使用。针对传统湍流模型的问题,本文利用机器学习方法对RANS模型及LES模型分别构建机器学习替代模型,并且完成的主要工作总结如下:1.不同机器学习算法在RANS湍流模型中构建替代模型对比研究。从Boussinesq涡粘假设出发,采用多种机器学习算法分别对定常状态下的湍流涡粘性系数进行建模,构建机器学习数据驱动替代模型,在经典的后台阶流动问题展开模型验证对比研究。计算结果表明,在计算效率方面,各机器学习算法构建的模型均能够有效地提高;在计算精度方面,各算法替代模型物理量的计算均能保证在理想范围之内,并且机器学习替代模型均能有效捕捉分离及再附着现象;其中人工神经网络、极限梯度提升及K近邻算法在构建机器学习替代RANS湍流模型中更具潜力。2.机器学习替代模型在不同雷诺数下的泛化性研究。在相对于训练流动不同雷诺数变化的测试流动中的计算结果显示,当测试流动雷诺数与训练流动雷诺数较为接近时,替代模型计算结果能够有效地与原始RANS计算结果吻合;而当测试雷诺数低于训练流动雷诺数时,会存在偏差,并且这种偏差随雷诺数下降而更明显;而在相对于训练流动更高雷诺数下的测试流动中,模拟的偏差会随这雷诺数的升高而进一步减小。揭示了机器学习替代RANS模型的计算精度会随测试流动雷诺数升高而提高的现象。3.针对大涡模拟,使用机器学习方法来重构亚格子不闭合项的研究。模型验证的研究在不同雷诺数下的槽道湍流展开,通过在低雷诺数槽道湍流数值模拟的研究中表明,相对于原始动态Smagorinsky模型的计算,新的机器学习亚格子替代模型能够精确地预测湍流流场的统计性质和空间结构,并且在计算效率上有明显的提升。表明了机器学习算法应用于大涡模拟优化建模具有较高的意义,对揭示复杂的湍流流动现象具有广阔的应用前景。

关键词： 脑机接口   运动想象   共空间模式   离散小波变换   麻雀搜索算法  

摘要： 近年来,随着机器学习的火热发展,脑机接口研究领域也重归热门,相应的也暴露出很多问题。脑电信号的基本特点就是非线性和非平稳性,这就表明不同人的脑电信号差异巨大,在进行预处理和特征提取时,没有统一的完美的方法。鉴于此,本文针对2008年BCI CompetitionⅣ的Data sets2a数据集的9位受试者的脑电信号,提出了一种新的预处理方案。此外,本文首次引入SSA对SVM分类器进行核系数和惩罚系数选优。本文主要进行了以下研究:(1)在预处理过程中,设计了一套新的预处理方案:带通滤波+滑动时间窗口+叠加平均。传统时间片的选取一般是固定时间段,这种方式对不同的受试者具有局限性。首先针对原始数据集进行FIR带通滤波,然后利用滑动窗口选择时间段,再对时间段进行叠加平均。(2)在特征处理方面,本文选择小波包变换+共空间模式对预处理后的数据进行特征提取。传统的小波变换对高频部分的信号不太友好,小波包变换很好地克服了这个缺点,对时频域的特征非常敏感,共空间模式能有效的提取空域特征。这种特征提取的组合,兼顾了时域、频域和空域的信息。(3)为了验证本文新的预处理组合的有效性,本文设计了三个传统分类器:ANN、CNN和SVM。这三个分类器的分类结果表明本文提出的预处理方案是有效果的,可以在一定程度上提高分类准确率和Kappa系数,尤其是信号质量不好的脑电信号。此外,针对本文数据集的第7位受试者,其数据非常优异,SVM分类的平均分类准确率能达到86%,是所有分类准确率中最高的。(4)虽然工作(3)已经验证了本文新提出的预处理方案的有效性,但是三个分类器中分类效果最好的SVM相比于其他文献,还是略有不足。为了进一步提高分类准确率,引入SSA用于优化SVM核系数和惩罚系数,提出一种新的优化方案:SSA-SVM。通过实验,与工作(3)中设计的三个分类器进行效果比对,分析结果表明SSA-SVM分类器在整体上提升非常明显,最高的平均分类准确率达到了90%。针对数据质量不好的受试者,分类效果提升也很明显。最后通过与其他具有类似特征提取的方案的文献进行效果比对,结果表明SSA-SVM依然具有优势。通过本文的研究,不仅为脑电信号的预处理提供了一种新的方案,也为脑电信号的分类提供了一种新的思路。

关键词： 数值模拟   机器学习   大涡模拟   高精度数值模拟  

摘要： 翼型绕流是流体力学研究重点之一,流动相对简单但广泛应用于各种流体机械及飞行器设计中。且翼型绕流可以通过圆柱绕流的势流变换得到,因此本文以圆柱及NACA0018翼型作为研究对象,采用不同湍流模型计算了研究对象在定常与非定常状态下的流场。通过对比分析研究了数值模拟结果,选用二维模型下SST k-ω湍流模型对研究对象的计算结果作为机器学习样本,对机器学习方法的流场复现方法进行了研究,选用多层前馈神经网络模型实现机器学习方法,并根据复现出的流场计算翼型的气动特性,主要方法及结论如下:1、采用S-A、SST k-ω与LES湍流模型,对NACA0018翼型在不同攻角下的流场进行数值模拟,研究表明,S-A模型在0-4°攻角下计算误差可以小于5%,当攻角超过8°时,S-A、SST k-ω方法开始出现较大误差。使用非定常方法进行计算时,SST k-ω与LES湍流模型在攻角α<8°时均能准确预测升力系数,但当α>8°时由于发生了流动分离,SST k-ω湍流模型难以准确预测,另外LES湍流模型可以较为准确的计算出翼型的阻力系数。最后对比了圆柱绕流LES方法与实验的对比,通过对比实验流场与数值计算流场发现SST k-ω方法无法得到圆柱绕流背压面旋涡被主流拖拽破裂的过程。综合对比三种数值模拟在圆柱绕流与翼型绕流中的计算结果可以发现LES在宏观外特性与流场特性均具有较高精度。2、本文采用数值模拟方法获取数据集,数据集的好坏直接影响预测准确性。圆柱绕流因计算简单,且可以通过势流变换得到翼型绕流,因此本文首先采用数值模拟方法对雷诺数为Re=3900的圆柱绕流进行计算,对比圆柱绕流试验压力系数与数值模拟计算压力系数可以发现LES湍流模型与SST k-ω湍流模型计算结果相近,但计算时长相差近35倍。综合考虑计算时间和准确性,选用二维模型下SST k-ω湍流模型建立直径为0.05m的圆柱在Re=3500-5500下压力场速度场数值模拟结果作为学习模型的数据库,研究不同深度、训练步数、学习率和不同网络结构的预测准确性。结果表明,保证训练步数在500-750步之间,学习率为0.1保持不变时预测结果很差,在减小学习率到0.01时可以获得较好的结果,但学习率继续减小会导致神经网络难以收敛,需要增大训练步数方能收敛。另外神经网络在层数增多时会有较好的预测结果,但当前馈网络超过6层时,预测准确性并没有很大的提高,认为使用6层前馈网络即可达到圆柱绕流预测的目的。最后加入0.005的正则化与1%权重衰减可以有效防止过拟合,提高预测准确性。3、将圆柱绕流优秀的预测模型应用于翼型绕流预测。首先利用数值模拟方法获得NACA0018翼型在攻角α=2°、4°、6°、8°,雷诺数Re=0.1-1.6×10范围内共计140组计算结果作为机器学习的样本数据库,建立基于前馈神经网络的机器预测模型,以绕流雷诺数与攻角作为自变量输入神经网络,通过神经网络的计算预测翼型附近压力场速度场。结果表明,采用八层全连接神经网络即可获得准确的计算结果,并可以通过预测得到的表面压力系数反算升阻力系数,发现机器学习方法能获得很好的准确性。对比Xfoil、数值模拟与神经网络计算得到的表面压力系数,发现SST k-ω湍流模型未算出翼型分离点,导致神经网络无法计算出分离点压力变动,表明机器学习方法准确度取决于数据库样本。4、通过计算矢量场速度之间的相关系数可以发现X、Y方向的速度矢量大小相关系数为0.3,相关性较弱,因此采用相互独立的神经网络预测速度矢量场。相比压力场、速度场的预测,因缺少数据间的约束,需要将神经网络训练步长增加至600步以上。并考虑到流场中驻点及部分区域Y方向速度接近于0,将计算结果中绝对值小于10的数据归零处理,最终可以将矢量场预测的平均误差降低至7%以下。

关键词： 机器学习   解调   一维卷积神经网络   衰落信道   降噪自编码器  

摘要： 基于机器学习方法的数字信号调制解调,可以在不进行载波恢复、滤波处理的情况下,实现在同一个网络模型下对多种数字调制信号进行解调,有助于提高通信系统中信息传输的效率,缓解日益复杂通信环境下硬件电路设计的压力。另外基于机器学习方法的数字信号调制解调,可以在不进行信道估计的情况下,直接将符号序列从衰落信号中恢复处理,有利提高通信系统的频率利用效率。因此,基于机器学习方法的数字信号调制的解调成为近年来研究的热点之一。本文针对应用机器学习方法对多制式数字调制信号的解调需要较高的过采样倍数的问题,以及针对衰落信道下基于机器学习的数字调制信号解调方法对不同调制信号泛化能力较弱的问题,进行了研究。主要研究内容如下:1、首先对传统的解调方法与基于机器学习的解调方法进行了对比,分析了基于机器学习方法的优势。对人工神经网络(Artificial Neural Network,ANN)等适用于多制式数字调制信号的神经网络解调器进行了分析,以上方法存在对数字调制信号过采样倍数要求较高,网络参数众多,训练难度较大的问题;对深度置信网络(Deep Belief Network,DBN)等适用于衰落信道下数字调制信号的神经网络解调器进行了分析,以上方法存在对不同数字调制方式泛化能力较弱的问题。2、设计了一种适用于较低过采样条件下的多制式数字调制信号的多尺度一维卷积神经网络解调器。该解调器可以在与传统解调器相同的过采样条件下,对BPSK、4-QAM、8-QAM、16-QAM四种数字调制信号进行解调,并能保证与传统解调方法相同的误码性能。仿真结果表明,在高斯信道下,给出的数字调制信号解调器可以在保证解调误码性能的同时,减少了对采样倍数的要求,降低了神经网络结构的复杂性。3、设计了一种适用于衰落信道下的多制式数字调制信号解调的神经网络级联模型。模型由降噪自编码器和解调器两部分组成,利用降噪自编码器的编码、译码过程来尽量消除衰落信道对数字调制信号的影响,应用解调器对数字调制信号进行解调。在瑞利衰落信道进行仿真,实验结果表明该神经网络级联模型可以在没有信道估计的情况下,实现了对BPSK和BFSK调制信号的解调,说明该神经网络级联模型,在消除了对信道状态信息的过分依赖的同时,增强了对不同调制信号的泛化能力。

摘要： Protein kinases are the largest family of druggable proteins altered in various human cancers. Kinase-targeted drugs are emerging as a research target for personalized medicine because of the differential drug response shown in patients with kinase mutations. However, nearly 30% of the 545 human protein kinases remain understudied, and little is known about the systematic impact of drug-kinase mutation interactions. Although many biomedical resources with unique perspectives on the protein or drug landscape, generating new knowledge from these resources requires integrative and reproducible workflows. In this dissertation, I develop integrative resources and use machine learning methods for illuminating understudied kinases and investigating the contribution of drug-mutation interactions to drug response prediction. First, I develop a novel orthology inference method, the KinOrtho, to efficiently and accurately identify human kinase orthologs. Next, I integrate multiple resources using a federated query language. Last, I utilize integrative resources, introduce drug-mutation interaction terms to the prediction model, and use machine learning to predict kinase drug response in cancer cells. The findings presented in the dissertation facilitate the understanding of understudied kinase and shed insights into personalized medicine.

关键词： TiO2纳米管   细胞增殖   机器学习   细胞密度  

摘要： 生物医用材料的表界面过程十分复杂,材料表面的理化性质会对其生物相容性产生显著影响,包括材料的化学成分、形貌、润湿性、带电性等。我们对界面过程的理解仍十分有限,而日益增加的“相互矛盾”的研究结果给我们的理解增加了难度。针对二氧化钛(TiO2)纳米管的尺寸对细胞增殖的影响规律仍不清晰的问题,本论文从数据库中收集相关的文献并提取有用的实验数据,应用有监督机器学习算法建立模型,以辅助理解纳米管的结构性质对细胞增殖的影响规律。 本论文主要研究内容如下: (1)数据库建立:从文献库里筛选细胞在TiO2纳米管表面生长的相关文献,选定管径、退火、灭菌方式、培养时间以及细胞种植密度五种特征,收集相关数据并建立数据库。 (2)回归模型的建立与选择:针对细胞增殖趋势随纳米管管径变化的规律不明确的问题,建立了回归模型。梯度提升树(GBDT)模型的分析表明,特征重要性程度排序:细胞密度>纳米管管径>细胞孵育时间=灭菌方式>退火。细胞密度的重要性大于纳米管管径,这在一定程度上解释了文献中出现的“相互矛盾”的结果。 (3)实验验证相反增殖趋势:通过使用网格搜索策略遍历所有实验特征组合并做出相应的预测,我们发现在一系列管径递增的二氧化钛纳米管表面,同时调节细胞密度和灭菌方法,可以获得相反的细胞增殖趋势。进一步的细胞实验证实了该预测,这表明模型预测细胞增殖趋势具有一定的准确性。 (4)分类模型的建立与选择:针对细胞在二氧化钛纳米管和钛箔表面增殖快慢的对比,建立了分类模型。在几种机器学习算法中,决策树(DT)模型具有最高的F1值,准确率可以达到80%。模型给出的特征重要性数值表明除了管径因素之外,细胞种植密度也会显著影响细胞增殖行为,这与回归模型的结果一致。 (5)分类模型的评估:基于决策树模型的可视化反推出三种有望获得优于钛箔的细胞增殖结果的实验方案,我们用实验验证了方案的有效性。此外,我们设计了多组实验条件验证模型的准确性,模型的F1分数可以达到0.82,这证明了模型能够有效地预测细胞增殖结果。 本文的研究结果表明机器学习有助于更好地理解生物学研究中有争议的结果,这为探索生物材料的结构-特性关系开辟了一条新途径。

关键词： Computational fluid dynamics   Aircraft icing   High performance computing   Machine learning  

摘要： The goal of this work is to investigate the aircraft icing severity by using numerical modeling and machine learning methods. Since the ice buildup on the wing’s leading edge may alter the original aerodynamic configuration and degrade the aerodynamic performances, the ice shape is predicted by the numerical simulation approach. Numerical simulations generally require computationally expensive and/or cumbersome treatments to calculate the ice displacement and accretion along the wing, such as remeshing or other sophisticated techniques. Based on that fact, a prediction model based on machine learning methods is built to extract general yet critical ice features such as the ice global coverage or maximum ice thickness. The first stage of the work is comprised of two chapters, where the focus is modeling of ice accretion over aircraft wings. An approach based on the Eulerian two-phase flow theory to numerically simulate ice accretions on an aircraft wing is developed and implemented in OpenFOAM to contribute the open-source community. The airflow field is obtained by solving the Navier-Stokes equations. Turbulence can be modeled or resolved to improve the prediction accuracy, especially in evaluating the effect of icing on the aerodynamics. A permeable wall condition is proposed to simulate the droplets impingement properly. The droplets collection efficiency is calculated according to the droplets velocity and volume fraction. The ice accretion thermodynamic model is built based on the improved Messinger model and the wall function is modified to account for roughness effect in calculating the convective heat transfer coefficient. The ice shape is reconstructed based on the assumption that ice grows in the direction normal to the aircraft surface. The mesh morphing model adjusts the wing’s shape every time step based on the amount of ice accreted. Therefore, the air flow field is updating during the simulation. Ice accretion on a NACA0012 airfoil and an ONERA M6 wing model under d