关键词： Sensor networksSignal processingMachine learningSoftware reengineeringElectronic apparatus and appliances  

摘要： Mainstream commercial off-the-shelf (COTS) electronic devices of daily use are usually designed and manufactured to serve a very specific purpose. For example, the WiFi routers and network interface cards (NICs) are designed for high speed wireless communication, RFID readers and tags are designed to identify and track items in supply chain, and smartphone vibrator motors are designed to provide haptic feedback (e.g. notifications in silent mode) to the users. This dissertation focuses on revisiting the physical-layer of various such everyday COTS electronic devices, either to leverage the signals obtained from their physical layers to develop novel sensing applications, or to modify/improve their PHY/MAC layer protocols to enable even more useful deployment scenarios and networking applications - while keeping their original purpose intact - by introducing mere software/firmware level changes and completely avoiding any hardware level changes. Adding such new usefulness and functionalities to existing everyday infrastructure and electronics has advantages both in terms of cost and convenience of use/deployment, as those devices (and their protocols) are already mainstream, easily available, and often already purchased and in use/deployed to serve their mainstream purpose of use. In our works on WiFi signals based sensing, we propose signal processing and machine learning approaches to enable fine-grained gesture recognition and sleep monitoring using COTS WiFi devices. In our work on gesture recognition, we show for the first time thatWiFi signals can be used to recognize small gestures with high accuracy. In our work on sleep monitoring, we propose for the first time aWiFi CSI based sleep quality monitoring scheme which can robustly track breathing and body/limb activity related vital signs during sleep throughout a night in an individual and environment independent manner. In our work on RFID signals based sensing, we propose signal processing and machine learnin

关键词： 糖尿病   呼气分析   电子鼻   机器学习  

摘要： 目前糖尿病已经成为威胁全人类健康的重大疾病,近年来随着我国经济快速发展、生活方式逐渐西化以及人口老龄化问题的加剧,我国糖尿病及其并发症的患病率和致死率呈现逐年增长的趋势。作为一种慢性疾病,糖尿病的早期症状并不明显,很多患者都是在并发症出现后才意识到病情。目前临床上诊断糖尿病主要基于血糖检测,常规方法是直接进行血检,但这种方式是有创的,会给受检者带来身体创伤和心理负担。呼气分析是近年来的热门研究方向,医学研究表明人类呼出气体中存在能够反映体内相关代谢状况的内源性分子,这些分子作为相关疾病的标记物,有用于疾病诊断的潜能。此外,当前呼气分析技术中,电子鼻相比色谱仪等大型设备,具有易便携、成本低、操作简单、检测速度快等特点,更有利于呼气分析的大范围普及。鉴于此,本文对当前电子鼻设备进行改进,采用对糖尿病呼气标记物具有高灵敏度和高检测精度的多种气体传感器,并以差异化传感器阵列为基础,研究设计出一套小型化呼气检测系统。在进行大量患者组和健康组的对照实验后,通过处理实验数据来验证系统的呼气分析效果。当前电子鼻设备主要使用基于统计的模式识别方法,但这种方法通常需要依赖大量样本数据作为算法研究的基础,而呼气样本的特殊性使其大规模采集非常困难。因此,本文基于机器学习理论,研究出了一套适用于气体信号的处理方法。首先是数据的预处理,其目的是消除样本数据中的不相关信息从而提升数据质量。随后是特征提取,由于原始数据中的冗余信息很多,因此本文通过机器学习理论中的降维方法来提取样本的特征值。具体使用了三种方法,分别是线性降维方法中的主成分分析,基于流形学习的局部线性嵌入和近年来新兴的T分布随机近邻嵌入方法。在分类方法的选择上,本文除了使用基于统计的浅层机器学习模型中的K近邻算法和支持向量机外,还将深度学习中的卷积神经网络方法应用到气体信号的处理中。深度学习方法明确突出了特征学习的重要性,其能够自动学习出更能刻画样本数据本质的特征值,本文最后的分类结果表明:使用卷积神经网络算法对样本数据进行分类,其准确率86.36%、灵敏度92.31%、特异性81.63%,相比KNN的准确率79.20%、灵敏度77.44%、特异性80.63%和SVM的准确率78.28%、灵敏度75.38%、特异性80.63%,均有显著提高。因此,可以认为深度学习方法能够取得更好的分类结果。

关键词： 命名数据网络   伪造分布特性   破坏分布特性   多变量相关分析   网内缓存  

摘要： 命名数据网络(Named Data Networking,NDN)作为一种未来网络的潜在架构被用于解决当前IP网络的诸多不足。通过以内容为中心的数据传输方式,NDN可以提升网络的可靠性、可扩展性与安全性。其典型特征是网内缓存,每一个路由节点都可以缓存数据以响应后续请求,从而降低请求响应时间并提升网络带宽利用率。但是网内缓存也增加了网络的安全风险,即缓存污染共攻击,包括破坏分布特性(Locality Disruption,通过随机请求不流行的内容使其变流行来破坏内容的分布特性)和伪造分布特性(False Locality,通过请求一系列不流行的内容使其占据路由节点中的缓存)两类。在本文中,我们提出了一种基于机器学习的检测NDN网络缓存污染攻击方法,称为基于三角区的多变量相关分析(Triangle Area Based Multivariate Correlation Analysis,TAB-MCA)。该检测系统包括两个技术:基于三角区的MCA技术和基于阈值的异常检测技术。TAB-MCA技术用于提取所有可能的两种特征组合之间隐藏的几何关系,基于阈值的异常检测技术帮助我们的模型能够在不需要先验知识的情况下区分攻击流量与合法流量。我们的技术可以精准地检测到两种类型的CPA,即破坏分布特性、伪造分布特性以及两者的组合。在XC拓扑上,本文所述方法在减弱网络攻击时表现出了更高的效率。与其他机器学习方法相比,本文提出的方法由于不需要攻击者的先验知识,在减弱缓存污染攻击时有着更小的代价,同时,本文提出的方法可以检测非均匀分布的攻击。

关键词： 支持向量机   BP神经网络   SARIMA模型   群智能优化算法   空气质量预测  

摘要： 近年来,经济快速发展所造成的空气污染问题日益突出,市民的健康与日常生活受到的影响也日益加重。因此,环保意识不断提升的人们对于改善空气质量的呼声愈加强烈。如何兼顾好经济发展与保护环境的双重要素,预防严重污染空气质量事件发生,采取科学有效的空气质量监控与预测成为了一项重要课题,而及时获取的准确、全面的未来大气污染变化的信息是该项课题的关键。有效的空气质量预报信息可以帮助人们采取预防措施与计划合理的出行安排,十分有利于空气污染防控工作的开展与城市环境规划建设,对人们的生产生活与城市发展有着重要的指导意义。随着科技的快速发展,新兴的机器学习技术大大促进了人工智能的进展。如今,机器学习已经渗透到全社会各个领域,机器学习成为了多领域科研人员解决疑难问题的重要手段。本文以群智能优化算法和机器学习中的支持向量机、BP神经网络、SARIMA等模型相结合形成了新的模型,对太原市2014年至2019年间的空气污染物监测数据进行研究,主要研究内容如下:(1)将改进的粒子群算法进行优化并与野草算法相结合,对BP神经网络的初始权值和阈值进行优化,构造出IWO-IPSO-BP分类模型。实验结果表明,此模型对空气质量的分类精度高,具有一定的实际意义。(2)针对支持向量机的参数c和g对模型性能的影响,文章将灰狼优化算法和差分进化算法相结合对其进行优化,构建出GWO-DE-SVM分类模型。实验结果表明,此模型的分类效果较好,且此模型与上一章节的IWO-IPSO-BP分类模型相比,具有用时短的特点,因此,此模型具有更高的可行性。(3)由于单一的预测模型均有其自身条件的限制,在对数据序列进行预测时,可能由于不能够全面地掌握数据信息而影响到预测结果,使得预测精度不高。因此本文提出的基于SARIMA模型和SVR模型相结合的SARIMA-SVR组合预测模型,是综合利用两种单一模型所提供的信息,尽可能地提高了预测精度。实验结果表明,SARIMA-SVR组合预测模型的预测精度明显优于单一预测模型的精度,减少了预测的系统误差,显著改进了预测效果。本文提出的三个模型:IWO-IPSO-BP,GWO-DE-SVM和SARIMA-SVR,用于太原市空气质量的分类和预测,为空气质量分类和预测提供了新方法,为大气污染防治提供了科学合理的理论依据。

关键词： 机器学习   不平衡数据   LGBM   BalanceCascade  

摘要： 数据的不平衡性是实际应用中经常会遇到的问题。在传统的机器学习方法的原理中,一般情况下默认数据是平衡的,这在有的时候会对结果产生不好的影响。通常来说,对于二分类问题,衡量误差的指标在常规的机器学习方法中将二类分错带来的代价往往是一样的,而不平衡问题两类问题的样本数量往往是不相等的,这会导致传统的机器学习算法更加倾向于将样本划分为多数类样本。 针对数据不平衡的问题,许多学者提出了相应的解决方案。首先,考虑到不平衡性的存在,在不平衡问题中评价分类器性能的标准可以采用Precision（精度）、Recall（召回率）以及F1值等指标;此外,在算法方面也有许多的研究成果,BalanceCascade方法（简称BC方法）就是其中一种。BC方法是一种集成方法。在得到BC方法中的每一个分类器的时候,BC方法通过欠采样现存的多数类样本并与少数类样本组合获得平衡的数据集,训练得到分类器并借助分类器筛选现存的全部多数类样本,只留下分类器误判为少数类样本的样本,在下一步重复这个过程,最终使得两类样本达到相同的规模后停止,并将前面每一步得到的所有的分类器集成起来,得到BC方法的分类器。BC方法的每一步中,训练集中两类样本的数目都是平衡的,这使得BC方法能够有效地提高召回率,在面对需要有较高召回率的场景时有一定的应用价值。 BC方法可以认为是一种改进某个基础算法的思路,最初的时候BC方法被应用于Adaboost算法上,本文尝试将BC方法与LGBM等近几年开发出来的机器学习方法相结合,取得了不错的效果;此外,最开始的BC方法中使用固定误警率对多数类样本进行筛选,这相当于在每一步中舍弃固定比例的多数类样本,本文尝试将这种筛选方法更换为固定概率阈值进行筛选,即在每一步中舍弃的多数类样本是分类器认为其为少数类的概率在固定阈值一下的样本;最后,由于BC方法是一种集成方法,最初的集成方法是将每个分类器输出的概率值平均值作为BC方法分类器输出的概率值,本文最后也在如何集成分类器的方面进行了一定的尝试。

关键词： 分形插值   机器学习算法   股指预测   新兴市场   发达市场   汇率波动   多重分形分析  

摘要： 股票市场和外汇市场是金融市场的重要组成部分,也是金融市场分析中的热点研究对象.这两个市场的剧烈波动将对一个国家的金融安全乃至世界经济的平稳发展有重大的影响,因此,研究股票市场的波动特征,提高股票价格的预测精度,分析汇率市场的波动行为及相关关系等问题对风险管理、投资决策和国际贸易等具有重要意义.首先,本文借助分形插值的理论与方法分析中国股票市场的波动特征,并尝试建立新的数学模型对市场价格进行短期预测.以深证成指的收盘指数为样本数据,建立了分析股票指数的分形插值模型.在此基础上,将分形插值方法分别与SVM方法和BP神经网络方法相结合,提出了新的混合预测模型用于预测股票指数的短期变化,并比较三种预测模型的预测效果.结果表明,分形插值与SVM以及分形插值与BP神经网络两种混合预测模型的预测效果均比单独使用分形插值模型的预测效果更佳,预测精度更高.然后,本文选取全球新兴市场与发达市场中若干代表性国家的汇率为研究对象,运用包括MV-MFDFA、MV-MFDCCA和CDFA等在内的多重分形分析方法研究新兴市场和发达市场国家的汇率波动特征、交互相关关系及耦合相关关系.实证结果表明,两个市场内和两个市场间各国汇率序列的自相关、交互相关和耦合相关关系均具有多重分形特征,且中国和法国分别为新兴市场和发达市场中多重分形性最强的国家,而俄罗斯和澳大利亚分别为新兴市场和发达市场中更易受外界因素影响而波动的国家;新兴市场的汇率波动相比发达市场的波动更易受突发事件的影响,中国和俄罗斯以及澳大利亚与英国分别是所在市场汇率波动的主导国家;在新兴市场内,中国汇率市场比其他市场具有更强的波动传导效应,而发达市场内各国汇率之间的波动关系具有相似的持续性特征;此外,指出由于长程相关性和胖尾分布的不同影响,在新兴市场中,南非和中国分别与其他国家汇率市场的耦合相关性最强,而在发达市场中,法国和日本与其他国家汇率市场的耦合相关性最强.最后,我们给出本文的总结与相关问题的进一步研究展望.

关键词： 大数据   交通流参数预测   朴素贝叶斯分类器   Fisher权重   模拟遗传退火算法  

摘要： 急救车在院前急救阶段的行驶顺利与否决定了病人是否可以在黄金抢救时间被救治,因此针对日渐严峻的道路拥堵问题,为急救车选择出行道路提供决策依据可以一定程度上避开拥堵路段。因此,充分利用西安市120中心的GPS大数据进行数据挖掘,对交通状况进行预测与分类的研究具有很大的现实意义。首先根据急救车GPS数据的特点进行数据结构分析,对数据存在的问题进行检测与修复,并完成交通流参数提取以及交通状况等级划分工作。其次,在已有对交通状况预测与分类的研究基础上,选择合适的交通流参数预测模型与交通状况分类器——卡尔曼滤波模型与朴素贝叶斯分类器,并对其进行了总结与分析,从而提出了对于交通状况分类器的改进方向:针对不同的属性变量,根据其对分类的重要性赋予不同的权值。在求得Fisher权重的基础上,使用遗传模拟退火算法寻找最优权重。在建立好交通状况预测与分类的理论基础上,对提取的交通流参数进行实验分析,根据数据特点调整了卡尔曼滤波模型的参数,预测出了t(10)1时刻的交通流参数。在划分不同数据集的基础上,验证了改进后的朴素贝叶斯分类器的分类准确率提升了2.56%,同时还验证了卡尔曼滤波模型预测结果的优良性。最终得到了预测交通流参数的方法以及各变量间的最优权重,完成了院前急救交通状况的预测与分类研究。

关键词： 公众号平台   数据挖掘   机器学习   爆点文章  

摘要： 公众号平台是企业商家维护客户服务的重要载体,带给企业商家铁杆粉丝的同时,还能为社群电商提供推广宣传。从整个网络中获取自己准确的客户定位是每个广告投放者的需求。因此本研究针对社群电商对于广告投放于微信公众平台这一策略,通过数据挖掘及机器学习方法整合出了一套基于微信公众平台广告投放爆点文章的预测推荐分类算法分析应用。对于微信公众平台刚刚发布的新文章,通过对公众号影响力和文章本身潜力做分析,结合基于CART、GBDT等树方法和聚类算法来提取数据特征并解决部分公众号投递数过少问题进行学习,对多种文章类型在不同的公众号上的投放进行预测分类,把最具有爆点潜力的、阅读量可能达到最大的文章投放到合适的公众号。实验证明在厦门Y公司真实数据集上,这种新的预测分类算法是有效的,在提升小样本量公众号预测准确率的同时几乎不损失原本大类公众号的准确率,对总体公众号的准确率也有提升,可在上千个公众号里帮助公司更好的进行广告投放定位,预测爆点文章且推荐合适的投放位置、文章类型,节省了投放的成本和获取更快的回报。

关键词： 客户流失   客户细分   Means-K   机器学习方法  

摘要： 随着全球经济一体化程度的不断深入,越来越多的新兴企业和新产品进入市场,加剧了企业之间的竞争,而企业的竞争主要体现在客户的竞争上,企业进行客户竞争的同时将会带来客户的流失,且客户流失的代价是巨大的,因此客户流失是企业面临的一个重要问题。同时对于企业而言人力、物力、财力等资源是有限的,且客户价值是不同的,有限资源的合理化差异化分配也是企业急需解决的问题。因此,本文综合考虑客户流失和客户价值两个方面的问题,在客户细分的基础上进行客户流失预测研究。在仔细研读和分析了国内外关于客户价值、客户细分以及客户流失预测的研究成果之后,提出了本文的研究内容、研究方法及研究路线。本文数据来源于2016年“客户流失概率预测”的比赛,是携程网提供的酒店客户流失预测数据。首先,对数据进行预处理并通过特征工程构造衍生变量,经过处理的数据大小由原来的689945×51变为689945×83。其次,建立基于客户价值的客户细分模型。结合本文所选数据的特征,基于收入价值、成长价值、客户忠诚度和口碑效应4个方面构造了包含22个指标的客户终身价值评价体系,利用KMeans-聚类方法进行客户细分,细分出3个不同的客户群体,并利用主成分分析,综合分析每一个主成分对应的载荷正负和大小,筛选出代表价值的主成分,从而计算每一类客户群体在该主成分上的平均得分,并根据平均得分定量的将客户划分为高价值、中价值、低价值客户。最后,针对客户细分得到的高价值、中价值、低价值客户群体,分别构建客户流失预测模型。本文基于机器学习方法选取的训练模型有随机森林、XGBoost和LightGBM,通过准确率(Accuracy)、精确度(Precision)、召回率(Recall)、score-F1和AUC值评估模型。为了进一步验证客户细分后模型的预测效果,对比分析客户细分前后模型在评估指标上的表现情况,最终发现进行客户细分后,整体来看,综合考虑精确度和召回率的score-F1评估指标均有所提升,在一定程度上为进行客户流失预测和挽留提供了研究思路和方向。

关键词： 静止卫星   红外高光谱   GIIRS   机器学习   云检测   温度廓线反演  

摘要： 强对流发生前的天气预警、临近和短期天气预报都需要描述大气温度、湿度精细结构的观测资料的支持,搭载在静止卫星上的红外高光谱探测仪器是这种资料的主要来源之一。干涉式大气垂直探测仪（Geosynchronous Interferometric Infrared Sounder,GIIRS）是搭载在我国静止气象卫星风云四号A星上的红外高光谱仪器,相对于极轨卫星上的高光谱仪器,它具有高频次连续观测局地区域的优势,能够监测快速变化的中尺度大气系统。为了在数值天气预报系统中充分发挥GIIRS数据的特性和优势,本文在充分掌握GIIRS数据的空间分布和光谱特征后,采用机器学习方法针对其在数值天气预报中亟待解决的两个问题展开了研究:（1）高效、准确的云检测:快速大气辐射传输模式很难精准地模拟出云中的辐射传输过程;当探测像元视场直径大于10KM时,红外高光谱仪器约有90%的视场都被云污染;目前的数值预报系统无法高效处理GIIRS每日巨大的数据量。基于以上三点的考虑和实时预报的需求,如何在GIIRS资料进入同化系统前对其进行高效、准确的云检测是一个重要的问题。本文将云检测视为一个分类问题,通过训练鲁棒性强的L1正则化Logistic回归算法达到了对GIIRS视场进行高效云检测的目的。与经典的成像仪匹配云检测法相比,本文提出的云检测模型在具有高准确率（>95%）的同时检测效率显著提升;对比目前三维变分同化系统中依赖于背景场的云检测方法,本文提出的方法只需将GIIRS观测辐射作为输入,避免了由于背景场不准确引起的误差。综上,本文提出的云检测方法能够用于资料同化系统中对GIIRS资料进行实时云检测。（2）高精度大气温度廓线的反演:由于具有高光谱分辨率,相对于传统多光谱传感器,红外高光谱仪器能够探测更加精细的大气垂直结构,对天气过程预警具有重要作用。然而由卫星接收到的辐射反演大气状态这个逆问题是不适定的;此外,卫星接收辐射和大气参数之间的非线性关系、通道噪声和通道高相关性给反演大气温度廓线进一步增加了难度,使其成为一个具有挑战性的问题。为了反演出高精度的大气温度廓线,以光谱通道的温度雅可比和噪声水平作为依据,从GIIRS的上百个长波通道中选出了对不同高度温度敏感的50个低噪声通道作为输入特征,采用了三种非线性拟合能力强的机器学习算法（高斯过程回归、随机森林、人工神经网络）作为基础模型。试验中创新性地使用香农熵采样法构造出了有代表性的样本集,在反演出高精度大气温度廓线的同时显著提升了训练效率。三种模型中,基于随机森林方法的模型反演效果最为突出:非台风过程时,随机森林反演模型在10h Pa以下的气压层上均方根误差在1.5K以内,偏差在±1K以内;台风过程中,10h Pa以下均方根误差在2K以内,偏差在±2 K以内。综上所述,本文提出的大气温度廓线反演模型能够高效地获得高精度的大气温度廓线。