关键词： 交通数据恢复   时空约束   异常检测   张量理论   深度展开  

摘要： 随着科学技术的进步,机动车的数量持续增加,交通问题日益明显。由于传感器的故障和网络延时,数据缺失和异常是智能交通系统中越来越常见的问题。数据缺失和异常对智能交通系统在交通管理和规划方面的应用影响巨大,例如交通数据采集和交通疏导,数据污染会降低智能交通系统进行交通指导和规划的准确性和可靠性。虽然基于矩阵和张量的方法在数据恢复方面取得了有效的成果,但这些方法某些情况下不能挖掘数据的高维特征和缺乏相应的约束条件,恢复精度还是受到了不同程度的影响。利用完整的交通数据可以准确的对交通状况进行分析,减缓城市道路拥堵状况,方便人们的出行。因此,研究出一种精确且高效的交通数据恢复方法是具有现实意义和学术价值的。 针对以上问题,本文提出了一种基于张量理论的交通数据恢复算法,将交通数据构造成一个三阶张量,交通数据存在明显的时空相关性,构造相应时空约束可以提高交通数据的恢复性能。另外提出了一种基于深度展开的交通数据恢复方法,将提出的算法展开到神经网络中训练,从训练中获取最优的参数,进一步提高数据的恢复精度。本文的主要研究内容如下: (1)为有效挖掘交通数据潜在的时空相关性并提高数据恢复精度,提出一种时空张量鲁棒主成分分析算法。首先利用拉普拉斯矩阵和托普利兹矩阵分别构造空间约束张量和时间约束张量,然后基于张量鲁棒主成分分析方法,建立凸优化数学模型,同时引入低秩张量分解降低算法的复杂度。最后利用交替方向乘子法对所提出的优化问题进行迭代求解,将复杂的求解问题转化成多个具有封闭解的子问题,并设置异常阈值来实现数据异常检测。实验表明,本文提出的算法即使数据严重损坏也具有最佳的数据恢复和异常检测性能。 (2)为充分利用神经网络高效的学习能力和进一步提升数据恢复精度,提出基于深度展开的交通数据恢复方法,该方法将迭代算法与神经网络相结合。本文将提出的算法展开到神经网络中训练,将时空约束的构造用卷积层代替,通过优化损失函数调整网络参数,最后将训练的模型用于交通数据的恢复和异常检测。实验表明,相较于传统的迭代方法,深度展开神经网络中训练的模型具有更高的数据恢复精度和异常检测性能,同时可以实现快速的实时交通数据恢复,而且具有层级结构的深度展开网络相较于深度神经网络有很好的可解释性。

关键词： 神经科学   可视化   实时协同   数据处理   移动平台  

摘要： 发展神经科学离不开对神经元影像数据的处理分析,功能强大的数据处理分析平台将能极大地助力科研工作,目前市面也已经有了许多基于PC平台的处理分析工具。近些年来,随着移动终端性能的不断提高和智能手机的快速普及,在移动平台进行科研办公成为可能,也兼具自己的优势。因此,设计开发神经元影像数据的移动平台不仅极具创新性,也有着现实的应用价值。本文以脑科学为背景,充分调研了用于神经元影像数据处理分析的工具,总结了当前生物学科研工作者的核心需求,并详细研究了用于数据可视化、数据标注和分析的方法,设计了一套可以支持多用户实时协同标注的数据处理分析平台。本文的一些主要研究贡献如下:1)基于Android平台,利用Java和Open GL ES实现了基于GPU的光线投射渲染方法。并且采取了空体素跳跃的思想,通过快速行进算法实现了体素值的距离变换,对传统光线投射算法的进行加速,显著提升了体绘制的帧率表现(40%以上的提升)。2)本文在数据处理分析平台中集成了Virtual Finger方法中的PPA(point-pinpointing algorithm)和CDA(curve-drawing algorithm)两种标注算法,并根据移动平台的交互特性对两种算法进行优化和适配,设计了准确性更高的MSMS-PPA方法和用户体验更好的CDA方法。除此以外,本文还实现了GD(graph-augmented deformable model)和APP2(all-path pruning 2)两种自动追踪算法,并针对移动平台硬件资源性能比较有限的问题,适配了原有算法的流程,提高了算法在移动平台运行的效率。标注生成的曲线标注对象可以直接通过内置的算法进行分析,算法将对其树状结构的22个特征进行分析,并将结果通过用户友好型的UI实时展示。3)最后,为了提升用户在面对复杂图像时的工作效率,本文设计了一个实时协同标注的模块。基于前后端分离的方式实现了协同模块,将数据被部署在云端,移动平台通过一定的数据访问策略来和服务器进行数据交互。在协同标注模式下,用户可以选择文件创建属于自己的协作空间,邀请自己的好友参加实时协同工作。

关键词： 地震观测   数据处理   深度学习   震相拾取  

摘要： 地震所激发的地震波沿着多种路径在地球内部传播，携带了震源及传播路径上介质的物性信息，最终被地震台站所接收，形成地震记录。地震学是一门观测的学科，旨在分析地震记录以研究震源和地下介质的性质。因此，地震学与实际观测及数据处理联系紧密。在其逾一百年的发展历程中，其重大进展往往伴随着观测手段或者计算能力的突破。近年来，随着地震台网的不断加密，地震数据总量逐年呈指数增加。此外，强震仪、光纤地震仪、手机加速度计的发展和利用更是令传统的数据存储、传输和处理手段难以应对。亟需采用更高效、精细的方法，对大量观测波形数据所携带的有效信息进行挖掘和分析。　　在天然地震数据处理任务中，存在一些难以建立明确的数学物理模型，但研究人员直观上容易理解和判别的任务，例如地震检测、震相拾取、质量控制等。在地震学发展早期，这些任务由专家依据经验人工处理。后来研究人员根据地震记录的振幅、频率等特性发展了一系列自动处理方法。这些传统方法只利用了地震波形的部分属性，在处理海量复杂的地震记录时需要设置大量的超参数或者结合专家经验进行人工后处理，存在耗时长、精度较低等问题。近年来，随着高性能计算设备和深度学习方法的快速发展，天然地震数据处理研究也迅速转向智能化。　　本文将基于深度学习的天然地震数据处理按研究内容分为模型、数据集和实际应用三个层面。深度学习模型是深度学习方法的“躯干”，负责构建输入和输出间的映射关系。本文在模型层面:(1)发展了结合深监督机制和侧输出网络的深度学习震相拾取方法PickNet，其获取的震相可以直接用于地震层析成像研究;(2)发展了首个利用地震信号在深度学习隐空间中相似性进行地震检测和震相拾取的方法S-EqT，有效提高了对弱地震信号的召回率。数据集是深度学习方法的“血液”，由于深度学习方法受数据驱动，数据集从根本上影响其性能。本文在数据集层面整理构建了首个中国区域大型天然地震数据集“谛听”，有利于增强深度学习方法对中国区域地震数据的泛化能力。实际应用是天然地震数据处理的研究目的。在应用层面，本文结合自身与前人的工作构建了基于深度学习的自动编目流程ESPRH，并应用于马里亚纳海沟、婆罗洲和缅甸区域，验证了深度学习流程在实际科学研究中的有效性。此外，本文还尝试利用深度学习开展地震初动极性判别、SKS震相拾取和接收函数质量控制研究，初步成果展示了深度学习在多个地震数据处理问题的巨大潜力。　　在这一轮天然地震数据智能处理的研究热潮之下，本文谨结合自身相关工作探讨了深度学习在天然地震数据处理中的优势和缺陷。本文的研究成果有助于以天然地震数据处理为基础的科学研究和防震减灾工作。

关键词： 智能决策   数据处理   个人金融信息   法律保护  

摘要： 信息时代,智能决策的应用场景已逐渐覆盖到金融领域,成为各家金融企业推动业务转型升级的重点发展对象。而作为决策产生的基础数据,关乎广大金融消费者切身利益的个人金融信息,是智能决策系统得以顺利运行的重要资源,也是技术运用主体的迫切需求所在。在能够创造巨大价值的金融领域,无论是大型机构还是金融消费者个人,都不愿错过大数据时代的人工智能技术红利所带来的发展机遇。个人金融信息保护区别于一般的个人信息保护。我们需在法律层面明确大数据智能决策中个人金融信息保护的边界,在公共利益例外原则、消费者保护优先原则、保护与利用平衡原则以及全过程保护原则的指导下,探讨保护理念,健全制度规范,完善监管体系,加强大数据智能决策中的个人金融信息保护。大数据智能决策的固有特征,使得其中的个人金融信息面临新的技术性风险,传统保护模式面临挑战。本文将对大数据智能决策中个人金融信息处理的几个典型环节进行分析,在个性中探索共性。首先,大数据智能决策高强度的数据依赖性特征,导致其在信息收集环节中,随意收集和过度收集的可能性大于以往,信息收集主体的鲁莽行为更加普遍。其次,大数据智能决策的分析方式由因果分析向关联分析转变的这一特征,导致其信息加工环节的传统保护模式失效,技术滥用风险显著。最后,大数据智能决策的全局性和动态性特征,导致其信息共享环节的交易行为更具隐蔽性,风险传导更为迅速。大数据智能决策是一个动态的信息利用过程,任何一个阶段和环节都不应当被孤立地看待,如果不对这些问题引起重视,最终的决策结果也将会侵害金融消费者的信息自主权。针对前述问题,本文将提出完善建议,以期实现大数据智能决策中个人金融信息生命全周期的保护。首先,在信息收集环节,建立审慎智能决策规则,规范个人金融信息收集主体行为;重构知情同意规则,明确个人金融信息合理收集范围。其次,在信息加工环节,融入隐私设计理念,防范个人金融信息面临技术性风险;增设公开解释义务和标准,确保个人金融信息处理程序正当;推进网络设施安全建设,保障个人金融信息利用环节安全。最后,在信息共享环节,建立严格信息共享规则,确保个人金融信息流通环节规范;约束第三方信息共享行为,促进个人金融信息安全流通。

关键词： 高速铁路   轨道检测   轨道不平顺   扭曲偏差   轨向不平顺   分割逼近法   高低不平顺   轨道质量指数  

摘要： 随着我国高速铁路技术的日益发展,列车的运行速度变得越来越快,这就不得不对铁路轨道测量的精度提出了更高要求。然而目前国内大部分厂商为轨检仪配套开发的铁路轨道测量数据处理软件中普遍采用近似算法以提高计算效率,但近似算法难以满足日益提高的轨道列车运行速度对更高的平顺性测量精度的要求。基于上述问题,本文开展了关于铁路轨道测量数据处理的相关算法研究。本文首先研究了对由设计单位提供的铁路线形设计文件的预处理计算的相关原理以及其算法结构,主要包括:断链里程的贯通处理、右线并行线设计参数推算、交点式线形设计文件与桩点式线形设计文件的转换、实测轨道点对应里程的计算、轨道中线点的设计坐标和设计高程的计算。在实测轨道点里程计算的研究中提出一种分割逼近法求解缓和曲线段上实测轨道点里程的思路,物理意义清晰便于理解。接着,本文讨论了各项轨道几何平顺性参数的计算方法,重点分析了扭曲偏差、轨向平顺性、高低平顺性三类平顺性参数的近似算法与严密算法的计算原理,并在中长波轨向和高低严密算法的基础上提出了固定第二条检测弦里程的计算方法,解决了因线路检测起点不同造成的轨向和高低不平顺值结果不一致的问题。然后在轨道质量指数计算中对比分析了按照规范中提供的计算公式与标准差的定义公式计算各单项不平顺参数的标准差的差异及各自适用性。最后本文开发了铁路轨道测量数据处理与分析系统,该系统既可以采用近似算法计算轨道平顺性,也可以采用严密算法计算轨道平顺性。本文还以一段实测轨道检测数据为例,对比分析了近似算法与严密算法的差异,得到以下结论:(1)两种算法计算扭曲偏差的较差很小,大部分都小于0.05mm;(2)两种算法计算10m弦、30m弦、300m弦轨向不平顺值的较差相对于其允许值而言较大,不可忽略;(3)两种算法计算10m弦高低不平顺值的较差几乎为零;(4)两种算法计算30m弦、300m弦高低不平顺值的较差相对于其允许值而言较大,也不可忽略。

ISBN: (纸本)9787301325377

关键词： 时空数据   时空数据处理   时空多边形范围查询   时空k近邻查询   时空索引  

摘要： 随着定位技术的飞速发展和基于位置的服务的普及使用,多源时空应用不断产生了大量的时空数据。海量的时空数据蕴含丰富的价值信息,高效查询和处理这些数据至关重要。大规模时空数据的高维性、空间区域的复杂性以及查询模式的独特性加重了时空数据查询和处理任务的计算负担。已有的查询技术缺乏对多维时空查询的支持,不支持对复杂空间区域的扩展,并且查询效率有待进一步提高和优化。为了支持复杂查询场景下的多维时空查询,以及提高时空查询效率,本文在分布式空间数据处理框架Spatial Hadoop的基础上,对时空数据处理的查询优化问题进行了研究。本文的主要工作如下: (1)针对已有的范围查询算法对多维时空查询的支持能力不足,以及不能满足复杂空间查询场景等问题,本文提出一种分布式时空多边形范围查询算法STPRQ。该算法基于全局索引,在空间范围搜索阶段提出了多边形范围查询模型,并基于记录读取器对数据对象进行时空约束下的重过滤。实验结果表明,该算法在减少磁盘空间开销的同时,有效提高了算法的查询效率,将查询开销减少了81%。 (2)针对已有的k近邻查询算法缺乏对时间邻近性的支持且查询性能低效的问题,本文提出了一种针对时空信息的时空k近邻算法STk NNQ。该算法对时空约束条件做出了定义,能够综合考虑时间因素和空间因素来计算时空邻近度,并基于全局索引提出了时空数据分区策略。本文还提出了一个自适应的迭代范围优化策略,能够根据用户给出的查询时间范围,优化算法的迭代范围,避免查询不相关的数据块带来的时间成本。实验结果表明,本文提出的算法能够提高对时空数据的查询效率,缩短了35.6%的响应时间,能够满足用户高效性和精确性的查询需求。

关键词： 车载毫米波雷达   雷达信号处理   航迹追踪   GPU   并行计算  

摘要： 近年来,随着自动驾驶技术的不断发展,高性能的车载传感器成为不可或缺的研究方向。其中,车载毫米波雷达,具备全天候全天时的工作能力,即使在雨雪大雾等恶劣环境下,仍旧能保持稳定的性能,且具有体积小、高集成、成本低等优点,已成为汽车自动驾驶系统的核心传感器之一。因此,基于车载毫米波雷达,研究在复杂路况环境下对目标的高精度高效率的检测技术具有重要的实际意义。基于GPU的CUDA并行计算程序,为雷达信号处理算法提供了新方法。本文以线性调频连续波(Linear Frequency Modulated Continuous Wave)为基础,分析了毫米波雷达测速测距测角等目标检测方法,以及通过GPU并行计算对其进行效率优化的方案,并研究了对检测结果进行航迹追踪的算法,为车载毫米波雷达的工程应用提供了一个可行的解决方案。论文的主要工作如下:1.本文首先介绍了LFMCW的信号模型,以及基于该信号的测距测速测角原理。接着研究了基于LFMCW的MIMO体制雷达的信号处理算法,包括距离、速度、角度三维的FFT和二维恒虚警检测(2D-CFAR)的处理模型和步骤,以及通道校正和多普勒相位补偿等MIMO雷达信号处理过程中所需的特殊处理步骤。2.研究了信号检测之后的数据处理方法,包括对目标的状态预测,与新点迹的关联方法,管理航迹的起始与终结等。3.出于车载毫米波雷达对实时性的要求,分析了雷达信号处理算法的各个模块,并分别实现了基于GPU的并行计算方法,包括通道校正、距离维FFT、速度维FFT、多普勒补偿、角度维FFT、2D-CFAR、峰值检测等模块,并对其准确性与加速效果进行了评估,证明了本文的方法足以满足实际毫米波雷达系统的实时性要求。

关键词： BERT   热线平台   数据处理   文本分类  

摘要： “12345政务服务热线”是各地人民政府设立的社会监督平台。近年来,随着各地政务热线案件数量的快速增长,平台人工处理的压力随之增大,案件分类错误、案件派单错误等导致的处理效率降低。案件分类工作对工作人员的专业性要求非常高,仅仅使用特定的关键词对案件进行类别检索的传统方法已无法适应当前工作要求。如何利用当前先进的文本处理技术,智能化对案件进行精准的分类,提高工作效率,成为一个值得研究的话题。针对以上问题,提出了基于BERT的热线平台案件自动分类模型,该模型可以对话务员记录的案件进行自动分类,大大缓解了分类工作人员的压力,减少了分类错误和派单错误情况。主要研究内容如下:1、政务热线文本数据预处理的实现。对数据的深入分析,寻找数据的联系性,研究出文本数据的处理方法。完成了对政务热线案件文本案件去重,关键词初筛,去停用词和非关键词,划分不平衡数据集和平衡数据集,tokenizer分词文本表示等工作。并且对政务热线案件中存在无案件类别、案件数量少类别、案件数量不平衡等情况,本文都对其做了相应的处理。2、基于BERT模型政务热线案件文本分类模型的实现。对自然语言处理中文本分类做了深入的研究,并且基于BERT模型和多分类算法,利用Py Torch架构,设计并实现了对政务热线案件文本的分类,利用相关的优化算法对分类模型进行优化调优。最后与当前热门的文本分类做对比,其准确率都有一个相应的提升。3、基于微服务的热线平台案件分类与派发功能设计与实现。BERT的文本分类模型结合Flask Api接口技术将案件分类与派发、案件模型迭代等功能做成微服务接口,整合进“12345政务服务热线”。将微服务功能测试和压力测试,确保其稳定性。通过以上的研究,构建了适用热线平台案件的基于BERT文本分类模型以及对应微服务。通过测试表明,该服务可以有效提升案件分类和派发工作的效率,降低人工成本。

关键词： 农业数据   监管模型   分析系统   数据处理  

摘要： 我国作为农业大国,近些年,在大力发展农业信息化、数字农业等智慧农业建设方面取得了一定的进步。搭乘信息化网络的“快车”,农产品物联网发展迅速,也积累了大量的农业大数据。因此,便需要建立科学的监管平台,来保障农产品的食品安全,为绿色农业建设铺垫“道路”。借助农业信息化平台、农业物联网平台,可以获取到大量的农业生产数据、农产品制作及销售数据等大数据信息,合理利用这些大数据信息,融合大数据的处理分析模型,以数据作为科学监管的驱动力,保障科学监管平台健全发展。 本文的研究主要从监管模型设计出发,分析了追溯模型和分析模型的设计思想。在追溯模型的设计中,以FP-Growth算法作为指导,设计了追溯关联模型。对于分析模型的设计,本文主要从三个角度出发,分别设计实现了单项指数模型、综合指数模型以及Nemerow指数模型,从理论上验证了模型的可行性。同时,在农业大数据处理方面,本文介绍了大数据处理与分析技术,以及数据编码规则等。也通过介绍科学数据的理论知识,从科学数据的角度出发,重点分析了科学数据下数据的科学监管的影响因素。最后,通过前文的工作,设计实现了农业大数据的科学监管分析系统的部分功能,该系统具有对农产品物联网数据的收集以及全流程跟踪,并且融入了分析监管模型,针对实时变化的数据进行实时分析,从而达到农业大数据的科学监管的目的。 本文的工作具体包括以下几个部分: (1)科学监管模型的研究。包括追溯模型的数据跟踪,以及基于农业大数据的分析模型。跟踪模型实现数据跟踪,对农产品的质量安全追溯起着重要的作用。分析模型实现数据分析,对农产品的安全监管、风险预警有着重要的实时作用。 (2)数据的处理与监管影响因素模型的研究。分析了农业大数据的采集与处理技术,由于农业大数据复杂性比较强,设计了基于农业大数据特有的编码方式。在监管影响因素模型方面,通过分析得出基于七个主范畴的影响因素模型。 (3)农业大数据科学监管分析系统的设计与实现。设计了具有5个子系统功能的监管分析系统,分别包括:数据采集子系统、生产监管子系统、政府监管子系统、分析决策子系统、信息查询子系统。 本文通过详细的工作阐述,主要针对农业大数据的复杂性特点进行了研究,根据对农业大数据的研究,实现了基于农业大数据的科学监管分析系统平台。