关键词： 网页去重   数据处理   Simhash   卷积神经网络   技术博客  

摘要： 自从进入大数据信息时代,数据和网页每日都在海量增加,其中存在大量重复的内容,这些内容不但耗费了大量计算资源,也严重影响了信息的传播效率。因此相似性网页去重已经成为国内外的一个重要研究课题。本文将传统的文本去重算法Simhash结合卷积神经网络(CNN:Convolution Neural Network)模型对网页文本进行高精度去重,主要的研究工作如下:针对经典Simhash算法在中文文本的去重应用中存在精度和效率低的问题,在计算文本特征权值阶段,选择一个全新的分词工具,并基于特征词的词性和词长改进了TF-IDF算法;在签名值检索阶段,针对检索过程中哈希值排布不均匀的情况,对签名值进行第二次哈希操作使哈希值排布均匀,提高检索准确率;在文本距离计算阶段,针对大量网页文本汉明距离计算量过大的情况,通过引入文章内容和摘要内容改进了计算过程,提升了算法效率。针对目前CNN文本相似度检测模型获取文本特征不完整和缺少文本交互的缺点,通过引入词向量模型Word2Vec和句向量模型Doc2Vec,并将两种模型分别交互运算作为CNN模型的特征输入,使模型可以同时在单词和句子两种粒度上进行相似度学习,在学习过程中能够获取更完整的文本特征并增加了文本之间的交互;选择小批量梯度下降法来训练模型,并优化了训练流程,加快了训练模型的速度。根据改进的Simhash算法、改进的CNN文本相似度算法进行网页文本去重,使用网页分数计算方法对去重之后的网页文本进行评分,并依据网页分数将其排序。根据实际需求应用于博客园网页去重,通过实验验证,该算法在技术博客网页去重领域有实际意义。

关键词： 大地电磁法   阵列电磁法   独立成分分析   噪声   数据处理  

摘要： 数据处理是保障大地电磁法观测质量的主要手段。当前大地电磁数据处理方法多采用单站处理,该方法难以适应实际的多场源混合噪声环境,强干扰区获得的阻抗响应往往与真实地电结构存在偏差,造成错误解释。阵列电磁法通过处理多个同步测站,挖掘相关信号、压制不相关噪声,可有效提取地电信息。当噪声占主导成分时,基于主成分分析的常规阵列电磁数据处理算法在提取天然场成分时会与噪声相混合,难以取得理想处理结果。独立成分分析算法更适于处理复杂信噪混合条件,为了更好地提取天然场源成分,分离不同场源信息,本文提出了基于独立成分分析的阵列大地电磁数据处理算法。首先,介绍了基于独立成分分析的阵列大地电磁数据处理算法的基本原理,描述了处理算法的基本模型,阐述了数据处理的方案与流程。然后,通过仿真实验进行了算法的论证与测试,对比了不同噪声占比、不同阵列规模、参考站数据质量等参数对处理效果的影响,进而通过向高质量数据中添加模拟和实测噪声进行了不同类型噪声的处理,并与常规算法进行了对比。最后,开展了应用案例研究,分别以典型音频大地电磁与宽频大地电磁实测数据为例,对分离成分的时间序列、与参考站的相关性和时频谱进行了分析,说明了信噪分离与信号重构的有效性,对比了不同算法的处理效果。仿真数据处理结果表明,本文算法可以处理长时间的噪声干扰,能够分离出不同测站受到的不同噪声干扰与天然场源。当测站受到强噪声干扰时,本文算法能获得优于单站稳健估计的效果。当远参考站受到相关噪声干扰时,远参考法无法得到可靠的阻抗响应,本文算法可以分离相关噪声和天然场源,压制相关噪声,还原真实阻抗。当观测数据中噪声成分占主导时,本文算法能获得优于常规阵列电磁数据处理算法的结果。实测数据处理结果表明,本文算法有效分离了音频大地电磁和宽频大地电磁中的信号与人文噪声,提升了重构信号的信噪比,矫正了阻抗响应在“死频带”存在的畸变。

关键词： 网络栈   存储栈   持久性内存   内存管理   I/O性能优化  

摘要： 在互联网与大数据的时代,网络与存储常常处于密不可分的应用场景中。从直接面向终端消费者的云盘、视频社交媒体平台,到数据中心内部的分布式对象存储、块存储和文件系统服务,将网络数据进行存储,亦或将存储的数据发送到网络,这样的应用场景可谓无处不在。在此应用场景下,日益增长的用户数量、数据规模以及服务质量要求推动着网络与存储硬件性能的不断提升。尤其是持久性内存的出现,将存储设备的访存性能提升到了可与主存相比的水准。然而将网络数据进行存储的过程中,还存在着软件开销。数据依次经过网卡驱动、内核网络栈、用户态缓存、内核存储栈和存储设备驱动,这些环节都由软件处理。这条I/O路径很长,且存在多次中断处理、系统调用、数据拷贝开销,带来的延迟可能高达数十μs,相较于新型网络与存储设备不到10μs级别的延迟,已成为新的性能瓶颈。针对这个问题,虽然目前已有许多研究,并提出了包括内核旁路、硬件卸载、内核存储栈优化等多种优化方案。但是这些方案未能将网络栈与存储栈融合为一个整体进行优化,未能充分发挥持久性内存对于双栈融合的关键性作用,同时在CPU资源消耗、易用性、灵活性和扩展性等方面也存在进一步改善的空间。为了改善现有优化方案的上述问题,本文提出了一种工作于内核态的双栈融合高性能数据处理框架Fusion Stk。该框架利用持久性内存将网络栈和存储栈缓存合二为一,实现了双栈整体优化。在此基础上,该框架允许用户将延迟敏感的关键路径操作卸载到处理网络数据包的软中断上下文中,在方便地利用内核现有基础设施的同时,最大程度缩短I/O路径,降低操作延迟。然而,持久性内存的引入让Fusion Stk的内存管理在编程模型、故障一致性保证、分配释放操作性能等方面面临新的挑战。为此本文还提出了一种新的持久性内存堆管理方案Fusion PM,能够在不改变当前内核内存管理相关接口,不降低内存分配释放操作性能的前提下,保证持久性内存管理的故障一致性。最后,本文基于该框架实现了一个高性能块存储服务应用原型Fusion Blk,并与基于传统网络栈和存储栈的实现进行了性能对比测试和结果分析。测试结果显示Fusion Blk的随机写操作的平均软件处理延迟为16.584μs,远低于传统实现的51.542μs,并且随机写带宽可达到测试环境下网卡接收带宽上限。

关键词： 微震   小波阈值降噪   改进HHT   能量比值法   上位机  

摘要： 微震信号在地震监测、油气勘探等领域具有重要的应用价值。然而,由于微震信号经常受到噪音的干扰,其时频分析的准确性和可靠性存在一定的挑战。因此,本文提出了一个种改进的希尔伯特黄算法(Hilbert-Huang Transform,HHT),以提供高微震信号的时频分析效果。改进的HHT算法首先采用小波阈值降噪对原始微震号进行预处理。该方法使用小波变换将信号解析为不同尺寸的分量,并通过设置合适的阈值去除掉很小的分量,从而增强信号的质量和清晰度。接下来,利用改进的HHT算法对预处理后的信号进行时频分析。HHT算法通过将信号解析为一组本征模态函数(Intrinsic Mode Function,IMF)并计算其瞬时频率来获取信号的时频特性。然而,由于噪音的存在,传统的HHT算法在微震信号分析中可能存在错误。为此,本文引入了能量比值的方法来识别并消除虚假分量,从而提高了时频分析的准确性。为了验证改进的HHT算法的有效性和实用性,本文还设计并实现了一个基于Qt的上位机软件。该软件用于接收和处理微震信号,并集成了改进的HHT算法作为信号处理的核心。通过该软件,研究人员可以方便地获取和分析微震信息,并获得更准确的时频特性。实验结果表明,使用改进的HHT算法进行微震信号的时频分析可以有效地提供高信号的清晰度和分辨率。与传统的HHT算法法相比较,应该改进算法能够准确认识和剔除虚拟假分量,提供更准确的时频特性分析结果。同时,设计的上位机软件为微震信息的获取和处理提供了便捷的工具。综上所述,本文提出了一种改进的HHT算法,并设计了一个基于Qt的上位机软件用于微震信号的接收和处理。过小波阈值降噪和能量比值识别虚拟假分量的方法,提高了微震信号的时频分析结果。实验结果表明,该算法在提高信号质量上具有良好的性能,为微震信号的应用和研究提供了有价值的工具和方法。

摘要： 信息时代深刻地影响着高中信息技术教学。项目式教学是由教师指导学生基于学习项目，通过调查问题、解决问题逐渐构建完善知识体系的一种教学方式，关注学科核心素养培养以及现实世界的探究活动。课堂任务活动化、任务项目化成为目前教育发展的新趋势，受到越来越多教育者的青睐。笔者以沪科教版必修1“数据处理与应用”单元为例，总结数字化学习资源在项目式学习中的具体应用，期望为广大教师提供参考借鉴。

关键词： 质谱   数据处理   Savitzky-Golay   自动分段校正算法   Levenberg-Marquardt算法  

摘要： 质谱分析中对于待测物质定性定量的主要依据便是质谱图。谱图信号的数据由待测样品经过离子源电离、质量分析器选择、检测器收集与信号板处理等过程产生,容易受到射频信号干扰,以及电离离子在检测器中会产生空间质量效应等因素的影响,从而影响质谱分析结果,因此质谱数据处理的性能和方法直接影响了质谱分析结果的准确性。通过数据处理算法对数据进行优化处理,是发挥仪器性能,提升质谱仪精准度的重要步骤。 本文将质谱技术与计算方法相结合,利用不同算法对质量轴精度软件校正技术进行研究。首先针对质谱信号的噪声问题,基于Savitzky-Golay平滑算法进行了改进,对S-G滤波窗口进行了自动调节处理,实现了对质谱数据更好的平滑预处理;针对质谱仪质量校正分段校正模式中手动分段效率低的问题,本研究在手动校正的基础上设计了一种自动分段校正算法,以提高校正精度及方便人员快速操作。算法利用逐点拟合来判断分段区间是否符合要求并确定各分段区间,同时使质量轴自动分段以减少各检查点的质量偏差;其次针对离子阱质谱仪离散数据点描绘质谱峰时,峰形参数采集偏差的问题,基于Levenberg-Marquardt算法对现有质谱峰进行高斯拟合处理,以降低质谱峰参数的相对标准偏差(RSD);最后对数据处理过程中遇到的因分辨率不足导致的重叠峰问题进行了研究,引入了Fourier自去卷积算法及分辨率增强算法结合Levenberg-Marquardt算法分别对模拟合成信号进行了子峰识别运算,成功分离了各子峰并分别获得各子峰的峰形参数,对样品的定量分析提供了更加有效的手段。 系统实际测试表明,本文算法可对信号中的随机噪声进行有效抑制,提高信噪比,最终提高仪器测量精度,校正效率及测量精度,降低了人员操作难度。

ISBN: (纸本)9787111718345

ISBN: (纸本)9787510346705

关键词： 四极杆质谱仪器   数据处理   软件开发   CAN通信   校正算法  

摘要： 四极杆质谱具有灵敏度高、特异性好、分析速度快等特点,本文以实验室研发的电感耦合等离子体质谱(ICP-MS)作为实验平台,对数据去噪、基线校正、谱峰识别、仪器校正以及控制软件的开发进行了研究,结合课题需要,设计并实现了ICP-MS的上位机软件。本文对质谱软件的去噪算法、基线校正算法及谱峰识别算法进行了研究。针对ICP-MS信号的噪声问题,对小波阈值去噪算法的阈值、小波基和分解层数进行了优化,经比较验证,优化后的算法具有较好的去噪性能。针对检测信号的漂移问题,基于形态学滤波,实现了White Top-hat filter基线校正算法,经比较验证,该算法可以很好地去除质谱信号中的漂移。针对如何将峰与背景分离,提取其关键特征的问题,设计实现了基于信噪比的局部极大值谱峰识别算法,该算法能够有效地识别质谱峰并排除偶然噪声引起的误差。针对质谱仪器质量轴漂移和分辨率变化的问题,通过研究四极场及马修方程,提出了一种通过调节校正参数,间接调整四极杆RF、DC扫描电压,从而实现质量轴分辨率校正的方法。该方法以扫描过程中谱峰识别算法所获得的质量轴误差与10%峰宽作为判断条件,对校正参数进行循环微调,直到质量轴误差处在±0.1amu范围内,10%峰宽处在0.65～0.80 amu范围内;针对质谱仪器双模式检测器的脉冲、模拟校准曲线各具线性但不衔接的问题,提出了一种检测器交叉校正的方法,该方法在扫描中获取元素的P/A因子,并基于贝叶斯信息准则选择拟合阶数对P/A因子进行曲线拟合,未校正元素的P/A因子从拟合曲线上取值。结果表明,这两种校正方法有助于优化四极杆质谱仪器的性能,提高测量的准确性和稳定性。基于前期工作及本文的研究成果,设计并完成了软件的开发工作。该上位机软件具有参数设置与状态监测、扫描与谱图绘制、校正、存储等功能,并通过测试验证了该软件满足仪器的应用需求,具有良好的稳定性和可拓展性。

关键词： 帕金森病   帕金森诊断框架   数据处理   异常检测   活动组合及分类算法  

摘要： 研究表明，帕金森病（PD）的患者数已经高达500万人。随着物联网等硬件技术的发展，可穿戴式传感器技术为帕金森疾病的研究带来了新的研究方向。然而，从本文的研究中发现，基于可穿戴智能的帕金森疾病研究仍然面临众多挑战。由于帕金森病患者大多处于离院环境，其活动监测涉及到移动物联网中连接的生活记录数据具有精准度低、难标注、高不确定性和复杂的动态环境影响等特点，使得在院环境下的传统帕金森诊断框架无法有效的实现离院检测。因此，针对自由环境下可穿戴智能的帕金森病精准诊断技术存在诸多问题。例如，如何进行数据采集标准化方法的研究（即采集患者的何种活动数据以及如何进行预处理以满足下游任务的需要）？如何通过异常活动检测机制，对异常信号进行筛选并进行处理？如何处理医生所给的粗粒度标签与模型操作使用的细粒度标签所不匹配的问题？此外，由于帕金森病活动数据集的稀缺，针对本研究组采集的帕金森患者数据，哪些活动组合对特定问题的研究更有效？哪些分类算法比较适合？以上问题都为自由环境下可穿戴智能的帕金森病精准诊断技术研究带来了严重阻碍，本研究在三年的时间里，基于可穿戴设备共采集了53名帕金森患者和70名健康人的16种活动数据，并提出帕金森疾病精准诊断的框架，其中包括数据采集标准化方法研究、异常处理算法研究、分类及活动组合算法研究。具体来说，本文工作和贡献如下： (1)提出了一个在自由环境下可穿戴智能的帕金森病疾病精准诊断框架。该框架包括了从数据采集到病情分类的一系列方法研究。提出的框架主要由三大部分组成，包括数据采集及预处理方法研究、异常分析及处理研究、活动组合及病情分类研究。 (2)结合专家建议，本文针对数据采集制定了详细的方案。该方案包括16种活动的设计，这些活动对于后续的任务具有重要意义，并且考虑了动作和传感器规范规则，以确保数据的一致性和可比性。在为期三年的时间里，本研究团队共采集了53名PD患者和70名健康人的16种活动数据。此外，本文还详细描述了数据收集和处理过程。该过程为后续的研究工作提供了可靠的数据基础。这些数据的采集和处理过程的详细描述，使其他研究人员能够理解并重复这些步骤。同时，这也为后续的数据分析和模型构建提供了可靠的输入。 (3)在本文的研究中，发现原始数据存在着不同类别的异常数据导致下游任务的实现存在障碍。本文分析并总结了异常产生的原因，并设计了一个异常处理模块来检测并处理异常，这些异常包括样本异常和标签异常。具体来说，设计了一种聚类方法并结合OCSVM（一类支持向量机）对异常数据进行检测并处理。实验证明，经过本研究增强后的数据较原始数据在分类性能上提升了50%-60%左右。 (4)针对现有研究较少的PD患者与健康人的二分类任务以及PD患者病情严重程度的多分类任务，分别设计了相应的方法实现了这两个下游任务。对于区分PD患者和健康人，本文通过设计一种活动组合方法在精简活动数据类型的同时来有效完成这一分类任务。对于PD患者病情严重程度分类任务，本文利用D-S理论（Dempster-Shafer evidence theory）设计了一种多信息融合方法实现这一任务。实验证明，本文提出的方法/方案能够有效的实现这两个下游任务，为PD病情诊断研究迈出一大步。