关键词： 弹幕   文本可视化   视频分析   情感分析   数据处理  

摘要： 近年来,弹幕文化盛行,对数量庞大的弹幕数据的分析研究如雨后春笋般兴起。作为一种在线视频评论设计,弹幕具有两个维度的时间属性,而且包含大量有价值的信息,如评论者的情感、态度和观点。随着时间的推移,弹幕数据量不断增加,信息更具代表性和全面性。然而,从大量弹幕中提取有价值的、有代表性的信息是一项具有挑战性的任务。因此,本文设计一个交互式的可视化框架,来可视化弹幕的情感和观点,用以辅助分析视频内容及其影响力。本文主要研究内容如下。首先,对弹幕数据进行预处理,并从多个维度对数据进行统计以便于可视分析。针对幕文本过短、含有网络新词过多、即时性强、变化迅速等特点,采用多维情感词典方法对文本字段进行情感值计算并分类,利用可视化结果不断修正拓展情感词典,以提高情感分析的准确度。其次,依据弹幕文化特性以及弹幕具有的双时间维度属性,选择文本内容可视分析方法对弹幕数据进行可视分析。可视化框架从弹幕句在时间上的分布演变、关键词在视频中的情感分布、弹幕评论者间的对比分析以及弹幕主题句的分布这四个角度对弹幕信息进行可视分析,并提供视频视图辅助用户推断弹幕中蕴含的信息。再次,面向数据集平台的不同类型的视频,对数据处理和可视化呈现进行一定的规则限制以实现对不同视频时长的弹性处理;考虑到视频会源源不断地产生,以及同一视频的弹幕量在不断变化、增加,实现系统对视频弹幕的实时处理功能有助于提升系统的实用性与便捷性。最后,本文选取系统支持的电影、短视频两类视频分别进行案例分析,探索其蕴含的相关知识并揭示弹幕亚文化现象。另外,两类用户被邀请参与系统评估,验证系统的有效性和应用的广泛性,并提出该系统未来的改进方向。

摘要： 项目概况进入21世纪后,由于国内外市场对能源需求量的增加,人们对地震勘探提出了更高的要求。地震勘探开始进入以往被认为禁区的复杂地表区域,如山地、黄土塬以及冻土带。在该类地区地震资料处理的最大问题是静校正问题,常规的方法难以解决。PSGSEIS地震勘探数据处理与成像系统可以大大提高地震数据成像的质量,从而提高解释精度和准确度,并显著提高井位部署成功率,这使其对常规二维/三维地震数据处理解释技术产生了不可逆转的替代性。

摘要： 2021年10月8日，全国信息安全标准化技术委员会发布了我国首个汽车数据安全技术文件TC260-001《汽车采集数据处理安全指南》（以下简称：《指南》），《指南》规定了汽车制造商对汽车采集数据的传输、存储和出境等处理活动的安全要求，为汽车制造商开展汽车的设计、生产、销售、使用、运维提供数据保护实施规范，同时也为主管监管部门、

关键词： 云检测   数据处理   融合算法   地表类型  

摘要： Landsat8陆地成像仪(Operational Land Imager,OLI)与该系列前期的传感器相比，在波段设置上进行了进一步的优化，数据的应用范围和信息提取能力得到进一步的扩大和增强，但云的存在降低了卫星数据的使用效率和质量，为了高精度、高效率地识别有云像元，针对Landsat8OLI传感器先后发展了多种云检测方法。这些方法从不同地表背景以及多种类型的云特点考虑，分别采用不同的处理方法以提高云检测的精度，这些方法在具有各自的检测优势的同时，也存在一定的不足。因此，通过算法融合获取更高精度、更稳定的云检测结果是十分必要的。本文基于对各算法的综合分析，提出一种多算法联合使用的云检测融合算法。主要工作内容如下:　　(1)针对不同云检测方法本身存在的不确定性问题，为实现各方法的优势互补，本文基于云检测精度反馈研究了五种云检测算法的融合方法。本研究使用Landsat8生物群落云量评估数据集作为实验数据，利用五种算法云检测结果与人工云掩膜产品计算Kappa系数，以评价云检测结果与真实云图的一致性。依据Kappa系数分配不同算法权重，构建适用于不同地表背景的融合算法。　　(2)针对部分算法依赖先验数据为待检测像元提供地表信息，而先验数据和待检测数据存在的地表信息差异直接影响云检测精度的问题，提出基于植被覆盖指标的云检测算法融合技术。地表反射的变化有多种因素导致，大部分因素可以通过植被指数来直接或者间接表达，因此，使用归一化植被指数方法融合多类型云检测算法可以有效评价地表反射信息变化对云检测的影响。依据待检测影像相邻时相的无云影像，获取待检测区域真实地表的植被覆盖情况，基于植被覆盖指标赋予不同地表类型相应的权重，逐像元构建动态阈值云检测模型，从而降低地表变化对云检测结果的影响。　　(3)为验证融合算法的有效性，针对不同的地表类型和不同的云特征开展云检测实验。基于目视解译结果和云像元正确率、精确率、召回率、F1分数、Kappa系数及整体精度标准差等评价指标对云检测结果进行评价，最后将两种融合算法进行对比分析。结果表明，相比单一算法，本文提出的融合算法在不同地表环境中云检测表现出色，精度和稳定性均有很大的提升。在水体和湿地上方，单一算法的Kappa系数最高为0.90，而融合算法检测结果与真实影像云覆盖情况的一致性高达0.95。在草地、耕地及森林上方，融合算法云像元准确率高达98.45％。

关键词： 潜力预测评价   指标体系   数据处理   神经网络   软件设计  

摘要： 如今数字化油田飞速发展,油田数据库积累了丰富的生产、工况数据,与传统的研究方法相比,数据驱动方法可对油田数据进行实时分析,挖掘其潜在规律,并结合实际生产及时准确的给出决策建议,提高油井管理的时效性。抽油机系统是油田从事日常生产应用最为广泛的装备,大部分油田开发进入中后期,抽油机井的系统效率平均26%-35%,因此抽油机井的生产、节能潜力巨大,潜力挖掘和降本增效成为共识。本文从数据驱动的角度出发,以抽油机井为研究对象,主要对抽油机生产、节能、增产潜力进行预测评价。 面对大量油井生产数据样本,数据的质量是数据分析的基础也是关键。本文首先开展了数据处理方法研究,针对冗余、异常、数据缺失等数据问题确定相应的处理方法,包括样本选择、异常值检测、缺失值处理以及数据归一化,并结合实际数据验证算法的有效性和准确率。其次,对抽油机井潜力评价方法进行研究,从生产、节能、措施增产三方面确定评价指标,给出定量的计算方法,结合影响因素分析和相关性分析建立指标集,通过MDI特征选择建立评价指标体系。利用LSTM神经网络和双尺度贝叶斯方法建立指标预测评价模型,并对模型进行训练优化,结合样本数据验证模型准确率,得到平均相对误差为4.2%,证明了以上模型的实用性,进一步通过产液量、系统效率、增油量对抽油机井进行单指标潜力预测评价。最后建立多指标综合评价模型对抽油机井潜力进行综合评价。 最终,以Python为编程语言,以PyCharm为开发工具平台,在客户端(Client)-服务器(Server)模式基础上对“抽油机井潜力预测评价系统”进行开发,并对油田实际抽油机井进行实例分析,验证了所建模型的识别准确性及本系统的适用性。为油田机采系统生产管理及潜力挖掘提供了可靠的数据来源和科学依据。

关键词： 任意波形发生器   数据处理模块   采样率转换技术   幅频校正技术  

摘要： 任意波形发生器（AWG）可以生成多种标准波形和用户自定义任意波形,其核心技术主要是直接数字频率合成（DDFS）和直接数字波形合成（DDWS）。DDWS中采样时钟频率往往以微小步进变化达到高频率分辨率要求,但也会造成输出镜像频率位置不固定,难以用截止频率固定的低通滤波器将其滤除;此外,DDFS和DDWS中DAC零阶保持特性以及模拟通道非线性也会对输出信号幅度平坦度造成影响。因此,本文以800MSPS任意波形发生器为研究对象,针对DDWS引入的镜像频率位置不固定问题,研究基于采样率转换的DDWS技术,针对DDFS和DDWS引入的幅度不平坦问题,研究基于幅频校正的DDFS/DDWS技术,完成800MSPS采样率下数据处理模块的设计与实现。主要工作如下:1、数据产生和数模转换接口模块设计与实现。为使标准波达到同类波形的频率捷变,采用基于DDFS的4并行存储器方式在800MSPS采样率下产生标准波数据;为使任意波达到256M点的深存储要求,采用DDWS,通过AXI DMA IP核控制DDR3 SDRAM的读取生成任意波数据。将上述生成的波形数据经过数据映射处理后,通过JESD204B IP核送给DAC进行数模转换得到模拟波形信号。2、采样率转换模块设计与实现。针对DDWS引入的镜像频率位置不固定问题,研究基于Farrow结构滤波器的采样率转换技术。为实现5SPS～800MSPS到800MSPS采样率的转换,采用4并行Farrow结构并分析其时间参数求解方式。通过对指标和误差的分析,选择合适的滤波器系数。最后利用移位寄存、多相滤波、时间参数处理、滤波结果处理和多项式计算五个模块对其进行逻辑实现。3、幅频校正模块设计与实现。针对DDFS和DDWS引入的幅度不平坦问题,研究基于FIR滤波器的幅频校正技术。为在资源消耗尽可能少的情况下达到800MSPS采样率,采用基于改进的快速FIR算法（FFA）的4并行FIR结构。通过对指标和误差的分析,选择合适的滤波器阶数。最后利用数据缩放、数据预处理、滤波、数据后处理和数据还原五个模块对其进行逻辑实现。测试结果表明,设计的AWG能够输出最高频率80MHz的标准/任意波;不仅能将采样率由5SPS～800MSPS转换到800MSPS,还能校正由DAC和模拟通道引起的幅频失真。输出频率小于1MHz时无杂散动态范围大于72d Bc,校正后在DC～80MHz内幅度平坦度小于0.4d B,与NI公司PXIe-5433相关技术指标相当。

关键词： GNSS   流存储   Pravega   异常检测   孤立森林  

摘要： 随着中国自主建设的北斗三号全球卫星导航系统成功实现全球组网部署,我国成为了世界上第三个建成全球卫星导航系统的国家,而且北斗系统在导航精度、授时精度等各方面指标均达到世界一流水平。得益于北斗系统的高性能,北斗系统在各个行业都得到广泛的应用。因此对卫星导航授时的数据管理问题进行研究分析具备着重要的意义。本论文来源于某研究所某项目,在园区运营过程中,需要对转发式卫星导航试验系统的数据进行汇总管理,并对其分析处理,最终由数据管理系统将其展示出来,同时需要为其他系统提供数据服务以及完成对其他系统工作数据进行监测的任务,实现实时告警功能。但传统的数据管理方式在当前新型环境下,来自项目复杂度的压力愈发凸显,尤其是不断增长的数据源以及急速增加的业务需求。因此在卫星授时领域的数据管理中,如何解决所面临的数据处理时延长、响应缓慢以及海量数据存储压力的问题已成为一大挑战。为了解决上述所面临的困难,本文设计并实现了一种支持多并发的数据管理架构,该架构中使用Netty框架保证数据采集的可靠性与高性能,使用Flink计算引擎来应对流数据处理的实时性问题,采用分布式存储组件Pravega来解决海量数据的存储压力问题。根据当前的项目背景以及技术架构的特点,本文主要完成以下内容:(1)对GNSS流数据处理系统开展了系统需求分析,阐述用户与系统之间的交互流程、系统和外部系统间的数据传输过程、系统的可视化前端设计以及系统在实际工作场景下所需的非功能性需求,并依据分布式思想对系统的应用软件结构和技术方案进行工程设计,完成了系统部分服务间基于Web Socket的系统通信数据交互方案的设计工作。(2)针对数据采集所面临的延时等问题,基于Netty框架开发系统服务端与解码链,实现多端口自定义协议的数据接收与解析工作,并通过优化相关参数来降低系统资源使用率。针对数据处理阶段的实时性问题,通过对多种异常检测方式的性能比对,设计基于孤立森林IForest算法的异常检测方案并Flink计算引擎对数据处理的异常检测部分进行并行化处理,从而压缩处理时延。针对大量数据的存储压力问题,采用Pravega实现系统的存储层结构,对多种二进制序列化协议的性能测试,采用Proto Buf协议对数据进行二进制序列化压缩处理,降低大量数据的存储占用。(3)对系统的各个模块进行实现,并对系统进行环境部署,同时针对系统中的各个功能编写测试用例,并进行性能检测,验证系统的功能性与非功能性需求,其中测试结果表明系统的各项功能和性能指标均达到预期目标需求。

关键词： 注意力机制   非线性时间序列   长短期记忆门   预训练   数据处理  

摘要： 时间序列是指将事物按照其发生的时间顺序进行排列的数列。它通常是以某一固定采样率对一段时间内的潜在过程进行观测的结果。时间序列数据本质上可以反映出一个或一组随机变量的变化运动趋势。通过对时间序列反s映出的趋势的挖掘、分析和研究我们就可以把握对应事物的发展规律,可以对事物有更深入的了解,也可以更好的预测事物未来的发展进而做到因势利导,趋利避害。时间序列预测的应用范围十分广阔,在传染病防治、交通运输、经济、金融等领域都有广泛的应用。常用的时间序列预测方法有传统统计学方法,机器学习方法和深度学习方法三类。三种方法各有其适用的应用场景,也各有其性能瓶颈。对于以金融时间序列为代表的一些高维度、高噪声、非平稳时间序列,在计算速度和特征提取能力上深度学习方法更占优势,而且使用深度学习模型进行金融时间序列预测对研究人员的金融学知识储备要求较低,不需要进行复杂的特征工程。但是深度学习模型随着模型层数的加深,对时间序列整体结构与内部规律从宏观层面的提取能力加强的同时在局部特征规律层面的提取能力会变弱。往往深度学习模型不能兼顾整体与局部特征的提取。因此本文针对高特征维度高噪声的时间序列的降维降噪问题和深度学习模型无法兼顾整体与局部特征的问题提出了一种时空整合的数据处理方法,以及一种基于注意力机制的预训练长短期记忆门模型用以实现对高特征维度高噪声数据的降维和降噪,加强模型对整体局部特征提取的兼顾能力,提高时间序列预测模型的预测精度。本文的主要工作可以概述为: 1、设计了一种时空整合的数据处理方式,分别在时间维度和空间维度整合时间序列数据的特征。时间维度上根据年、季、月、周的时间阶段整合时间序列特征的变化趋势,并保持趋势之间的连接性和连续性。在空间维度用总体趋势校准不同局部趋势的分布方差差异,实现对时间序列特征的有效降维和降噪。本文实验数据集选用高特征维度高噪声的金融数据,收集了2016到2022年的180个股票指数数据,其中大盘指数12个,一级行业指数34个,二级行业指数134个。通过对金融数据集进行对比实验,发现该数据处理方式可以将预测精度提高25%左右,使用该数据处理方式的三组实验最终预测准确率都在80%以上。 2、设计了一个基于注意力机制和预训练机制的长短期记忆门神经网络,以预训练的方式保证对局部趋势特征提取和整合的可信度,提高了模型对整体和局部特征的兼顾能力。同时通过注意力机制提高模型对于各个局部特征之间相关性的挖掘与分析。通过对金融数据集进行消融实验,发现预训练机制可以将预测精度提高近2个百分点,注意力机制可以将精度提高近3个百分点。