关键词： 动态视觉传感器   背景活动噪声去噪   量化评估   脉冲神经网络   跌倒检测  

摘要： 动态视觉传感器(Dynamic Vision Sensor,简称DVS)受生物视觉启发,其像素响应对数光强变化并以异步方式产生事件输出,因此又被称为事件相机。它具备很多传统相机不具有的优势,如低传输延迟(10μs)、低功耗(10 m W)、高动态范围(120d B)和高时间分辨率(1MHz)等。这些特性使得动态视觉传感器在极端光照条件下仍然能够快速响应视觉活动并减少冗余输出,因此在对功耗和延迟有限制的应用领域如智能视频监控上有巨大的优势和应用前景。但是,动态事件传感器在应用上面临着两大挑战。首先,由于现有半导体工艺的限制,DVS也会输出噪声,其中占主导地位的是背景活动噪声。背景活动噪声是在场景中无运动的情况下产生的,因此是非信息性的。背景活动噪声事件会占用不必要的带宽和计算资源,并导致从事件流中提取有意义的信息变得困难。现有去噪算法在高噪声水平下表现不佳。同时,量化评估去噪算法也是一大难题,用户没有一个统一的标准来比较选择去噪算法。另一个挑战来自于其输出的事件数据新范式。对于异步事件流这种新的数据形式,目前还没有形成统一的特征提取算法。为了使用现有基于帧的神经网络算法,需要将事件流转换为事件帧,这将丢掉事件高时间分辨率和低延迟的优势。而脉冲神经网络(Spiking Neural Network,简称SNN)能够直接处理事件,并且具有低功耗的优势。但是SNN在训练和应用精度上还存在挑战。为此,本文针对DVS背景活动噪声去噪、事件流特征提取算法和应用进行事件数据处理关键技术研究。针对事件流去噪,为了能够量化评估去噪算法的性能,本文首先开展了事件数据的标记方法研究,从而提出了一种可配置的评估方法。在此基础上,本文提出了三种低成本和低延迟的事件流去噪算法,并对它们的性能进行了详细评估。针对脉冲神经网络这种特征提取算法,本文提出了一种脉冲神经网络最大池化层实现方法,从而为应用提供更多的SNN结构支持。基于对去噪和特征提取算法的研究,本文针对跌倒检测这种典型DVS动态场景识别应用,提出了一个基于事件流质心轨迹的跌倒检测系统。论文的主要工作和创新点如下:·本文提出了一种可配置的事件流去噪量化评估方法。本文考虑到DVS像素电路的复杂性,通过对低强度和高强度光照下背景活动噪声的详细观察,选择对背景活动噪声的测量特性进行建模,从而可以将模拟噪声添加到干净的DVS记录中获得标记数据,以评估噪声过滤器是否能很好地去除它。该方法允许添加不同噪声率的噪声,突破了先前工作中标记数据只在单一光照条件下有效的局限性。本文首次提出使用AUC-ROC方法来表征去噪性能,以避免先前工作任意选择信号与噪声判别阈值的缺点。·本文提出了三种低成本低延迟的事件流去噪方法。第一种基于哈希函数压缩编码事件信息,从而能够以较低的存储开销滤除密度较低的背景活动噪声。第二种检查当前事件与固定窗口中事件的空间相关性,只需要很小的内存占用就可以在使用固定相机的监控应用程序中有效地滤除大部分噪声并保留大部分信号。第三种是一个轻量的多层感知机分类器,它利用局部时空平面中过去事件的结构线索来进一步增加通过的信号事件数量和降低错误通过的噪声数量。它的计算和存储开销比现有神经网络去噪方法小了10～4倍以上。·本文提出了一种脉冲神经网络最大池化层实现方法。针对SNN中最大池化层实现的挑战,本文提出只使用集成点火神经元来实现最大池化层,比现有方法降低了存储开销,从而降低了SNN实现的空间复杂度。本文讨论了池化窗口的三种输入情况,并分析这三种情况下集成点火神经元的输出特点来说明该方法的可行性。实验结果表明,本文所提出的方法能够使SNN在分类任务上取得和现有方法相似的精度,并且降低了所需的推理时间。·本文提出了一个基于事件流质心轨迹的跌倒检测系统。该系统首先对事件流进行去噪处理,然后通过SNN计算事件流质心并形成质心轨迹,再通过机器学习分类器对质心轨迹进行分类,从而判断事件流中是否包含跌倒动作。为了和现有方法进行对比,本文使用工具将基于帧的标准跌倒检测数据集转换为事件数据形式,并通过注入噪声模拟夜间低光照环境。实验结果表明,该系统在相同数据集上取得了和现有基于深度卷积神经网络的方法相似的精度,且处理速度是现有基于DVS的方法的2倍。高噪声率下系统的检测准确率会下降,而去噪可以避免准确率下降。综上所述,本文针对DVS中的关键去噪问题,背景活动噪声过滤提供了一种新的量化评估方法和三种新的轻量级去噪算法,针对特征提取算法SNN提出了一种新的最大池化层实现方法,并结合去噪算法和SNN为基于事件的跌倒检测应用提供了一种新的解决方案。

关键词： 辐射监测   能谱仿真   半导体探测器   γ能谱分析  

摘要： 受限于谱仪探测器、电子学等硬件固有性能,当前的核辐射监测装备还不能完全胜任复杂辐射场中放射性核素识别及定量分析,完成战场态势快速感知的任务。在能谱分析算法方面,国内外研究人员已开展了大量的研究,并取得较大进展,但在实际应用环境中,不同能谱分析算法的效果具有较大差异,尤其是低计数率条件下,快速准确的核素识别以及定量分析仍是一个难题。基于构建小型化、低功耗、高可靠核辐射监测装备和对核辐射信息进行快速定性和定量分析的需求,本文使用碲锌镉(Cd Zn Te,CZT)和钝化离子注入平面硅(Passivated Implanted Planar Silicon,PIPS)两种半导体探测器构建了γ辐射监测仪(Si-CZTγRadiation Monitor,SCZT-RM),并对SCZT-RM的数据处理技术进行了深入研究,提出了基于模糊概率因子叠加(FPFS)算法的γ能谱定性分析方法和基于自适应邻域粒子群(AN-PSO)算法的γ能谱定量分析方法,为γ辐射信息监测提供了一种有效解决方案。主要研究内容和结论如下:(1)SCZT-RM的设计构建。SCZT-RM采用了CZT、PIPS双半导体探测器组合的形式,充分利用了CZT探测器能谱测量分辨率高以及PIPS探测器剂量率响应线性范围较宽的优势,同时能满足SCZT-RM低功耗、便携性的要求。实验前期通过对两种探测器的性能进行测试,论证了两者组成SCZT-RM的合理性。SCZT-RM的后端电子学部分采用双通道设计:能谱采集模块采用模数混合模式,既增加了采样速率,获得高信噪比信号,又能满足电路简化、功耗低的要求;剂量率采集模块基于专用芯片电路对信号进行处理和计数,可满足电路小型化、低功耗、高可靠性的要求。(2)CZT探测器γ射线能谱响应的仿真研究。通过对CZT探测器理论模型分析,分别使用蒙特卡罗分析程序Geant4和有限元分析软件Comsol对γ射线与探测器相互作用的能量沉积分布、探测器内部电场分布情况进行了模拟,并根据载流子输运规律,采用微分法构建了电荷感应效率模型。基于所构建的模型研究了不同载流子迁移率寿命积及不同偏压对电荷感应效率的影响,并对Am、Ba、Cs、Co四种核素能谱进行模拟,得到的模拟谱与实测谱吻合较好,全谱均方误差小于1%。(3)γ能谱分析算法研究。首先对γ能谱数据平滑算法进行了分析及优化,将基于Birge-Massart策略的小波阈值降噪算法以及基于奇异值分解(Singular Value Decomposition,SVD)的降噪算法应用于γ能谱数据的平滑处理。性能测试表明,两种方法相较于传统的谱平滑算法均具有更好的平滑效果和峰值保持能力。然后对基于模糊概率因子叠加(Fuzzy Probability Factor Superposition,FPFS)算法的γ能谱分析方法进行了研究。使用Am、Ba、Cs、Co、Eu五种核素不同组合、不同计数的实测谱对算法性能进行研究。结果表明,在本文实验条件下算法对不同组合的核素叠加谱都具有良好的识别率,在单个谱测量时间为1s,算法叠加次数15次时,对单核素谱的识别率在98%以上,对多种核素叠加能谱的识别率也在95%以上。此外,核素识别的准确率随着算法叠加次数的增加而大幅提高。该算法可应用到实时核素识别系统中,实现核素识别结果的动态更新。最后对基于自适应邻域粒子群算法(Adaptive neighborhood particle swarm optimization,AN-PSO)的γ能谱定量分析方法进行了研究。测试结果表明,利用该算法对模拟γ能谱进行分析,全谱计数的平均分析误差为2.46%;基于模拟γ能谱样本库,对CZT探测器实测谱进行分析,在对全谱计数与放射性核素活度进行刻度的情况下,活度的平均分析误差为7.82%;并且测试表明,随着全谱计数提高,能谱统计涨落降低,分析误差还可进一步降低。(4)上位机软件设计与实现。上位机软件包括数据采集、数据显示与保存、数据处理等模块。其中数据处理模块为软件的核心内容,主要包括对能谱数据的预处理、基于模糊逻辑算法实现γ能谱数据的实时定性分析、基于改进的粒子群算法实现γ能谱数据的离线定量分析以及剂量率监测等功能。该软件采用Py Qt进行界面开发,并使用Python进行算法功能的实现,具有较好的可移植性可扩展性。综上,本研究构建了基于PIPS和CZT双探测器的SCZT-RM,并综合运用模拟仿真、数据分析以及实验测量等手段,对基于SCZT-RM的能谱分析算法进行了研究。将模糊逻辑以及粒子群算法应用到能谱数据分析中,并通过实验验证了两种算法的效果;使用双对数分段线性拟合法对PIPS探测器剂量率响应进行刻度;最后完成了SCZT-RM上位机软件的开发,为γ辐射监测技术提供了一种有效解决方案,在γ辐射监测领域具有重要应用价

关键词： CODAC   EPICS   脉冲实验   数据处理   数据可视化  

摘要： 自聚变领域内脉冲实验的类型向稳态长脉冲实验发展以来,稳态长脉冲实验模式下的数据获取、传输、存储和可视化等关键环节的处理方式,与实验数据的反馈和实验结果的分析等密切相关。因此,研究稳态长脉冲实验中关键环节的数据处理问题,是保障实验顺利进行和系统稳态运行的关键,对进一步的局部调参和优化,具有十分重要的意义。本文针对稳态长脉冲实验中上述关键环节的数据处理问题,基于国际热核聚变组织所提出的控制、数据访问和通讯(Control,Data Access and Communication,简称CODAC)系统设计理论,结合实际需要,提出基于CODAC的稳态长脉冲数据实时处理系统的设计与实施方案,并实现相应的原型系统。相关系统测试结果表明,依据本设计方案所实现的系统,能够符合实际需要。本文主要开展的研究工作如下:1)以CODAC系统理论为依据,基于物理实验与工业控制系统(Experimental Physics and Industrial Control System,简称EPICS),提出了稳态长脉冲实验模式下的数据实时处理系统分布式设计方案,构建了以“任务处理”、“存储处理”、“交互处理”为核心概念的三层系统设计结构。2)对数据采集子系统的数据处理进行了研究,提出了稳态长脉冲实验异步数据处理方案。并采用双缓冲算法和MMAP技术实现内存间的数据交换,同步完成了系统调试。同时为适应实验发展,考虑到系统的可扩展性与兼容性,基于EPICS提出了设备模型,以统一设备抽象化处理格式,规范后续设备开发流程。3)对服务器控制子系统的设定和功能进行了研究。基于TCP/IP协议,提出了高速采样下的数据传输结构。并考虑到由软硬件异常所可能引发的系统问题和EPICS的存储限制,本文采用了双机热备的服务模式,使其能够在提供数据存储和保障服务的同时,也为系统状态监测和系统远程服务提供软硬件实施平台。4)对中央控制子系统的控制逻辑和数据处理进行了研究。针对实验开展模式的多样化需求,提供了本地与远程两种操作模式,以满足不同客观条件下的数据处理要求;同时考虑到不同操作模式可能带来的并发异常,本文充分分析了系统潜在的并发隐患,并提出了一套合理的并发处理机制,同步完成系统调试运行。

关键词： 数据确权   数据财产权   数据处理   公共数据   数据处理规制  

摘要： 数据财产权益如何界定是一个备受关注的立法难题。关于数据界权的讨论，在其权益构造上歧见丛生，在其权益基础上又含混不清或似是而非。贸然推动数据要素确权立法，可能不利于数据的公平获取使用。基于控制的数据处理，是数字经济和公共管理服务运行的实然状态，它受到合同法、侵权责任法、反不正当竞争法等法律规范的有效调整。无论是否能够妥当进行数据确权，都需要确立一个数据处理秩序，而公法构造不可或缺。这个公法构造是双重的，第一重是数据处理的规制体系，第二重是公共数据的开放利用。数据处理的双重公法构造能够超越数据确权，形成促进数据要素流动和价值分配的秩序构造，提供数字经济和数字政务服务持续发展的法律框架。

关键词： 工控协议安全   协议逆向   数据处理   格式推断   随机采样   数据挖掘  

摘要： 随着5G的发展,物联网智能设备、工控设施已经广泛应用在各个重要领域。然而,近年来工控基础设施安全事件频发,作为基础设施的工控设备成为了攻击者的主要目标,工控安全在国家层面具有极高的战略意义。网络通信协议作为工业控制环境下设备间通信必不可少的要素之一,更是成为了攻击者展开攻击手段的主要对象,工控协议安全逐渐成为了工控和学术界的关注点。协议逆向分析技术是当前协议安全的主要分析手段之一,其通过对目标流量报文进行解析来还原目标协议的设计规范及详细信息,进一步的能够为工控设备提供安全保护。然而,由于工控协议表现出的独特特征,目前的协议逆向分析方案仍然面临着一些问题,如对工控协议的不适用性和效率低下等,使得其未能完全应用于工控场景。因此,如何在不降低逆向解析结果准确性的同时,实现低开销且能适用于工控未知协议的协议逆向方案仍然是当前协议逆向领域广泛研究的热点。本文在对现阶段未知工控协议逆向分析方案现状调研分析的基础上,针对性地做出了以下研究: (1)针对当前逆向分析机制对大容量报文样本存在分析效率低甚至于无法应对的问题,提出一种基于交互式随机采样策略的报文预处理方法HMCRS。该方法首次将随机采样策略运用于协议逆向过程的报文处理阶段,将一次大量的分析过程转变为增量式的多次迭代过程,并在报文采样过程中引入了人工的专家知识经验,很好的结合了专家知识与自动化工具的优势。理论分析与实验结果表明,提出的协议逆向分析方法能够有效提升分析效率,且具有较好的通用适配性。 (2)针对当前基于序列比对方法中存在的巨大时间开销问题,提出一种基于数据挖掘算法的序列比对优化方案IMCSA。该方案通过对数据挖掘算法Apriori的改进提升,实现对流量报文关键词的精确搜索;在此基础上,通过谱聚类算法,实现了对报文序列的精准聚类,为序列比对算法提供了良好的序列比对空间,降低了因无效比对而产生的不必要时间开销。理论分析和实验结果表明,该方案能够有效地提升基于序列比对方法的效率,降低时间开销。 (3)依托随机采样方法、数据挖掘算法、序列比对方法等关键技术,设计并实现了一个未知工控协议逆向分析系统。通过对多种工控物联网协议进行实验分析,表明系统可以有效解析多种未知工控协议。同时通过对比实验,表明了我们的系统具有较低的运行开销,特别适用于工控未知协议的逆向解析。

关键词： 星载激光雷达   光子计数   冰、云及陆地高程卫星2号   光子数据去噪   地面光子提取   地表覆盖分类   四叉树孤立   布料模拟   伪波形  

摘要： 新一代星载光子计数激光雷达极高的仪器灵敏性使其能够获取高分辨率、高精度数据,在大尺度地形测绘、地表覆盖分类中展现出了巨大的应用潜力。然而,星载光子计数激光雷达易受环境和噪声的影响,从获取数据中提取有效信息存在较多困难,影响了其后续应用。因此,本论文围绕星载光子计数激光雷达数据处理的关键技术开展研究,重点针对光子数据去噪、地面光子提取和光子数据地表覆盖分类三个方面进行攻关。论文的主要工作与创新点如下:1.系统归纳了光子数据去噪、地面光子提取和光子数据地表覆盖分类的研究现状,分析指出了地形起伏和地表覆盖等星载光子数据测量环境的变化对精确地形测绘的影响。2.针对光子数据空间分布特点,提出了一种基于四叉树孤立的光子数据去噪算法,设计通过空间四叉树分割来衡量信号与噪声光子孤立的难易程度,并通过最大类间方差法自适应获取了孤立深度阈值,克服了现有去噪算法对光子密度和搜索邻域的依赖,实验结果表明该算法对地表覆盖和地形起伏影响具有更好的鲁棒性,去噪性能显著优于改进DBSCAN算法。3.提出了一种基于地形起伏参数改进的布料模拟地面光子提取算法,设计了一种地形起伏参数替代了原始布料模拟算法中的布料硬度参数,并采用布料破损检测和渐进不规则三角网加密方法,实现了模拟布料自适应于地表起伏,实验结果表明该算法在复杂地形和植被覆盖条件下,地面光子提取结果的准确率和精度均优于传统算法。4.提出了一种基于伪波形的光子数据地表覆盖分类算法,设计构建了一种针对光子数据的归一化伪波形表达方法,可以更加准确地描述不同地表覆盖光子数据的差异,通过多类型地表覆盖的分类实验表明,该算法在裸地、灌木和森林区域光子数据分类中能够取得大幅优于高程特征法的精度。

关键词： 电压暂降   类型辨识   AC-GAN   同源检测   SA   SIFT  

摘要： 准确分析电压暂降监测数据是治理暂降问题的基础。随着江苏电网电压暂降监测系统建设的不断完善,暂降监测数据的存储规模不断增大,如何用好监测数据,准确的提取数据中的特征信息以满足更进一步的应用需求是目前暂降研究领域讨论的热点。基于此,本文以暂降实际监测数据为基础,分别对暂降事件类型辨识及暂降事件同源数据检测两个方面的应用进行了深入探讨和研究,具体工作和创新点体现在:在暂降事件类型辨识方面,针对小样本数据场景,提出了基于图形、时频、统计算法的五个暂降电压数据特征指标,并以此构建了每个暂降样本的特征向量。通过对基于粒子群聚类优化的决策树支持向量机分类器(Decision Tree Support Vector Machine based on Particle Swarm Optimization,PDT-SVM)进行训练,实现了对短路故障、变压器投切、感应电机启动三大类暂降事件的准确辨识。但随着监测范围的扩大,监测对象越来越复杂,监测样本中包含的噪声、谐波、振荡等干扰使得上述基于滑窗思想的一维信号特征提取算法难以准确捕捉暂降事件的特征,严重影响了对暂降类型辨识的正确率。基于此,本文在第二部分引入了基于图像的暂降监测数据处理思想,提出了基于图像分析及改进辅助分类生成对抗网络(Auxiliary Classifier Generative Adversarial Networks,AC-GAN)的暂降事件类型辨识算法。首先,将暂降三相电压数据转换为基于空间矢量(Space Phasor Model,SPM)的二维轨迹图片,在规整了暂降样本数据形式的同时,避免了数据中噪声、谐波、振荡等干扰对特征提取的影响。然后,对AC-GAN进行改进,通过在判别器内融合卷积注意力模块(Convolutional Block Attention Module,CBAM)提高了模型对暂降类型特征的抓取能力,从而增强了整个AC-GAN网络的性能。凭借优秀的样本生成能力,平衡了各类型暂降样本的分布,改善了模型对数据特征的学习效果。最后通过实际工况下多个数据场景验证了所提方法的有效性和优越性。在暂降同源数据检测方面,针对现有研究中存在的检测时间片短,检测次数多,聚类结果易混淆而导致同源数据漏检、误检的问题,本文基于图像特征比对的思想,提出了基于融合自注意力机制(Self Attention,SA)孪生网络的同源检测算法。首先,对三相暂降监测数据进行变换,将暂降三相电压的有效值(Root Mean Square,RMS)数据同时呈现于一张灰度图片中,以图像样本代替三相数据样本,有效减少了同源检测的次数和计算量。然后,建立融合SA的孪生神经网络特征提取模型,基于孪生神经网络的对比训练模式提取暂降类别特征,并通过SA对特征矩阵关键位置的权重进行加强以提高模型对样本细节特征的表达能力。最后,依据特征的标准互相关(Normalized Cross Correlation,NCC)计算结果来判断基准数据与待检测数据是否同源。另外,针对在暂降监测数据中常出现的未包含完整暂降数据段或一条数据同时包含两个暂降事件的情况。提出了一种基于特征关键点匹配的暂降同源数据精确检测方法。首先将暂降数据有效值波形转换为灰度轨迹图片,基于尺度不变特征转换(Scale-invariant Feature Transform,SIFT)算法对暂降灰度轨迹图片进行分析,提取RMS轨迹的特征关键点。然后利用特征关键点的梯度方向信息与待检测暂降数据的RMS轨迹进行匹配计算,最后,以匹配规则作为暂降同源数据判断的标准。该算法可很好的弥补现有同源检测算法中的不足,具有更强的工程适用性及实际应用价值。文章最后对现有的四种同源检测方法进行了检测方式、检测次数、单次检测所需的步骤以及计算耗时四个维度的对比,讨论了不同算法的特点及适用情况,所得分析结论可为今后同源检测算法的应用提供理论指导。

关键词： 层次分析法   层次结构模型   数据处理   中小微企业   信贷  

摘要： 根据人工评定的信誉评级及是否存在违约行为，银行将中小微企业分为5类，运用层次分析法建立层次结构模型，分析企业的信贷风险，综合考虑企业的实力和供求关系对实力弱、信誉差的不予发放贷款，对信誉等级及实力高的企业发放贷款。其中，对实力高的企业可以给予利率优惠，保障银行的长期发展。

关键词： Kinect传感器   数据处理   深度学习   行为识别   人机协作  

摘要： 随着人工智能、芯片制造、智能控制等科学技术的发展,具备一定自主智能特性的机器人被广泛的应用于生产生活、军事作战等场景中,但是由于机器人不具备完全自主能力,因此无法完全独立自主的完成动态变化的复杂任务,因此目前的一个研究方向是结合人类对复杂环境中动态任务的分析理解、自主决策等特点,研究人机协作以完成复杂场景下的任务。人机协作是指人类和机器人共同合作完成指定任务,目前在制造业中大量的使用了工业机器人完成产品的装配工作,而人类只需要进行适当的调控即可,能够有效的解放人类双手,以使得人类去完成更多的有关设计、创造类的工作。人机协作中,机器人如何理解人类的意图是人机协作技术中重要的一个研究方向,从传统的角度来看,人类依靠操作杆及命令行指控机器人完成任务,这种操控方式使得机器人的灵活性较低,同时对于操作人员的要求较高,需要掌握各种技术指令。随着人工智能技术的发展,目前机器人理解人类意图的方式变得多种多样,包括语音识别、手势识别、行为识别等等。而现有的研究工作中,大部分学者将着眼于行为识别,对视频流中人体行为动作的进行分类识别,以推测人类的意图并完成人机协作,这种识别方式对于光照、场地等要求较高,若视频中含有较多噪声时识别准确率不高,因此为了进一步研究行为识别技术,本文中考虑基于人体骨骼数据对人体的行为动作进行分类识别,以实现对人类意图的判断,更好的完成人机协作任务。本文以人机协作装配任务为例,在实验室中建立了人机协作装配场景,具体任务是人机协作装配一把椅子,人类作为装配任务中的主导者,而机器人作为协助者为人类递送椅子配件(如椅子腿)或者组装的工具(如内六角扳手)等,通过机器人过识别人类的行为动作,预测人类下一步的组装意图并提前准备好配件或者工具。论文所做的研究工作包括以下几个方面:(1)本文中首先对人体行为动作识别技术的理论基础进行了分析,包括支持向量机、反向传播等经典的监督学习算法,并指出了这些算法的缺点及不足,然后进一步分析了基于深度学习的行为识别理论,介绍了卷积神经网络及循环神经网络基本理论,分析了基于深度学习的行为识别算法选择策略,确定了本文中基于卷积神经网络的行为识别方案。(2)然后分析了Kinect传感器的软硬件系统,利用三面标靶重建技术完成了Kinect传感器外参数标定,基于Kinect传感器采集人机协作场景中的三面标靶点信息,然后根据同名法向量及同名点计算两个Kinect传感器的外参参数矩阵,获得全局坐标系下的人体骨骼数据,然后对Kinect传感器采集到的数据进行了误差分析。(3)基于两台Kinect传感器能够有效采集人体骨骼数据,本文进一步设计了人机协作装配场景,将人机协作装配椅子的过程分成了七个步骤,即机器人需要根据人类上一步的行为动作,预测人类下一步的行为,提前准备好配件或者工具。本文利用Kinect传感器对人体行为动作数据进行了收集,并完成了数据预处理。(4)考虑到卷积神经网络在特征理解上的不足,引入了双流神经网络,并进一步设计了基于注意力机制的行为识别网络模型,利用该模型对人体骨骼数据进行分类识别实验,结果表明与CNN及LSTM等方法相比,本文所提的改进双流神经网络的准确识别率更高,表明了算法设计的有效性。