教学课程资源库 更多>>

关键词： 大数据分析   智能化决策   产品迭代开发   偏最小二乘结构方程  

摘要： 随着互联网行业市场环境快速的变化以及面对激烈的竞争市场,快速迭代产品满足客户需求至关重要。大数据分析等前沿技术蓬勃发展,企业利用大数据分析等前沿技术在大量的用户行为数据中分析和预测用户需求,并实现快速决策,其成效显著。H公司是一家互联网金融科技公司,在获客、数据、科技方面弥补了金融机构的短板,但随着用户需求快速变化以及行业监管政策收紧,彻底告别红利,H公司的主营信贷产品陷入了业绩困境。因此,本研究要解决的核心问题是在大数据分析等前沿技术应用广泛的背景下,企业如何在产品迭代开发过程中更准确地分析用户需求,提升产品迭代效率,提升企业竞争力。 本研究以互联网金融科技H公司的信贷产品迭代开发为例,阐述了如何利用大数据分析精准定位用户需求,并使用策略工具满足用户快速变化且多样化需求,分析了利用大数据分析和智能化决策技术优化H公司迭代开发过程的经济性,并应用偏最小二乘法结构方程构建检验模型进行回归分析来验证可行性和有效性,验证该技术方法对决策质量的影响,以及对产品迭代绩效的作用,并解释了不同的功能类型对使用大数据分析和智能化迭代法的调节作用。通过对H公司使用优化方法后228个迭代进行分析,分析结果表明:对于变更频繁的需求,大数据分析和智能化决策的技术手段对决策质量和产品迭代绩效有积极的影响。因此,企业不仅要在其业务活动中推广大数据分析和智能化决策,还要采取措施提高数据分析能力,从而提高其决策质量,获得竞争优势。 本研究在理论层面提出使用大数据分析和智能化决策的技术提高产品迭代绩效进而提升企业竞争力的产品迭代,并提供实证依据。在实际应用层面,一方面,可提高H公司企业竞争力,降低研发成本,促进获客,经营,风控、资金成本降低,另一方面可以为其他公司或行业提供借鉴,形成行业良币驱逐劣币的良性循环。

关键词： 大数据   特征筛选   分位数估计   变系数模型优化   贝叶斯推断  

摘要： 随着时代发展和科技进步,数据的收集能力和存储能力大大提升,高维甚至超高维数据越来越频繁地出现在各个研究领域。与此同时,数据维度的迅猛增长导致大量无关变量产生,从数千甚至数百万个变量中筛除无用信息,选出重要变量,保证有用信息的完整度,是一项很有意义的工作。在超高维数据模型中,变量的维数一般远大于样本量,很多经典方法的表现难以满足实际需求。例如最小二乘法的求解需要用到协方差矩阵的逆矩阵,当变量维度大于样本量时,样本的协方差矩阵是一个奇异矩阵,最小二乘法的求解无法正常进行。再比如极大似然估计方法中,超高维的样本数据将导致似然方程的个数远远小于未知参数的个数,使得模型参数不可识别。此外,超高维数据中存在大量的白噪变量,如果将所有的变量全部用于统计模型,可能会导致模型估计出现较大的偏差。因此,快速有效的筛选“重要的”预测因子,降低数据维数非常有必要。对超高维数据选择“重要的”预测因子时,对于模型已知的数据,可以根据具体的模型进行判别。实际中,数据的模型往往是未知的,需要用不依赖模型的判别指标进行判别。本文基于分位数的有关性质,提出一种新的判别指标,用来判定在分位点τ处,变量X和变量Y之间的独立性,然而单个分位点的信息并不能完全涵盖变量间的相关信息,为了更全面准确的判定变量间的独立性,需要将分位区间上的信息进行整合,本文给出了三种不同的整合方式:最大值法,平均值法和加权平均值法,并分析了三种方法各自的优点和不足。基于分位数的判别指标有以下优点:(1)不需要模型假设,具有很好的灵活性;(2)对于重尾数据和异构数据不敏感,具有很强的鲁棒性;(3)计算复杂度较低,仅为O(n)等。随后本文基于分位数判别指标提出一种高维数据的特征筛选方法,称为联合分位数特征筛选方法(Quantile-Composited Feature Screening,简称QCS)。本文中筛选指标采用加权平均值法,先求出各预测因子与变量之间的相关性指标,再通过阈值法选取“重要的”预测因子。文中给出了QCS方法的相关性质并进行了证明,从理论上保证了QCS方法的筛选有效性,并通过大量的Monte Carlo模拟和实际数据模拟验证了QCS方法的有效性,实验结果显示:与已有的几种经典方法相比,QCS方法能够实验更优的筛选效果。此外,本文进行了筛选速度对比实验,结果显示QCS的计算耗时呈线性增长,而其他对比方法的计算复杂度呈二次增长。由此可见,QCS方法具有筛选效率高、速度快的特点。选出“重要的”变量后,一个很顺理成章的工作就是进行模型构建。常用的传统参数模型虽然具有很好的回归特性,但是忽略了数据集中可能存在的动态特征,而在实际应用中,这种情况非常普遍。为了更好的适应数据的动态特征,使模型更好地贴合数据,需要将模型的参数从一个固定数值变成一个动态的函数,从而产生了变系数模型。变系数模型具有其他模型不可替代的优势,它保留了参数模型的可解释性等优良性质,还具有很好的灵活性和适应性。模型的估计往往都基于理想的无偏假设,即所有的预测因子都被充分收集,误差项的条件期望为零,此时可以得到一致性的参数估计,但是无偏假设在实际应用中几乎不成立。首先,预测因子的稀疏性不一定严格成立,“不重要”的变量不一定对模型没有贡献,将这些“不重要”变量当做随机误差可能会导致估计偏差;此外,无法百分百确定哪些预测因子与响应变量相关,特别是预测因子的维度很高时,数据中会出现大量的“不重要”预测因子,白噪影响的积累可能会导致选择“重要的”预测因子时,漏掉部分“重要的”预测因子,这是已有的筛选技术都无法完全避免的;此外,“重要的”预测因子和“不重要的”预测因子之间可能存在相关性,很可能导致误差的条件期望不为零。针对上述问题,本文中提出一个有效的方法,通过构造一个人工变量,将其引入变系数模型中,使模型优化至无偏,而且在一定条件下,引入新变量后模型依然具有线性形式。本文对新模型的无偏性进行了严格的证明,并给出了模型系数的估计方法。为了验证方法的有效性,本文进行了大量模拟实验。结果显示:在模型漏选“重要的”变量或者预测因子之间存在一定相关性时,该方法不论是参数估计精度还是预测准确度都大大优于已有方法,在模型不漏选且预测因子几乎不相关时,该方法也能达到与最小二乘法相当的效果。贝叶斯统计推断是一种基于贝叶斯定理的统计推断方法,该方法提供了一种灵活、概率化的推断和建模框架,对于处理不确定性和复杂问题非常有效。在贝叶斯统计推断中,将模型参数视为随机变量,并使用概率分布来表示参数的不确定性,通过结合先验分布和观察到的数据,计算参数的后验分布,从而得到参数值更准确的估计。第五章主要研究了贝叶斯方法在参数更新迭代方面的应用。结合贝叶斯统计推断的有关理论知识,计算参数的条件后验分布,给出两种参数估计方法:基于条件后验的抽样方法;边际分布和联合后

关键词： PDCA   全自动咖啡机   质量提升   大数据分析  

摘要： 近些年,随着咖啡在国内的蓬勃发展,融合全自动咖啡与物联网技术的智能互联全自动咖啡机行业不断壮大,市场对智能互联全自动咖啡机消费需求更加旺盛,全自动咖啡机想要稳定做出好的咖啡,对产品质量提出更大的要求,咖啡机和咖啡相关产业在中国才刚刚起步,对标拥有几十年甚至百年的国外咖啡机企业来说,中国还有很长的路,原有咖啡设备的质量管理更多是事后补救,针对性和实时性不强,生产厂家卖出设备后,很难得到第一手的运营数据,很多时候找不到影响质量的根本原因。如何借助先进技术,科学有效的管理方法和理论解决产品的质量问题,值得持续的研究。PDCA作为科学的质量管理方法,渐进循环反复迭代,本次论文选择PDCA循环理论作为质量管理方法指导。以A企业智能互联全自动咖啡机生产和运维为例,改善产品质量,提升整体公司的质量管理水平。论文首先介绍研究的背景和意义,介绍国内外的相关情况以及相关技术背景,先通过对全自动咖啡机13处的质量控制点进行数字化改造,然后通过实际运维采集到的异常信号,进行大数据分析追因。运用PDCA循环方法进行产品质量改进,改进过程如下:计划阶段(P),通过异常数据分析、帕累托图找出设备异常的重点关注事项,运用鱼骨图进行系统的分析;实施阶段(D),针对计划阶段找到的主要关注事项,从系统设计原理和数据统计两个方面分析,系统找出不同环节针对性方案;结果检查阶段(C),落实检查内容,用图形对比来检验检查效果;总结处置阶段(A),固化经验,更新标准文件和规范操作。将其他问题进入下一个循环,持续优化。最终结果发现,通过对智能互联全自动咖啡机萃取系统、蒸汽系统、流量系统等主要问题改进,产品在PDCA循环之前每杯咖啡的故障上报率为4.08%,改进后下降到2.84%。下降的幅度达30.39%,整机运营维度故障率接近2%目标,优化后萃取单元系统从2021年的486次降低到2022年的97次,下降幅度80.04%,通过不断地优化实施,在13个质量检测点中有6个再也没有发生,本次的研究,可以为全自动咖啡机的重点器件系统进行质量优化和分析改进提供数据和理论支持。

关键词： 大数据   Presto   广告归因   电子游戏   数据分析  

摘要： 随着移动互联网的快速发展,智能手机在各年龄段人群中普及,游戏行业也随之迅速发展。随着玩家群体用户量的不断扩张,游戏数据产生的速度也在日益增长,玩家在游戏中产生了海量且多样化的行为事件。如何从这些行为数据中快速挖掘分析其价值,也成为了大数据领域中重要的课题。 基于上述背景,本文基于大数据计算引擎Presto设计并实现了游戏大数据分析系统。主要工作内容如下: 一、本文设计并实现了一种基于Presto的实时分析大数据架构。单一的大数据架构已无法兼顾实时数据读写和灵活的OLAP即席查询等需求。本文创新地设计了Kudu-HDFS-OSS的大数据存储系统,通过冷热数据分离和迁移机制保证了系统的查询和分析性能。使用统一的数据视图封装三层架构中的数据,通过Presto实现了跨数据源的OLAP即席查询。 二、本文根据游戏获客大量依赖互联网广告的背景,将互联网广告归因引入游戏大数据分析系统。在广告归因中,针对用户偏好导致的归因偏差问题,本文将用户偏好分解成静态属性和动态特征,提出了基于因果估计的归因算法CMCA。该算法通过曝光链路重加权模块和因果转化预估模块分别消除两种偏差,基于夏普利值的计算方式实现归因贡献评估。实验证明CMCA算法在转化预测上具有优越的性能。 三、本文设计与实现游戏大数据分析系统的业务功能。在对游戏大数据分析业务进行需求分析后,本文详细设计了游戏大数据分析系统的业务功能,利用Presto、Springboot、My Batis等技术栈实现了用户数据采集、数据处理、冷热数据分离及业务数据展示等功能。 本文最后还对游戏大数据分析系统进行了功能性和非功能性的测试,测试结果达到了系统设计的预期目标。本文的研究对于大数据系统的架构研究、游戏数据分析系统的设计、多渠道广告归因算法设计等方面有一定参考价值。

关键词： 大数据分析   高中数学课程   试卷评估课程   精准教学方法  

摘要： 大数据学习系统有针对性地采集高中生每天的数学作业和平时数学考试的情况,并且已经形成了海量的数据库,系统同时对学生的使用情况进行了统计和及时的反馈,为教师开展个性化教学、分层教学等活动提供了证据,为教师的教学手段和学生的自适应学习能力发展提供了方案。基于大数据的高中数学试卷讲评课课堂教学与传统的教学方法有所不同,它将复习和讲评结合起来,让学生透过做题和练习来强化所学知识点,并对新知加以反思和优化。这种方法既能帮助学生理解知识,又能提高他们的技能。为了有效地避免教师的主观性、课堂上的言论过多、学习方法的复杂化等问题,大数据学习系统可以有效地辅助高中数学试卷讲评。通过利用大数据系统收集中小学生的日常分数和作业完成情况,并对数字加以综合分析,能够为老师带来价值的资讯,协助他们更好地掌握学生的学习情况,实施准确的教学方法,并为他们提出自主学习的指引。高中数学试卷讲评课是一种重要的教学形式,它不同于新授课,试卷讲评课有助于学生夯实所学基础知识,并加强对数学思路的掌握、数学理论的应用。本文旨在研究如何利用大数据实施高中数学试卷讲评课,倡导以学生为中心,提出一种新的教学方法,即课前采集数据,通过课堂上数据分析,开展精准讲评,并在课后加以推送强化。本文将深入探讨采用数据分析的高中数学试卷讲评课的过程和策略,并以笔者所带的两个班级在过去的一学年的测验与复习试卷讲评课为例,详细阐述了这一策略的实施过程,以期达到更好的教学效果。

关键词： 中阿关系   阿拉伯媒体   新闻合作   词频统计   主题模型  

摘要： 阿拉伯国家是中国维护主权、安全和发展利益的重要伙伴。始于2010年底的“阿拉伯之春”席卷多国，持续10余年，打破了阿拉伯原有权力格局，对中阿共建命运共同体提出了新挑战。2022年，中阿举办首届中阿峰会，筹划建立“新时代中阿命运共同体”。本文借助全球最大新闻数据库Factiva，对2011～2020年阿拉伯媒体涉中阿关系的报道进行回溯与分析，以话语分析中涉及的词频概率和内容主题研究法，对中阿关系报道进行大数据量化分析。在此基础上，本文结合定性研究和文本分析，选择有代表性的重点媒体报道，厘清阿拉伯媒体在涉华问题上的报道领域、选题偏好和态度倾向，为新形势下筹划中阿战略伙伴关系、共建“新时代中阿命运共同体”提供智力支持。

关键词： 杭州市高校   网球运动   调查分析   存在的问题   改进措施  

摘要： 以杭州市17所高校为研究对象，采用文献研究法、问卷调查法和逻辑分析法对杭州市高校网球运动发展现状进行调查与分析，基于大数据分析得出杭州市高校网球训练情况。结果表明，杭州市高校有网球场的高校比例仍然没有达到二分之一，且约53%的高校还没有开设网球课，网球运动的发展在杭州市高校中普及程度较低；参加网球公体班的学生中有约44.16%的学生未加入网球社团，且近年来对网球社团感兴趣的学生比例逐年增多；杭州市高校的网球师资水平较差；在高校学生选择网球公体课时，网球场地收费标准位于30元/小时以下，可在一定程度上提高学生的参与积极性。

关键词： 酱卤肉制品   机器学习   文本挖掘   微生物多样性   货架期预测模型  

摘要： 酱卤肉制品作为中国最重要的传统肉制品之一,以其诱人的色泽、鲜美的口感和独特的风味受到消费者喜爱。微生物是影响肉制品货架期的关键因素。传统的肉制品货架期预测模型往往仅侧重于考虑某个特定因素,导致对实际情况的反映不够全面和准确,而且依赖实验室实验所获得的原始数据,通常需要较高的时间和经济成本。所幸的是,伴随着肉类科学研究的发展,大量研究数据得以积累。这些隐藏在众多文献中的数据蕴藏着巨大的价值。本论文通过文献数据挖掘肉制品的微生物信息,系统地探讨了不同肉制品中微生物多样性、不同环境条件下的微生物适应性、微生物之间的共现关系;继而基于收集的微生物数据,运用机器学习算法建立货架期预测模型,并通过实验手段验证模型性能。主要结果如下: (1)首先,本研究通过文献挖掘分析肉制品中微生物多样性,发现乳杆菌、葡萄球菌、假单胞菌等是肉制品中最为普遍存在的菌属,它们共同影响肉制品的质量、安全和保质期。同时,不同肉制品之间的微生物多样性差异显著。其次,环境适应性研究表明,不同细菌在温度、包装和灭菌方式等方面展示出独特的适应性。例如,低温条件下的乳杆菌、假单胞菌和肠杆菌具有显著优势;气调包装中,假单胞菌和乳杆菌具有较强适应能力。不同的灭菌方式也使细菌呈现出不同的生存策略。最后,共发生分析揭示了微生物之间的相互作用关系。例如,乳杆菌与葡萄球菌、假单胞菌等在多种肉制品中共同出现,很可能形成紧密的相互作用,从而影响肉制品的质量和安全。 (2)基于收集的微生物数据,在对比多种编码方法后,最终选定了表现最佳的James-Stein编码作为分类特征的编码形式。通过对比和评估不同分类算法,我们选择了随机森林作为最优模型,以预测酱卤肉制品货架期。其在准确度(accuracy)、精确度(precision)、AUC和F1-score指标上的表现均优于其他方法,分别为0.95、0.97、0.99和0.91。对应模型的超参数为:n＿estimators=500,min＿samples＿leaf=1,random＿state=200。 (3)通过对酱牛肉和盐水鸭样品在不同储藏条件、包装方式和保鲜剂处理下的货架期数据进行分析,并与随机森林模型的预测值进行比较,我们发现所建模型在预测这两种产品货架期方面总体表现优秀(总体准确率达到了90%)。在不同的储藏条件、包装方式和保鲜剂处理下,模型也展现出较好的预测精度和适应性。在大多数情况下,模型能够准确预测实际货架期,仅在个别保鲜剂处理情况下,预测值与实际货架期存在一定差异、比实际货架期短。这表明,所建立的随机森林模型具有作为一个有效的货架期预测工具的潜力。 总之,本论文通过文献数据挖掘、模型构建和实验手段,系统地探讨了肉制品中微生物多样性、环境因素对菌群的影响、微生物之间的共现关系以及酱卤肉制品货架期预测模型的构建与验证。研究结果为酱卤肉制品生产企业提供了有益的参考和指导,有助于进一步提高酱卤肉制品的质量、安全性并延长货架期。

关键词： 大数据分析报告   证据   刑事诉讼  

摘要： 随着计算技术、网络技术的发展,大数据时代悄然而至,刑事司法领域也因大数据时代的到来产生了新的变化:恐怖主义犯罪、有组织犯罪等严重犯罪也在信息网络技术加持下不断升级,传统犯罪和新兴技术相结合的犯罪发展态势对传统的侦查提出了新的挑战。针对传统犯罪的网络化升级,侦查机关迅速采取大数据侦查进行回应,将大数据技术应用于侦查实践,为侦查领域带来了全新视角,刑事案件侦破的效率与质量都得到了提升。随着大数据技术被广泛应用于刑事侦查领域,借助该技术产生的大数据分析报告在帮助侦查机关侦破案件方面发挥了重要作用。但大数据分析报告能否在后续的诉讼证明中作为证据使用?若能作为证据使用,那么证据种类应是什么,应如何进行审查?诸多关于大数据分析报告的证据法问题都具有研究价值。本文分为五章对上述问题进行研究:第一章探讨了大数据分析报告的基本概念、形成机制和特征。首先,介绍了学界关于大数据概念以及特征的研究,提出了应从本体论角度界定大数据概念、分析大数据的特征。在大数据概念得以明确的基础上对大数据分析报告的定义从基础数据、数据分析技术、数据分析结果三方面进行了深层次解读;其次,对大数据分析报告的生成机理进行技术层面的解读,描述了大数据分析报告的完整形成过程;最后,将大数据分析报告的特点总结为技术性、衍生性、复合性和间接性。第二章是对于大数据分析报告证据属性的讨论。关于大数据分析报告具备证据属性的论证主要从两个方面进行:一是大数据分析报告符合刑事诉讼法关于证据的定义,证据资格并不受到法定证据种类的限制,只要具备证据三性就可以作为证据使用;二是大数据分析报告符合证据三性要求:在客观性方面,大数据分析报告具备形式客观性、基础数据客观性、分析结果客观性和分析技术科学可靠性,符合证据客观性要求;在关联性方面,大数据分析报告的证明对象是案件中的实质性问题,符合实质性要求。尽管大数据相关性与证据关联性存在差异,但是仍可以通过因果关系与相关关系的潜在联系、特殊经验向一般经验转化两条通道,实现大数据相关性向证据关联性的联结转化,符合证明性要求。在合法性方面,通过对证据形式、取证主体、取证程序等进行论证,大数据分析报告充分符合证据合法性的要求。第三章是对于大数据分析报告的证据种类的明晰,主要通过大数据分析报告与法定证据种类的比较、证据种类与证据调查方法之间的关系、大数据分析报告作为独立证据使用的实践考察三个方面,论证了大数据分析报告已经具备作为独立证据种类的条件。第四章探索如何对大数据分析报告的形成机制进行程序规制,保障大数据分析报告取证过程中真实性、合法性不受到影响,维护实体公正与程序正义。主要对大数据分析报告形成过程中的两大重要环节:数据采集过程和数据分析阶段,通过规定数据来源符合合法性、数据采集范围符合比例原则、具备关联性、数据主体具备技术资质与取证权限合法、比例原则下的信息分级审批进行程序规制。第五章讨论如何对大数据分析报告进行审查判断。在保障大数据分析报告取证的真实性、合法性之后,需要对其后续的审查判断规则进行构建与完善,其中主要包含审查规则以及辅助证据审查的质证机制。在审查大数据分析报告时,重点需要关注证据的客观性、关联性和合法性。考虑到大数据分析报告的技术性,特别是分析技术中算法的复杂性以及不透明性,对于证据的审查可以采取公开算法、黑箱测试等多种方式进行,对证据审查与商业秘密保护之间存在的紧张关系进行有效协调。另外,也需要取证分析人员出庭接受询问,专家辅助人帮助质询,保证充分质证,准确审查认证。