首页 / 一种基于网络数据抓取的满意度测评方法及系统

一种基于网络数据抓取的满意度测评方法及系统实质审查 发明

技术领域

[0001] 本发明涉及电子数字数据处理技术领域,具体为一种基于网络数据抓取的满意度测评方法及系统。

相关背景技术

[0002] 随着社会经济的发展和人民生活水平的提高,消费者对于商品和服务质量的要求越来越高,服务质量成为企业核心竞争力的体现。满意度测评方法可以帮助企业全面、深入地了解服务质量,发现和解决服务质量问题,提升服务水平。
[0003] 例如公告号为:CN111475703B的发明专利,公开的一种抓取网络特定数据的分析方法,所述抓取网络特定数据的分析方法为数据首先经过过滤条件进入算法系统,先使用特征码模型对数据进行处理,如果没有找到目标数据,则转入区域模型进一步处理,如果依然失败,则视为不存在目标数据。该申请相对于现有技术具有更强的数据针对性,可以对数据封闭的环境进行数据抓取,有利于开发者快速将应用植入系统当中,免去数据对接的流程,本发明同时启用两种模型对数据进行分析提取,两种模型优劣互补,实现了对有一定特征数据的可靠抓取。
[0004] 例如公告号为:CN106326447B的发明专利,公开的一种众包网络爬虫抓取数据的检测方法及系统,其能够确保众包网络爬虫抓取的数据是真实可靠的。这种众包网络爬虫抓取数据的检测方法,将服务器作为爬虫客户端抓取结果的检验中心,爬虫客户端把抓取的页面内容上传到检验中心,检验中心将多个爬虫客户端上传的内容进行对比,如果结果相同则给各个爬虫客户端加信用分;如果结果不相同,则再下发一次任务,重新检验这几个爬虫客户端,以辨别优劣,而后进行相应的信用分加减;信用分表示爬虫客户端的可靠程度,优先选择信用分高的爬虫客户端来完成抓取任务。还提供了一种众包网络爬虫抓取数据的检测系统。
[0005] 基于上述方案发现,目前对满意度测评方面还存在一些不足,具体体现在对网络上目标产品的满意度数据分析方法中获取的数据过于单一,单一维度的网络抓取数据容易受到篡改,可能对满意度测评结果造成扭曲,导致评价结果失真。

具体实施方式

[0040] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0041] 参照图1所示,本发明第一方面提供了一种基于网络数据抓取的满意度测评方法,包括:抓取目标产品的网络评价数据,所述目标产品的网络评价数据包括目标产品的图像反馈数据和用户评价数据。
[0042] 具体地,抓取目标产品的网络评价数据,包括目标产品的图像反馈数据和用户评价数据,目标产品的图像反馈数据是通过利用Python语言和其丰富的库支持(如BeautifulSoup、Scrapy、Selenium等)爬取目标产品,执行JavaScript来加载目标产品的动态网页内容,分析网页结构,利用requests等库下载网页中的图片,提取评价中图片的URL进行处理获得的。用户评价数据则是通过层叠样式表(Cascading Style Sheets)选择器或XPath表达式定位用户评价内容,提取文本信息获得的。
[0043] 在一个具体的实施例中,抓取并分析目标产品的网络评价数据,尤其是图像反馈数据和用户评价文本,图像反馈数据和用户评价文本提供了比文本更丰富的信息维度。图像可以直接展示产品的实际状态,而文本评价则提供了详细的使用感受和意见。将这两种数据类型结合起来,可以得到更全面的产品表现视图。通过文本分析可以进行情感分析,了解用户对产品的满意度和情感倾向,从而快速识别正面和负面的用户反馈。数据处理可以帮助识别特定产品特性的趋势,比如哪些功能被认为是有价值的,哪些问题频繁出现,以及这些趋势随时间如何变化。通过数据挖掘技术,可以从大量的用户评价中提取有用模式和知识,比如用户对产品不同方面的偏好。使用自然语言处理和图像识别技术可以自动化分析用户评价,节省人力资源,提高分析效率。可以根据不同用户群体或市场细分进行个性化分析,以适应不同的业务需求。通过数据可视化工具,可以将分析结果以图表或仪表板的形式直观展示,帮助决策者更直观地理解数据。
[0044] 对目标产品的图像反馈数据进行处理,得到各时间监测点的产品视觉质量评估指数。
[0045] 具体地,对目标产品的图像反馈数据进行处理,得到各时间监测点的产品视觉质量评估指数,具体处理过程为:部署若干个时间监测点,采集各时间监测点的新增产品反馈图像,将各时间监测点的各新增产品反馈图像与产品数据库中的参照标准图像进行重合比对,提取各时间监测点的各新增产品反馈图像各像素点与参照标准图像对应像素点的像素值,综合分析得到各时间监测点的产品视觉质量评估指数。
[0046] 在一个具体的实施例中,各时间监测点的产品视觉质量评估指数,具体数值表达式为:
[0047]
[0048] 式中,Ys表示第s个时间监测点的产品视觉质量评估指数,s表示各时间监测点的编号,s=1,2,3,...,p,p表示时间监测点的总数,m表示各新增产品反馈图像的编号,m=1,2,3,...,t,t表示新增产品反馈图像的总数,r表示各像素点的编号,r=1,2,3,...,h,h表示像素点的总数,Xs→mr表示第s个时间监测点的第m个目标产品的图像的第r个像素点的像素值, 表示参照标准图像第r个像素点的像素值,ΔX表示允许偏差像素值,γ表示设定的视觉质量评估修正因子。
[0049] 具体地,各时间监测点的产品视觉质量评估指数是通过对各时间监测点的各新增产品反馈图像各像素点与参照标准图像对应像素点的像素值综合分析得到的量化评估数据,用于量化评估目标产品的视觉质量,为用户满意度评估提供依据。
[0050] 进一步地,本实施例中视觉质量评估修正因子的取值范围为[0.1,0.8],较小的视觉质量评估修正因子会使公式对像素值的偏差不太敏感,即使像素偏差较大,对最终评估指数的影响也相对有限。这适用于对视觉质量变动容忍度较高的场景。较大的视觉质量评估修正因子会放大像素偏差的影响,使评估指数对哪怕是很小的像素值变化也反应强烈,适用于对产品质量有极高要求、需要精细区分质量差异的应用,视觉质量评估修正因子用于减少计算误差,提高准确率。
[0051] 需要解释的是,本实施例中各时间监测点的产品视觉质量评估指数除了可以通过上述公式计算得到外,也可以通过利用图像处理软件和算法,如边缘检测、滤波、分割、阈值处理等,来分析图像中的特征,识别产品外观的瑕疵、尺寸、形状、颜色一致性等,还可以通过训练分类器或神经网络模型(如卷积神经网络),让系统学会识别高质量和低质量产品的图像特征,自动评估视觉质量。
[0052] 需要解释的是,本实施例中各时间监测点的新增产品反馈图像是在各时间监测点新增的关于目标产品的质量反馈图像,是通过Python语言爬取网络数据,执行JavaScr ipt加载关于目标产品的动态网页内容获取的,本实施例中的各新增产品反馈图像均为灰度图像,灰度图像只有一个通道,像素值是一个标量,表示图像的亮度,则各新增产品反馈图像对应像素点的像素值为对应像素点的亮度。通过逐像素比较,能够详细捕捉产品图像质量的任何微小变化,保证了评估的全面性和细致性。通过像素值的统计分析,可以识别产品图像中的异常区域,这些区域可能代表产品缺陷或损坏。例如,如果某区域的像素值显著偏离正常产品图像的像素分布,可能指示有刮痕、裂纹或其他质量问题。分析用户上传的产品反馈图像中的像素特征,结合图像内容(如产品使用状态、环境等),可以间接推断用户的满意度。例如,频繁出现的暗淡或过度曝光图像可能暗示用户对产品的使用体验不佳。使用像素值和图像处理技术(如边缘检测、纹理分析)来识别图像中的特定产品特征,可以帮助分类用户反馈,区分不同型号或版本的产品,或识别用户反馈集中于产品的哪一部分。
[0053] 对用户评价数据进行分类,所述用户评价数据,包括各时间监测点的各产品用户评论、各产品用户评分以及各产品用户评论浏览量,综合分析得到各时间监测点的用户反馈质量评估指数。
[0054] 具体地,对用户评价数据进行分类,具体过程为:从用户评价数据中提取各产品用户评分,将各产品用户评分分别与产品数据库中存储的参照临界评分进行比对,若某产品用户评分大于或等于参照临界评分,则将该产品用户评分对应的产品用户评论标记为产品正向评论,并统计各时间监测点的产品用户评论总数和产品正向评论数。
[0055] 进一步地,综合分析得到各时间监测点的用户反馈质量评估指数,具体分析过程为:采集各时间监测点的产品用户评论总浏览量和产品正向评论浏览量,将各时间监测点的产品用户评论总浏览量和产品正向评论浏览量进行比值运算,并将比值结果标记为正向评论影响因子;
[0056] 根据各时间监测点的各产品用户评分、产品用户评论总数、产品正向评论数和正向评论影响因子,综合分析得到各时间监测点的用户反馈质量评估指数。
[0057] 在一个具体的实施例中,各时间监测点的用户反馈质量评估指数的数值表达式为:
[0058]
[0059] 式中,Gs表示第s个时间监测点的用户反馈质量评估指数,Ps1表示第s个时间监测点的产品正向评论数,Ps表示第s个时间监测点的产品用户评论总数,ω表示正向评论影响因子,i表示各产品用户的编号,i=1,2,3,...,n,n表示产品用户的总数,Fs→i表示第s个时间监测点的第i个用户评分,δ表示设定的用户评分对应的反馈质量修正因子。
[0060] 表1用户反馈质量评估指数数据示例
[0061]
[0062] 需要解释的是,表1中用户评分取值为100名用户的平均分,为了方便计算,由表1可得,当用户评分越来越大时,用户反馈质量评估指数也越来越大,产品正向评论数与产品用户评论总数的比值越大时,用户反馈质量评估指数也越来越大,二者皆为正相关关系。
[0063] 具体地,各时间监测点的用户反馈质量评估指数是通过对各时间监测点的各产品用户评分、产品用户评论总数、产品正向评论数和正向评论影响因子综合分析得到的量化评估数据,用于量化评估用户对目标产品的反馈质量。
[0064] 进一步地,本实施例中正向评论影响因子的取值范围为[0,1],正向评论影响因子反映了各时间监测点的产品用户评论总浏览量和产品正向评论浏览量之间的比值关系,用于反映正向评论数相对于总评论数的重要性。通过这个因子,我们可以强调正向评论在整体反馈中的影响力。用户评分对应的反馈质量修正因子的取值范围为[0.1,0.5],用户评分对应的反馈质量修正因子反映不同评分对反馈质量的不同贡献度。这意味着,不同的评分可能对最终评估指数产生不同比例的影响。例如,一个非常满意的高分可能通过较大的用户评分对应的反馈质量修正因子值被赋予更多权重,而较低的评分则通过较小的用户评分对应的反馈质量修正因子值减小其对总评价值的影响,用于减少计算误差,提高计算准确率。
[0065] 需要解释的是,本实施例中各时间监测点的用户反馈质量评估指数除了可以通过上述公式计算得到外,也可以通过运用自然语言处理技术对用户反馈文本进行情感分析、主题抽取,识别正面和负面反馈的比重处理获得,还可以通过利用工具自动收集、整理反馈数据,训练模型自动分类反馈(如投诉、建议、表扬)数据,预测反馈的优先级和价值获得。
[0066] 需要解释的是,本实施例中各时间监测点的各产品用户评分、产品用户评论总数、产品正向评论数是对在当前各时间监测点之前的所有用户评论数据处理得到的,各时间监测点的用户反馈质量评估指数用于量化用户在特定时间点对产品的满意度或反馈的整体质量。值越大,表明用户反馈越积极,产品质量感知越好,产品正向评论数直接反映了正面反馈的数量,是衡量产品好评度的基础。更多的正向评论通常意味着更高的用户满意度。本公式旨在通过数学模型综合考虑产品的正面反馈比例、个体用户的评分及其相对重要性,来量化和评估特定时间点上产品的用户反馈质量。它不仅关注正面评论的绝对数量,还深入分析了用户评分分布,通过引入修正因子来调整不同评分的影响,从而得到一个更加全面且细致的质量评估指标。这对于产品开发、市场策略调整或服务质量改进等方面具有重要的参考价值。
[0067] 对各时间监测点的产品视觉质量评估指数和用户反馈质量评估指数进行综合分析,得到各时间监测点的产品满意度评估指标参量,根据各时间监测点的产品满意度评估指标参量,对用户满意度进行分析,得到分析结果并进行反馈。
[0068] 具体地,各时间监测点的产品满意度评估指标参量,具体分析过程为:对各时间监测点的产品视觉质量评估指数和用户反馈质量评估指数进行综合分析,得到产品满意度评估指标参量,所述产品满意度评估指标参量用于量化评估用户对目标产品的满意度。
[0069] 在一个具体的实施例中,各时间监测点的产品满意度评估指标参量,具体数值表达式为:
[0070]
[0071] 式中, 表示第s个时间监测点的产品满意度评估指标参量,softplus(x)=ln(1x+e),此函数通常用于构建激活函数,以引入非线性变换,帮助模型学习更复杂的特征和模式。它广泛应用于各种网络架构中,如卷积神经网络、循环神经网络和生成对抗网络等,Ys表示第s个时间监测点的产品视觉质量评估指数,Gs表示第s个时间监测点的用户反馈质量评估指数,ε1表示设定的视觉质量评估指数对应的满意度评估影响因子,ε2表示设定的用户反馈质量评估指数对应的满意度评估影响因子。
[0072] 具体地,本实施例中视觉质量评估指数对应的满意度评估影响因子和用户反馈质量评估指数对应的满意度评估影响因子的取值范围为[0.4,0.6],视觉质量评估指数对应的满意度评估影响因子和用户反馈质量评估指数对应的满意度评估影响因子反映了视觉质量评估指数和用户反馈质量评估指数在满意度评估中的相对重要程度,通过调整视觉质量评估指数对应的满意度评估影响因子和用户反馈质量评估指数对应的满意度评估影响因子的取值,可以对不同的时间监测点的目标产品进行个性化的用户满意度评估。
[0073] 需要解释的是,如图3所示,曲线a表示当用户反馈质量评估指数为0.5时对应的视觉质量评估指数和产品满意度评估指标参量的关系,曲线b表示当用户反馈质量评估指数为1.0时对应的视觉质量评估指数和产品满意度评估指标参量的关系,曲线c表示当用户反馈质量评估指数为1.5时对应的视觉质量评估指数和产品满意度评估指标参量的关系,由图3可得,产品满意度评估指标参量随着视觉质量评估指数的增大而增大,当用户反馈质量评估指数越来越大时,产品满意度评估指标参量也越来越大,前者与后者均为正相关关系。
[0074] 需要解释的是,本实施例中各时间监测点的产品满意度评估指标参量除了可以通过上述公式计算得到外,也可以通过利用社交媒体监听工具(如Hootsu ite、Brandwatch)监控品牌提及、产品评价,分析用户情感倾向和讨论热点获得,还可以通过分析工具(如Googl e Ana lyt ics、Fi rebase)跟踪用户行为,如使用频率、功能点击率、停留时间等,间接反映用户满意度以及监测用户活跃度、留存率和流失率,评估用户对产品的持续满意度和忠诚度获得。
[0075] 需要解释的是,本实施例中产品视觉质量和用户反馈质量是评估用户对产品满意度的两个重要维度,它们从不同方面又相互作用影响用户的整体感受和评价。用户对产品反馈图像的期望可能会影响他们对产品的评分。如果图像质量符合或超过用户的期望,用户可能会给出更高的评分;反之,如果图像质量低于用户的期望,即使实际体验良好,用户也可能给出较低的评分。视觉质量是吸引用户的第一步,决定了用户是否愿意深入了解产品;而用户反馈质量则是持续优化和改进的基础,确保产品能够长期满足用户需求,提升用户忠诚度。
[0076] 具体地,对用户满意度进行分析,得到分析结果并进行反馈,具体分析过程为:通过多项式回归对各时间监测点的产品满意度评估指标参量进行曲线拟合,得到各时间监测点的产品满意度评估指标参量的时间序列曲线及其时间依赖函数,将最近的一次时间监测点标记为当前时间监测点,对当前时间监测点的产品满意度评估指标参量的时间依赖函数进行求导,得到当前时间监测点的产品满意度评估指标参量的时间导数,并标记为满意度变化趋势参照指数;
[0077] 将满意度变化趋势参照指数与0进行比对,若满意度变化趋势参照指数大于或等于0,则将产品用户的满意度变化趋势标记为稳定趋势,若满意度变化趋势参照指数小于0,则将产品用户的满意度变化趋势标记为下降趋势;
[0078] 将分析结果反馈至相关人员,相关人员根据用户评论实际内容对产品进行改进。
[0079] 具体地,反馈方式可以通过撰写分析报告反馈给相关人员,首先,在报告开头简要介绍分析目的、采用的方法(多项式回归、曲线拟合等)、数据来源(各时间监测点的满意度评估指标)以及分析的主要发现,特别是当前时间点的满意度变化趋势参照指数及其含义。然后利用图表直观展示时间序列曲线,包括产品满意度随时间的变化趋势图、拟合曲线以及在当前时间点的导数(即满意度变化趋势参照指数)的明确标注。详细解释当前时间点的满意度变化趋势参照指数,说明其大于或等于0代表的稳定趋势意味着什么,小于0又表示了怎样的下降趋势,以及这些趋势可能对产品和用户群产生的影响来降低相关人员对报告的理解难度。
[0080] 在一个具体的实施例中,产品数据库指的是目标产品数据库,通常是为特定产品或服务而创建的,用以存储、管理和分析与该产品相关的各类数据的集合。这个数据库可能包括但不限于产品规格、用户反馈、销售数据、市场表现、竞争对手分析、客户行为数据等。
[0081] 参照图2所示,本发明第二方面提供了一种基于网络数据抓取的满意度测评系统,包括:网络数据采集模块、图像反馈数据处理模块、用户评价数据分析模块、综合分析模块和产品数据库。
[0082] 网络数据采集模块,用于抓取目标产品的网络评价数据;
[0083] 图像反馈数据处理模块,用于对目标产品的图像反馈数据进行处理,得到各时间监测点的产品视觉质量评估指数;
[0084] 用户评价数据分析模块,用于根据用户评分和各类别的用户评论数、评论浏览量,综合分析得到各时间监测点的用户反馈质量评估指数;
[0085] 综合分析模块,用于对各时间监测点的产品视觉质量评估指数和用户反馈质量评估指数进行综合分析,得到目标产品的满意度评估指标参量根据目标产品的满意度评估指标参量,对目标产品进行评估,得到评估结果并进行反馈;
[0086] 产品数据库,用于存储目标产品的相关评价数据,包括参照标准图像及其对应像素点的像素值、允许偏差像素值、参照临界评分和满意度变化趋势参照指数。
[0087] 以上内容仅仅是对本发明结构所作的举例和说明,所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,只要不偏离发明的结构或者超越本权利要求书所定义的范围,均应属于本发明的保护范围。

当前第1页 第1页 第2页 第3页