技术领域
[0001] 本公开涉及人工智能和大数据技术领域，尤其涉及互联网安全技术领域，可应用于基于大模型进行异常数据处理场景下。更具体地，本公开提供了一种基于大模型的数据处理方法、装置、电子设备和存储介质。
相关背景技术
[0002] 随着互联网行业的迅速发展，越来越多与互联网相关的黑色产业(简称“黑产”)业务应运而生，网络风险也随之增加，对互联网相关安全带来威胁。目前，对黑产情报进行挖掘与管理的方案主要是传统的网络监控和过滤以及基于预训练的模型进行数据分析。
具体实施方式
[0019] 以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0020] 在本公开的技术方案中，所涉及的信息和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经授权的信息和数据，并且相关数据的收集、存储、使用、加工、传输、提供、公开和应用等处理，均遵守相关法律法规和标准，采取了必要保密措施，不违背公序良俗，并提供有相应的操作入口，供选择授权或者拒绝。
[0021] 目前，对非法情报进行挖掘与管理的方案主要是传统的网络监控和过滤以及基于预训练的模型进行数据分析。网络监控与过滤主要依赖于预定义的规则和关键词来检测和阻止网络中的异常活动。利用预训练的模型分析大量数据，自动识别潜在的非法行为和威胁模式。
[0022] 网络监控与过滤的方式采用简单的关键词过滤，容易产生误报和漏报的情况，难以准确地识别复杂的非法行为。并且该方式需要不断更新规则和关键词，维护成本高。
[0023] 基于预训练的模型进行数据分析的方法需要大量高质量的数据进行训练，数据不足可能导致模型不准确。并且，部分复杂模型难以解释其决策过程，增加了信任成本。此外，训练和运行复杂模型需要大量计算资源。
[0024] 有鉴于此，本公开的实施例提供一种基于大模型的数据处理方法，基于至少一个网站中各个网站各自的第一特征参数和第二特征参数中的至少之一，从至少一个网站中确定至少一个目标网站，第一特征参数用于表征网站的业务匹配度，第二特征参数用于表示网站的活跃度；基于至少一个第一关键词和至少一个第二关键词采集来自至少一个目标网站的数据，第一关键词用于采集数据中包括第一关键词的数据项，第二关键词用于删除数据中包括第二关键词的数据项；将数据输入大模型，输出数据的摘要信息；以及基于摘要信息生成第一报告。
[0025] 图1是根据本公开一个实施例的可以应用基于大模型的数据处理方法和装置的示例性系统架构示意图。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
[0026] 如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。
[0027] 用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
[0028] 服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供数据处理的后台管理服务器（仅为示例）。后台管理服务器可以采集来自网站的数据，将数据输入大模型，输出数据的摘要信息，基于摘要信息生成第一报告，并将第一报告进行保存或反馈至终端设备。
[0029] 需要说明的是，本公开实施例所提供的基于大模型的数据处理方法一般可以由服务器105执行。相应地，本公开实施例所提供的基于大模型的数据处理装置一般可以设置于服务器105中。本公开实施例所提供的基于大模型的数据处理方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的基于大模型的数据处理装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
[0030] 应该理解，图1中的终端设备、网络和服务器的数目及类型仅仅是示意性的。根据实现需要，可以具有任意数目及类型的终端设备、网络和服务器。
[0031] 图2是根据本公开的一个实施例的基于大模型的数据处理方法的流程图。
[0032] 如图2所示，该方法200可以包括操作S210 操作S230。~
[0033] 在操作S210，基于至少一个网站中各个网站各自的第一特征参数和第二特征参数中的至少之一，从至少一个网站中确定至少一个目标网站。
[0034] 根据本公开的实施例，第一特征参数可以用于表征网站的业务匹配度。网站的业务匹配度也可以称之为网站的业务价值契合程度，可以指网站的内容、设计、功能及其所提供的服务与网站的核心业务或目标市场之间的匹配程度。
[0035] 根据本公开的实施例，第二特征参数可以用于表示网站的活跃度。活跃度可以是在一定时间内访问、使用网站或网站提供的服务的频率和深度，可以包括登录频率、浏览页面数量、停留时间、互动行为（如评论、点赞、分享等）以及购买、注册等转化行为。
[0036] 根据本公开的实施例，至少一个网站可以理解为在历史的异常数据（例如非法）统计过程中存在错异常数据的网站的集合。至少一个目标网站可以理解为当前应用场景下需要统计的是否存在异常数据的网站的集合，可以是从至少一个网站中确定的。网站可以指移动设备和软件开发的社区网站。
[0037] 在本公开实施例一种可能的实现方式中，可以依据各个网站的第一特征参数对各个网站进行优先级的划分及排序，将优先级靠前的网站确定为目标网站，作为异常数据的重点关注对象，例如，将前50名的网站或前100名的网站确定为目标网站，具体本公开不作限制。优先级越高可以理解为网站的内容、设计、功能及其所提供的服务与网站的核心业务或目标市场之间的匹配程度越高。
[0038] 在本公开实施例另一种可能的实现方式中，可以依据各个网站的第二特征参数对各个网站进行优先级的划分及排序，将优先级靠前的网站确定为目标网站，作为异常数据（例如非法）的重点关注对象，例如，将前50名的网站或前100名的网站确定为目标网站，具体本公开不作限制。优先级越高可以理解为网站的活跃度越高。
[0039] 在本公开实施例又一种可能的实现方式中，可以依据各个网站的第一特征参数和第二特征参数同时对各个网站进行优先级的划分及排序，将优先级靠前的网站确定为目标网站，作为异常数据（例如非法）的重点关注对象，例如，将前50名的网站或前100名的网站确定为目标网站，具体本公开不作限制。优先级越高可以理解为网站的内容、设计、功能及其所提供的服务与网站的核心业务或目标市场之间的匹配程度越高，并且网站的活跃度越高。
[0040] 在操作S220，基于至少一个第一关键词和至少一个第二关键词采集来自至少一个目标网站的数据。
[0041] 根据本公开的实施例，采集的来自网站数据可以是公域信息，是在法律允许的范围内，可以为公众所获取，并且不会对任何机密构成威胁的信息。在采集的来自网站数据涉及私域信息时，均取得了用户或数据所属机构方的授权或同意，且数据的采集及处理均符合相关的法律法规，不违背公序良俗。
[0042] 根据本公开的实施例，第一关键词可以用于采集数据中包括第一关键词的数据项。第二关键词可以用于删除数据中包括第二关键词的数据项。第一关键词可以称之为正面关键词，也即对采集异常数据具有积极作用的关键词，数据中包括第一关键词的数据项例如是可能为异常数据的数据项。第二关键词可以称之为负面关键词，也即对采集异常数据具有干扰作用的关键词，也即需要排除的关键词。在数据采集过程中，直接排除包含第二关键词的数据项，不对其进行采集，以避免抓取不相关或不需要的信息。
[0043] 在操作S230，将数据输入大模型，输出数据的摘要信息。
[0044] 根据本公开的实施例，即使通过设计正面关键词和负面关键词通过采集来自目标网站的数据，采集的数据量也可能较大。为了快速地从采集的数据中确定异常数据，可以调用大模型的理解摘要功能的接口，将采集的每一条目数据输入大模型，将冗长的数据内容与相关评论进行摘要总结，得到每一条目数据的摘要信息。
[0045] 在操作S240，基于摘要信息生成第一报告。
[0046] 根据本公开的实施例，基于摘要数据，可以快速确定哪些数据为异常数据，进而将异常数据转化为报告，以便后续查看。
[0047] 通过实施例的数据处理方法，通过各个网站的第一特征参数和第二特征参数中的至少之一确定重点关注的网站，能够有效地识别和关注高价值的目标网站，针对性更强。采用正面关键和负面关键词相结合策略，相比于简单的关键词，能够有效提高异常数据挖掘的精准度和相关性，减少无关信息的干扰，从而降低了误报率和漏报率。在此基础上，由于采集的对象是高价值的目标网站，抓取的干扰数据减少，能够在减少数据采集量使得大模型运算量降低，从而节约了计算资源和硬件资源。
[0048] 以下将结合图3对本公开实施例的关键词确定过程进行示意性描述。图3示意性示出了根据本公开实施例的关键词确定过程的示意图。
[0049] 如图3所示，在一些实施例中，关键词的确定过程可以为：
[0050] 基于第一先验信息确定各个目标网站各自的至少一个第一初始关键词和至少一个第二初始关键词。
[0051] 基于至少一个第一初始关键词和至少一个第二初始关键词的搜索流量、搜索频率、关键词难度值中的至少之一，从至少一个第一初始关键词确定至少一个第一关键词，从至少一个第二初始关键词确定至少一个第二关键词。
[0052] 根据本公开的实施例，第一先验信息311包括确定历史异常数据所采用的关键词。也即在历史异常数据挖掘过程中已经存在或已知的知识、经验或资料。
[0053] 例如，在历史异常数据挖掘过程中，基于预先设定的关键词对网站的数据进行采集，经过分析后确定基于这些预先设定的关键词挖掘的数据确实为异常数据，则可以将这些预先设定的关键词作为第一先验信息311a存储起来，供后续异常数据的挖掘使用。本实施例中的第一初始关键词312a可以是基于第一先验信息311a确定的。
[0054] 又例如，在历史异常数据挖掘过程中，基于预先设定的关键词对网站的数据进行采集，经过分析后确定基于这些预先设定的关键词挖掘的数据部分为异常数据，部分为正常数据。则可以将采集异常数据的这些预先设定的关键词作为第一先验信息311a存储起来，将采集正常数据的这些预先设定的关键词作为第一先验信息311b存储起来，供后续异常数据的挖掘使用。本实施例中的第二初始关键词312b可以是基于第一先验信息311b确定的，以便排除数据采集过程中的干扰信息。
[0055] 根据本公开的实施例，在获取到第一初始关键词312a和第二初始关键词312b后，可以采用搜索引擎优化策略，分析目标网站的关键词策略，确定哪些关键词在目标网站的目标领域内具有较高价值。搜索引擎优化策略的指标可以包括关键词的搜索流量、关键词的搜索频率、关键词难度值中的至少之一。关键词的搜索流量是可以用于衡量关键词在搜索引擎中被搜索次数的指标，它反映了用户对某个关键词的兴趣程度和需求情况。关键词的搜索频率可以是在一定时间段内，用户通过搜索引擎输入特定关键词进行搜索的总次数。这个指标是衡量关键词受欢迎程度、用户兴趣点及市场需求的重要指标之一。关键词难度值可以是用于衡量在搜索引擎结果页面上通过某个特定关键词获得高排名的难易程度的指标，例如可以是一个分数或百分比，范围从0到100（或0%到100%）。数值越大，表示关键词的难度越高，即获得高排名的难度越大。
[0056] 应当理解，在获取关键词的搜索流量、关键词的搜索频率之前，均取得了用户的授权或同意，且数据的采集及处理均符合相关的法律法规，不违背公序良俗。
[0057] 基于搜索引擎优化策略的指标，可以对初步获取的第一初始关键词312a和第二初始关键词312b进行优化，确定最终的第一关键词321和第二关键词331。
[0058] 需要说明的是，不同的目标网站，其对应的搜索引擎优化策略可能不同，基于分析得到的第一关键词321和第二关键词331也可能不同。
[0059] 需要说明的是，在关键词确定过程中，也可以直接将初步确定的第一初始关键词312a和第二初始关键词312b作为第一关键词321和第二关键词331，不进行搜索引擎优化策略，可以根据具体的应用场景进行优化，本公开不作限制。
[0060] 需要说明的是，第一关键词和第二关键词的确定可以依据主题分别确定，也即每一主题可以对应各自的第一关键词和第二关键词，主题例如可以包括xposed、hook、root、定位篡改等技术相关主题。
[0061] 通过本实施例的数据处理方法，基于先验信息确定关键词，能够保证关键词确定的准确性。在此基础上，基于搜索引擎优化策略指标对初步确定的关键词进行进一步优化，能够提高数据采集的效率，进一步减少干扰信息，从而有效提高异常数据挖掘的精准度。
[0062] 以下将结合图4对本公开实施例的基于关键词采集目标网站的过程进行示意性描述。图4示意性示出了根据本公开实施例的基于关键词的优先级进行数据采集的示意图。
[0063] 在一些实施例中，基于至少一个第一关键词和至少一个第二关键词采集所述至少一个目标网站的数据，可以包括：
[0064] 针对至少一个目标网站中的各个目标网站，分别确定至少一个第一关键词中各个关键词的优先级，优先级用于指示关键词的采集顺序。
[0065] 基于各个目标网站各自的优先级，按照优先级指示的关键词采集顺序，采集目标网站的数据。
[0066] 基于各个目标网站各自的优先级，为数据中包含各个第一关键词的数据项添加标记。
[0067] 根据本公开的实施例，不同类型的目标网站，对应的异常数据可能相同不同，相应的异常数据包含的关键词可能相同或不同。并且，目标网站对应的异常数据可能有多条。
[0068] 如图4所示，例如，基于历史数据，对于目标网站420a，目标网站420a可能包含异常数据421a、异常数据422b、异常数据423c，分别对应的第一关键词可以为第一关键词421、第一关键词422、第一关键词423。异常数据421a的条目数例如大于异常数据422b的条目数，异常数据421b的条目数例如大于异常数据422c的条目数，也即对于目标网站420a，出现异常数据421a的概率要大于出现异常数据422b的概率，出现异常数据421b的概率要大于出现异常数据422c的概率。因此，第一关键词421、第一关键词422和第一关键词423的优先级例如可以为第一关键词421的优先级大于第一关键词422的优先级，第一关键词422的优先级大于第一关键词423的优先级。
[0069] 对于目标网站420b，目标网站420b可能包含异常数据421a、异常数据422b、异常数据424d，分别对应的第一关键词可以为第一关键词421、第一关键词422和第一关键词424。异常数据422b的条目数例如大于异常数据421a的条目数，异常数据421a的条目数例如大于异常数据422d的条目数，也即对于目标网站420b，出现异常数据422b的概率要大于出现异常数据421a的概率，出现异常数据421a的概率要大于出现异常数据424d的概率。因此，第一关键词421、第一关键词422和第一关键词424的优先级例如可以为第一关键词422的优先级大于第一关键词421的优先级，第一关键词421的优先级大于第一关键词424的优先级。
[0070] 按照上述确定的优先级分别对来自目标网站420a和目标网站420b的数据进行采集。
[0071] 通过本实施例的数据处理方法，通过为不同类型的目标网站设置第一关键词的检索优先级，按照各自的优先级对来自目标网站的数据进行采集，使得关键词策略更符合各个网站的数据特性，进一步有效提高异常数据抓取的精准度和相关性。并且，基于关键词的优先级进行数据采集后添加标记，能够方便后续相关度高的查看。
[0072] 在一些实施例中，分别确定至少一个第一关键词中各个关键词的优先级，可以包括：
[0073] 基于至少一个第一关键词中包含的长尾关键词、第一关键词的大小写组合、谐音、错别字、俚语、缩写中的至少之一，确定至少一个第一关键词中各个关键词的优先级。
[0074] 例如，对于使用第一语言（例如中文）的目标网站，包含谐音、错别字的第一关键词的优先级可以高于包含大小写组合、俚语、缩写、长尾关键词的第一关键词的优先级。又例如，对于使用第二语言（例如英语）的目标网站，包含大小写组合、俚语、缩写、长尾关键词的第一关键词的优先级可以高于包含谐音、错别字的第一关键词的优先级。第一关键词优先级的可以根据实际网站的类型确定，本公开的实施例不作限制。
[0075] 通过本实施例的数据处理方法，基于至少一个第一关键词中包含的长尾关键词、第一关键词的大小写组合、谐音、错别字、俚语、缩写中的至少之一确定各个第一关键词的优先级，使得确定与各个目标网站更加适配的关键词的优先级，从而使得关键词策略更符合各个网站的数据特性，进一步有效提高异常数据抓取的精准度和相关性。
[0076] 在一些实施例中，在确定第一关键词和第二关键词之后，可以利用爬出技术，基于第一关键词和第二关键词采集来自目标网站的数据。可以利用爬出技术直接在目标网站的各个网页节点下遍历，获取数据，例如评论帖。
[0077] 爬虫技术采用的爬虫策略可以是延迟和时间策略。在一种可能的实现方式中，延迟和时间策略可以是固定延迟，通过设置固定延迟时间向服务器发送查询请求，以获取来自各个目标网站的数据。在另一种可能的实现方式中，延迟和时间策略可以是随机延迟，通过生成随机的延迟时间，使请求的间隔符合自然的访问行为。在又一种可能的实现方式中，延迟和时间策略可以自适应延迟，根据上一次请求的结果或响应时间来动态调整下一次请求的延迟时间。例如，如果上一次请求的响应时间较长，可以适当增加下一次请求的延迟时间；反之，如果响应时间较短，可以适当减少延迟时间。基于延迟和时间策略，避免短时间发送大量请求给服务器造成负担。
[0078] 在一些实施例中，可以将采集的来自各个目标网站的数据按照标签进行存储，例如，存储的方式可以为「标签：网站：链接：标题+时间：内容：评论+时间」，后续可以基于标签，根据业务需求去查看集获取相应的保存的数据。
[0079] 在一些实施例中，基于摘要信息生成第一报告，可以包括：
[0080] 基于第二先验信息对摘要信息进行筛选，基于筛选后的摘要信息从数据中确定异常数据，第二先验信息包括历史异常数据。
[0081] 为异常数据添加第一标签，第一标签用于表示存在异常数据的目标网站包括的衍生工具、目标网站版本、登录目标网站的设备的机型、设备的漏洞、篡改的文件、目标网站存在异常数据的场景中的至少之一。
[0082] 基于第一标签和异常数据生成第一报告。
[0083] 根据本公开的实施例，由于基于第一关键词和第二关键词爬取的数据并不一定都是异常数据，可能还会存在误判的情况，因此，还可以基于历史异常数据对当前获取的数据进行二次筛选，删除存在误判的数据，确定真实存在异常的数据，并提取出异常数关联的技术、工具、活动等关键信息。其余数据也可以不用丢弃，存储供后续的学习。提取出这些关键信息后，可以基于这些关键信息对异常数据添加更加详细的标签。
[0084] 通过本实施例的数据处理方法，基于第一先验信息对获取的数据进行二次筛选，能够进一步提升采集的异常数据的准确性。基于关键信息为异常数据添加标签，便于后期准确查看对应类型的异常数据。
[0085] 在一些实施例中，基于摘要信息生成第一报告，可以包括：
[0086] 针对数据处理所处的阶段类型，基于数据、摘要信息和异常数据生成具有对应时效的第一报告，所述阶段类型包括数据采集阶段、汇报阶段、风险策略制定阶段以及汇总阶段。
[0087] 根据本公开的实施例，在数据采集阶段，可以基于采集的目标网站的原始网页信息生成第一包括。在风险策略制定阶段，可以对原始网页信息或摘要信息进行挖掘，得到风险信息，基于风险信息生成第一报告。在汇报阶段，可以基于风险信息生成业务威胁报告作为第一报告。在汇总阶段，可以对之前阶段产出的报告进行汇总，生成第一报告，例如详细的安全威胁与风险监测报告。
[0088] 根据本公开的实施例，可以根据业务需求以及时效性，选择性地上传不同时期的第一报告，构建全生命周期的报告体系。
[0089] 通过本实施例的数据处理方法，针对不同阶段类型生成满足对应时效性的相关报告，能够满足异常数据采集及分析的时效性的要求。
[0090] 在一些实施例中，基于摘要信息生成第一报告，还可以包括：
[0091] 为第一报告添加第二标签，第二标签至少包括第一报告所属的目标网站的身份标签、异常数据的内容索引标签、不同阶段类型的第一报告的生命周期标签。
[0092] 基于第一标签和所述第二标签对第一报告进行存储及编辑。
[0093] 根据本公开的实施例，在第一报告的数量超过一定阈值时，可以对第一报告进行标签化建设，以便于后续的查看。
[0094] 以下将结合图5对应用本公开实施例的基于大模型的数据处理方法进行非法数据的挖掘进行示意性描述。图5示意性示出了应用本公开实施例的基于大模型的数据处理方法进行非法数据的挖掘的示意图。
[0095] 如图5所示，基于大模型的数据处理方法，非法数据的挖掘可以包括四个阶段：前期工作建设、数据采集与识别、风险策略制定及报告生成以及情报信息建设。
[0096] 例如，前期工作建设可以包括网站账号管理，目标网站选择以及关键词库构建，也即包含第一关键词的正面关键词库，包含第二关键词的负面关键词库。
[0097] 例如，数据采集与识别可以包括信息爬取、信息保存和目标识别。
[0098] 例如，风险策略制定及报告生成可以包括风险评估、策略制定和报告产出。风险评估可以是基于先验信息对摘要信息进行二次筛选，确定真实非法数据。策略制定可以是针对非法数据进行挖掘，收集非法技术、非法工具以及行为等等，针对详细的非法工具进行风险挖掘，制定相关风控策略。报告产出可以是基于「原始网页信息」、「摘要总结」、「风险挖掘信息」，并结合实际作弊场景、相关技术原理、检测手段与策略等角度，可以较为容易的产出一个安全威胁与风险监测报告。报告需要涵盖报告摘要、信息标签、原始材料信息、非法攻击手段、非法攻击原理、非法作弊场景、非法作弊手段复现、风险特征、安全因子、使用策略、相关代码简要说明、策略使用现状等信息。详细的报告对于非法数据共享至关重要。
[0099] 例如，情报信息建设可以包括情报数据库构建、信息共享与合作和持续优化学习。
[0100] 情报数据库构建可以包括：
[0101] 基于先前工作，对于某一个具体论坛涉及的非法技术、工具、行动，在不同的阶段都可以产出不同的报告：信息爬取时期基于大模型的「风险信息摘要报告」、向上汇报业务价值确认时期的「业务威胁报告」、风控策略制定时期的「检测策略报告」、详细的「安全威胁与风险监测报告」。根据业务需求以及时效性，选择性地上传不同时期的相关报告，构建全生命周期的威胁情报体系。
[0102] 在报告数量到达一定程度后，需要对其进行标签化关键建设。基于先前工作，目前我方拥有「主题标签」、「内容索引标签」、「二次标签」、「生命周期标签」等多维度进行报告管理，可以如下：
[0103] 「主题标签」：初始设定的主题，例如定制、xposed、hook、root、改机等。
[0104] 「内容索引标签」：根据爬虫信息的：平台、链接、时间等。对于此标签价值在于可以通过时间层面进行筛选。
[0105] 「二次标签」：涵盖详细非法工具、系统版本、设备机型、使用场景、安卓漏洞、修改文件等。
[0106] 「生命周期标签」：信息爬取时期、业务价值确认时期、风控策略制定时期、业务复盘最终报告。
[0107] 由于产出报告较多，同时安全团队涉及业务广泛、个人风格明显、方向细致，为了高效产出、美观、信息共享，需要模版化产出报告。初步认为每一个时期、每个详细业务，都需要有对应的模版。
[0108] 对其他技术人员技术学习、业务了解都有很大帮助；增加报告美观程度；方便进行信息索引；规定模块方便，高效产出；根据业务需求，自定义地增加报告撰写模块，方便其他人员了解报告的信息增量。
[0109] 如果技术人员觉得报告模块太多，可以选择需要的模块写或者采取「简短报告模版」。例如，有的报告只是一个表，但是最好写个摘要或者背景、目的。
[0110] 信息共享与合作可以包括：
[0111] 内部共享：颗粒度可以分为业务人员、安全SDK团队人员、风控团队人员。
[0112] 多平台共享：为了扩大团队影响力，部分报告可以通过信息删减以后，在各大平台发布。
[0113] 初具规模以后，可以辅助其他业务发展。
[0114] 资源共享：涉及到技术资源、服务器、网络资源等。例如我方在建设爬虫IP资源时，可能需要借助其他单位的IP池或者账户管理资源。
[0115] 数据共享：与其他友商共享最新的威胁信息和攻击模式、IP信息源、移动安全漏洞。
[0116] 策略共享：与其他友商交流和分享有效的安全防御策略。
[0117] 持续学习与优化可以包括：
[0118] 中期评估系统效果：基于一阶段情报体系建设情况，根据业务需求契合度、情报结果准确度与有效性、资源利用率等方面对整体建设环境进行优化与反馈。优化主要集中在站点目标选择、爬虫关键词、爬虫策略、模型总结与翻译等环节。
[0119] 非法技术的发展趋势复盘：基于现有报告，对于某个非法主题，可以进行季度、年度报告总结。
[0120] 需要说明的是，上述非法数据的挖掘涉及的数据采集均为经授权的信息和数据，并且相关数据的收集、存储、使用、加工、传输、提供、公开和应用等处理，均遵守相关法律法规和标准，采取了必要保密措施，不违背公序良俗，并提供有相应的操作入口，供选择授权或者拒绝。
[0121] 根据本公开的实施例，上述非法数据挖掘方法，通过设定目标优先级和构建关键词库，能够更有效地识别和关注高价值的目标，与竞争对手相比更具针对性。采用正面和负面关键词策略，结合SEO分析，能够提高信息抓取的精准度和相关性，减少无关信息的干扰。利用大模型理解和摘要技术，快速筛选和处理大量信息，提升效率，同时支持多语言处理能力。通过标签化管理和规范化模板，能够对情报报告进行高效组织和管理，便于信息的检索和共享。基于风险评估和策略制定，能够快速响应和调整策略，增强系统的敏捷性和适应性。支持多平台的信息共享和与其他厂商的合作，扩大影响力并提升情报的价值。系统设计关注持续学习与优化，能够根据业务需求和技术趋势进行动态调整，保持竞争优势。
[0122] 图6是根据本公开的一个实施例的基于大模型的数据处理装置的框图。
[0123] 如图6所示，该基于大模型的数据处理装置600可以包括第一确定模块610、采集模块620、输入输出模块630和生成模块640。
[0124] 第一确定模块610，用于基于至少一个网站中各个网站各自的第一特征参数和第二特征参数中的至少之一，从至少一个网站中确定至少一个目标网站，第一特征参数用于表征网站的业务匹配度，第二特征参数用于表示网站的活跃度。
[0125] 采集模块620，用于基于至少一个第一关键词和至少一个第二关键词采集来自至少一个目标网站的数据，第一关键词用于采集数据中包括第一关键词的数据项，第二关键词用于删除数据中包括第二关键词的数据项。
[0126] 输入输出模块630，用于将数据输入大模型，输出数据的摘要信息。
[0127] 生成模块640，用于基于摘要信息生成第一报告。
[0128] 根据本公开的实施例，采集模块基于至少一个第一关键词和至少一个第二关键词采集至少一个目标网站的数据，包括：
[0129] 针对至少一个目标网站中的各个目标网站，分别确定至少一个第一关键词中各个关键词的优先级，优先级用于指示关键词的采集顺序。
[0130] 基于各个目标网站各自的优先级，按照优先级指示的关键词采集顺序，采集目标网站的数据。
[0131] 基于各个目标网站各自的优先级，为数据中包含各个第一关键词的数据项添加标记。
[0132] 根据本公开的实施例，采集模块分别确定至少一个第一关键词中各个关键词的优先级，包括：
[0133] 基于至少一个第一关键词中包含的长尾关键词、第一关键词的大小写组合、谐音、错别字、俚语、缩写中的至少之一，确定至少一个第一关键词中各个关键词的优先级。
[0134] 根据本公开的实施例，基于大模型的数据处理装置600还包括：
[0135] 第二确定模块，用于基于第一先验信息，确定各个目标网站各自的至少一个第一初始关键词和至少一个第二初始关键词，第一先验信息包括确定历史异常数据所采用的关键词。
[0136] 分析模块，用于基于至少一个第一初始关键词和至少一个第二初始关键词的搜索流量、搜索频率、关键词难度值中的至少之一，从至少一个第一初始关键词确定至少一个第一关键词，从至少一个第二初始关键词确定至少一个第二关键词。
[0137] 根据本公开的实施例，生成模块基于摘要信息生成第一报告，包括：
[0138] 基于第二先验信息对摘要信息进行筛选，基于筛选后的摘要信息公数据中确定异常数据，第二先验信息包括历史异常数据。
[0139] 为异常数据添加第一标签，第一标签用于表示存在异常数据的目标网站包括的衍生工具、目标网站版本、登录目标网站的设备的机型、设备的漏洞、篡改的文件、目标网站存在异常数据的场景中的至少之一。
[0140] 基于第一标签和异常数据生成第一报告。
[0141] 根据本公开的实施例，生成模块基于摘要信息生成第一报告，还包括：
[0142] 针对数据处理所处的阶段类型，基于数据、摘要信息和异常数据生成具有对应时效的第一报告，阶段类型包括数据采集阶段、汇报阶段、风险策略制定阶段以及汇总阶段。
[0143] 根据本公开的实施例，生成模块基于摘要信息生成第一报告，还包括：
[0144] 为第一报告添加第二标签，第二标签至少包括第一报告所属的目标网站的身份标签、异常数据的内容索引标签、不同阶段的第一报告的生命周期标签。
[0145] 基于第一标签和第二标签对第一报告进行存储及编辑。
[0146] 图7示意性示出了根据本公开实施例的人工智能的大模型的结构框图。
[0147] 在本公开的实施例中，如图7所示，大模型700可以包括五个核心模块：输入模块710、控制模块720、存储模块730、运算模块740和输出模块750。
[0148] 输入模块710负责接收或感知来自外界(例如用户或外部环境)的查询、请求、指令、信号或数据等信息，并将其转换为大模型700能够理解和处理的格式。输入模块710是大模型700与外界进行交互的首要环节，它使得大模型700能够高效、准确地从外界获取必要的“感官”信息，并对这些信息做出响应。
[0149] 例如，以大模型应用于数据处理这一示例为例进行说明：
[0150] 输入模块710可以输入采集的来自各个目标网站的数据。
[0151] 控制模块720是大模型700处理复杂任务能力的核心支撑。控制模块720可以执行基于大模型的摘要信息提取。
[0152] 控制模块720在运行过程中将会不断地与存储模块730、运算模块740和/或输出模块750进行交互。然而，需要注意的是，控制模块720作为单一发起方来发起对存储模块730、运算模块740和/或输出模块750的通信，而存储模块730、运算模块740、输出模块750之间没有通信耦合。
[0153] 控制模块720的性能可以与大模型700所基于的大模型息息相关。为了充分发挥大语言模型的能力，控制模块720的内部结构可以被设计成高度可配置、可扩展的，以便应对真实场景下各种不同类型的任务和需求。
[0154] 存储模块730可以负责对处理过程中产生的信息进行记忆。如前的摘要信息可以被包括在存储模块730中。
[0155] 大模型700在获取来自各个目标网站的数据后，大模型700可以利用摘要提取模型从来自各个目标网站的数据提取各个数据的摘要信息。摘要信息可以被存入存储模块730中。大模型700可以将该摘要信息传递给输出模块750。
[0156] 运算模块740可以被看作是一个预定义的工具库。
[0157] 在大模型700需要对多个数据进行摘要提取时，可以从运算模块740中调用相关的工具，并将其反馈给控制模块720。然后，控制模块720可以利用反馈回的工具进行摘要信息的提取，并将提取的摘要信息传递给输出模块750。可以理解，虽然大语言模型有着优异的语言理解与生成能力，但它与人一样，不借助任何工具，能够解决的任务是很有限的。当大模型700被赋予工具调用的能力后，就可以实现诸如借助计算器完成数学运算、完成数据分析。
[0158] 在示例中，输出模块750可以输出前文描述的摘要信息。
[0159] 根据本公开实施例的大模型700可以简单且有效地提升智能化程度，并提升灵活性和通用性。
[0160] 根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
[0161] 图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
[0162] 如图8所示，电子设备800包括计算单元801，其可以根据存储在只读存储器（Read‑Only Memory，ROM）802中的计算机程序或者从存储单元808加载到随机访问存储器（Random Access Memory，RAM）803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储电子设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出（Input/ Output，I/O）接口805也连接至总线804。
[0163] 电子设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许电子设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0164] 计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元（Central Processing Unit，CPU）、图形处理单元（Graph Processing Unit，GPU）、各种专用的人工智能（Artificial Intelligence，AI）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（Digital Signal Processor，DSP）、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如智能体的发布方法。例如，在一些实施例中，智能体的发布方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到电子设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的智能体的发布方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行智能体的发布方法。
[0165] 本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（Field Programmable Gate Array，FPGA）、专用集成电路（Application Specific Integrated Circuit，ASIC）、专用标准产品（Application Specific Standard Parts，ASSP）、芯片上系统的系统（System On Chip，SOC）、复杂可编程逻辑设备（Complex Programmable Logic Device，CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0166] 用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0167] 在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器、只读存储器、可擦除可编程只读存储器（Erasable Programmable Read‑Only Memory，EPROM）或快闪存储器、光纤、便捷式紧凑盘只读存储器（Compact Disc Read‑Only Memory，CD‑ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0168] 为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，阴极射线管（Cathode Ray Tube，CRT）显示器或者液晶显示器（Liquid Crystal Display，LCD））；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
[0169] 可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（Local Aera Network，LAN）、广域网（Wide Aera Network，WAN）和互联网。
[0170] 计算机系统可以包括终端设备和服务器。终端设备和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有终端设备‑服务器关系的计算机程序来产生终端设备和服务器的关系。
[0171] 应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
[0172] 上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
