首页 / 生成和利用渠道分配模型来进行资源分配推荐

生成和利用渠道分配模型来进行资源分配推荐实质审查 发明

技术领域

[0001] 本公开总体上涉及用于确定媒体渠道的直接和间接关系以用于确定未来资源分配的系统和方法。

相关背景技术

[0002] 计算装置可以执行数据处理并运行机器学习模型。用户可以参与各种线上和线下活动,这可能导致信息暴露给用户。用户的后续活动可受到先前活动和信息暴露的影响。

具体实施方式

[0048] 总体上,本公开涉及一种用于确定媒体渠道的直接和间接关系以用于确定未来资源分配的渠道分配模型。渠道分配模型包括用于针对多个媒体渠道问题拟合多维数据的机器学习方法。建模方法可以包括用于识别变量的底层结构和相互关系的结构学习步骤,以及用于更新因果图(例如,贝叶斯网络)的定量部分的参数学习步骤,并且可以量化每个变量对结果的影响的大小。该模型可以用于基于对各种媒体渠道的分配来预测结果,并且可以用于优化对相应渠道的资源分配。
[0049] 来自各种媒体渠道的数据很复杂,并且可以以不同的形式获得。分析该数据以确定资源分配的效率对于规划未来资源分配是重要的。本公开利用数学形式化的概率图模型并配以机器学习和算法优化的辅助来识别各种媒体渠道之间的直接和间接关系。这可以允许自动化因果推理和预测。
[0050] 可以采用贝叶斯方法与非参数方法相结合,以通过将联合分布分解为每个变量在给定其父项的情况下的局部条件分布(例如,马尔可夫毯)来实现紧凑的计算。与通常计算成本高的常用马尔可夫链蒙特卡罗(Markov Chain Monte Carlo,MCMC)采样方法相比,这提供了增加的计算效率。
[0051] 本方法还包括确定网络的结构(例如,哪些节点连接到哪些节点以及哪些连接更强),而不是像隐马尔可夫模型(Hidden Markov Model,MM)、朴素贝叶斯(Naive Bayes)和神经网络(NN)进行的那样严格地正确地确定输入‑输出绑定的预测。这允许生成用于显示的演示,包括媒体渠道(或其他媒体变量)之间的非线性、协同效应和其他交互。
[0052] 传统上,先前的渠道分配方法孤立地看待了媒体渠道(及其相应表现)。然而,基于资源分配导致经由各种媒体形式使用户暴露于内容项目而对执行的目标行动(例如,转化率、销售量等)的影响是相关的。另外,资源分配导致在各种媒体渠道中的用户暴露对转化率的影响通常不是钟形曲线正态分布,而是通常包括针对各种事件(例如,季节性、PR事件)的资源分配(例如,计算资源、网络资源、带宽资源、支出)增加。虽然存在对数据进行转换并允许缺失值填补方法的当前方法,但这些方法会导致数据结构和数据集的改变,使得数据结构和数据集在各种应用中更难解释或使用。另外,由于现有模型的复杂性,与当前方法相关联的技术问题是过拟合问题。
[0053] 本公开通过构建一套对数据假设稳健且易于扩缩的经机器学习的建模能力来为该技术问题提供技术解决方案。这些建模能力的输出可以用于更有效率地分配资源以改进期望的目标结果(例如,转化率、在获得指示用户选择或与一个或多个交互式数字组件的交互的数据方面的增加、对有限用户界面显示空间的更有效率的分配等)。本公开将解决方案集中在以下关键指标上:内容项目显示对增加目标行动的有效性(例如,归因、有效性)以及特定媒体渠道对增加目标行动的效率(例如,资源分配效率)。该方法允许加快使用机器学习进行的对媒体渠道表现的建模过程,并且允许接近实时地学习资源分配对所执行的目标行动的影响。
[0054] 本公开的示例方面可以提供多种技术效应和益处。例如,示例方面涉及改进用户对与用户或用户任务相关的联网资源的访问,或者以其他方式促进用户在操作计算系统时的意图。例如,通过确定用于向用户呈现内容项目(例如,经由各种电子表面、各种媒体渠道等)的适当资源分配以提供可选择的输入元素来经由用户计算装置的用户界面进行填充,计算装置可以提供更有效率的用户‑机器界面来完成任务并执行否则可能需要更复杂或间接的输入序列的行动。例如,在用户界面上填充的用户输入元素可以直接链接到与用户期望的项目相关的网络资源,而不是需要访问提供选项索引的第一网络资源、选择供应商的选项、滚动浏览来自供应商的各种项目并最终选择期望的项目。通过学习基于与实现用户任务或目标相关的概率来预测在用户界面上填充的输入元素,根据本公开的系统和方法可以提供更直接和有效率的用户界面以用于完成用户正在使用计算装置进行的特定任务(例如,目标行动、转化率)。例如,以这种方式,可以减少用于渲染多个不同界面以实现给定任务的计算资源(例如,计算周期、存储器资源、电气资源等)。此外,可以通过提供更有效率和直接的用户界面流程以用于完成给定任务来改进用户‑机器界面。因此,本公开可以提供更有效率的计算资源分配,以防止冗余数据传送或将不相关的输入元素项目或内容项目传达给与用户相关联的计算装置。
[0055] 另外,本公开可以基于确定特定媒体渠道的全局表现值而不是确定个体用户级别的表现来提供增加的用户隐私。因此,该解决方案可以提供对聚合数据而不是与特定用户或用户装置相关联的数据的分析。
[0056] 本文描述的系统和方法可以以任何时间间隔执行。例如,系统和方法可以每天、每周、每月、每年等执行。本公开的益处包括能够生成代表各种媒体渠道之间的关系的因果图(例如,以有向无环图(DAG)的形式),即使使用细粒度(例如,每日)数据,也能比传统方法更快地提供见解。这允许以计算成本较低的方式为具有较少市场历史和较小支出金额的营销活动生成预测和推荐。可以参考附图进一步理解与本文讨论的系统和方法相关联的改进。
[0057] 图1描绘了与本文描述的渠道分配模型的实现方式相关联的示例流程100。数据流100可以由计算系统(例如,计算系统600)执行。数据流100可以由单个装置或跨多个装置在计算系统(例如,计算系统600)中执行。数据流100可以包括数据准备阶段105。数据流100可以包括因果图生成阶段110、归因和广告支出回报(ROAS)计算阶段125、以及资源分配确定阶段140。每个阶段可以包括子阶段。举例来说,因果图生成阶段110可以包括结构学习阶段
115和参数学习阶段120。
[0058] 数据准备阶段105可以包括从多个来源获得数据。例如,来源可以包括多个媒体渠道、所聚合的数据等。所准备的数据可以包括单位销售量(或激活率)、日活跃用户(DAU)(或其他应用使用率数据)、媒体印象、按媒体渠道的支出(例如,按指定市场区域(DMA)的每周支出)、非媒体数据(例如,价格折扣、零售设备、商店促销、竞争性支出)、零售营销数据、促销数据、与历史资源分配相关联的数据(例如,一个或多个月的媒体支出)、地理级别(例如,邮政编码、城市或DMA级别)的每日数据(例如,各种媒体渠道的资源分配、销售量、转化率)、地理级别(例如,邮政编码、城市或DMA级别)的每周数据(例如,各种媒体渠道的资源分配、销售量、转化率)、或跨不同时间段的不同媒体权重(例如,当没有为媒体渠道分配资源以对应于预期基准时)。媒体渠道可以包括例如数字媒体、搜索、电视和销售等。系统可以将所获得的数据输入到一个或多个机器学习模型中并获得输出。
[0059] 在一些实现方式中,所获得的数据可以呈多种形式。数据准备阶段105可以包括标准化方法,以将数据翻译成可以输入到如本文描述的一个或多个经机器学习的模型或统计模型中的形式。
[0060] 在因果图生成阶段110,系统可以获得所准备的数据作为输入。举例来说,第一机器学习模型可以与结构学习阶段115相关联,并且第二机器学习模型可以与参数学习阶段120相关联。在一些实现方式中,结构学习阶段115可以包括获得包括影响结果(例如,转化率)的多个特征的输出。在一些实现方式中,特征可以包括媒体渠道。因果图可以包括多个节点和多个边。因果图可以呈贝叶斯信念网络的形式。
[0061] 在一些实现方式中,参数学习阶段120可以包括获得包括边(例如,具有方向和大小)的输出,所述边代表在结构学习阶段115期间确定的多个特征之间的关系。输出可以指示营销、非营销和业务表现变量之间的直接和间接关系,以允许在数据流100的其他阶段进行自动化因果推理和预测。将关于图2进一步详细地描述结构学习阶段115和参数学习阶段120(例如,结构学习阶段215和参数学习阶段220)。
[0062] 归因和ROAS计算阶段125可以包括预测阶段130和准确性阶段135。归因和ROAS计算阶段125可以包括执行对相应媒体渠道的各种资源分配将如何影响表现或另一相关指标的预测。例如,指标可以包括关键表现指标(KPI)、每单位销售的成本、总销售量到相应媒体渠道的归因等。KPI可以包括销售量、线下(例如,商店)激活率、应用使用率或零售地点的人流量。将关于图2进一步详细地描述归因和ROAS计算阶段125(例如,归因和ROAS计算阶段225)。
[0063] 另外或替代地,可以分析所预测的贝叶斯信念网络的准确性,以帮助更新代表各种特征之间的关系的因果图。例如,因果图可以呈代表各种特征之间的关系的有向无环图(DAG)的形式。DAG可以包括表示各种变量(例如,媒体渠道、特征等)的节点和表示各种变量(例如,媒体渠道、特征等)之间的关系的边。边可以具有方向和大小。边的方向可以指示两个节点之间的因果关系或相关关系的方向。边的大小可以指示两个节点之间的因果关系或相关关系的强度。
[0064] 举例来说,因果图(或图模型)可以经由DAG表示一组随机变量及其条件依赖性。图模型结构与相关联参数相结合可以定义一组节点(例如,变量、特征、渠道)上的联合概率分布。可以确定经机器学习的条件依赖性,这可有助于评估与输入数据相关联的定性测量和定量测量两者。
[0065] 基于在归因和ROAS计算阶段125确定的指标,数据流100可以包括资源分配确定阶段140。系统可以采用多种方法来确定如何分配未来资源。例如,资源可以包括计算资源、财务资源等。
[0066] 图2描绘了具有比图1更细粒度的细节的示例数据流200。数据流200可以由计算系统(例如,计算系统600)执行。数据流200可以由单个装置或跨多个装置在计算系统(例如,计算系统600)中执行。数据流200可以包括数据准备阶段205、因果图生成阶段210、归因和ROAS计算阶段225以及资源分配确定阶段240。数据准备阶段205和资源分配确定阶段240通常可以分别与数据准备阶段105和资源分配确定阶段140一致。
[0067] 因果图生成阶段210可以包括结构学习阶段215和参数学习阶段220。因果图生成阶段210可以包括使用一个或多个机器学习或开源平台,该一个或多个机器学习或开源平台提供对数据和模型的快速处理。
[0068] 在一些实现方式中,因果图生成阶段210可以是贝叶斯信念网络生成阶段。结构学习阶段215可以包括特征选择210A和信念更新210B。在结构学习阶段215,可以确定变量之间的底层结构和关系。所述关系可以包括因果关系或相关关系。
[0069] 特征选择210A可以包括确定要包括在结构中的一个或多个特征(例如,变量、渠道)。系统可以确定相应变量彼此之间的链接。在一些实现方式中,可以使用禁忌搜索学习(Tabu Search learning)算法来确定变量之间的关系。举例来说,变量可以指示媒体渠道。在一些实现方式中,变量可以包括付费媒体渠道、竞争者、外部因素、搜索渠道、受众、品牌效应和销售量。数据流可以生成包括变量及其相应关系的结构。关于图3描述了示例结构的描绘。在一些实现方式中,变量可以对其他变量具有直接和间接的影响。例如,付费媒体渠道可以对销售量具有直接影响,而且对销售量具有附加的间接影响。举例来说,付费媒体渠道可以对搜索渠道具有直接影响,并且搜索渠道可以对销售量和品牌效应渠道具有直接影响。品牌效应渠道可以对销售量具有直接影响。因此,付费媒体渠道可以经由对搜索渠道的直接影响、外部因素和竞争者来对销售量具有间接影响。
[0070] 虽然可以通过分析所准备的数据来用文字描述这些连接和/或用表示条件概率的公式来表示关系,但本公开提供了生成因果图,该因果图可以提供变量之间的连接的可视化。这可以获取复杂的数据并将其转换成可以为用户提供易于理解的视觉资料的形式。另外,可以利用条件概率和由本文中的各种模型执行的复杂数据分析来执行资源分配确定(例如,在资源分配确定阶段240)。并且这可以提供技术益处,该技术益处包括对数据经由具有有限显示空间的用户装置的显示的优化。
[0071] 信念更新210B可以包括基于附加处理来更新相应变量之间的关系。例如,信念更新210B可以包括利用一种或多种机器学习技术来识别感兴趣的变量(例如,重要变量)。例如,机器学习模型可以分析包括大量变量(数十个、数百个等)的数据。包括所有变量的因果图可能会产生无法提供有价值见解的不可读的图。本公开提供了用于确定要包括在因果图中的最相关变量以为用户提供显示并在资源分配确定阶段240中进行利用的系统和方法。
[0072] 机器学习技术可以包括例如随机森林。随机森林可以是通过模型投票或平均来聚合到单个集成模型中的元估计器。在一些实现方式中,随机森林可以胜过个体决策树的输出。例如,决策树可为训练起来计算成本高的,并且可存在过拟合以及找到局部最优的风险。
[0073] 在一些实现方式中,最终的因果图(例如,表示为DAG的最终网络)可以是经由数百个自助式网络的自助聚合或袋装法实现的集成网络(例如,模型平均)。通过生成集成网络,可以学习具有高稳定性的稳健网络。
[0074] 在附加或替代实现方式中,可以通过随机森林计算变量重要性以用于特征选择并且辅助赞成或惩罚因果图(例如,表示为DAG的网络)中包括特定关系。在一些实现方式中,系统可以通过执行超过100个或更多个网络的自助聚合来获得最终网络,以有助于统计稳健性。自助聚合可以另外有助于对经学习的网络的置信,使得重要特征对观测结果的扰动可以为稳健的。
[0075] 参数学习阶段220可以包括定制拟合220A和参数正则化220B。参数学习阶段220可以包括更新贝叶斯网络的定量部分和每个变量对结果的影响的大小的量化。
[0076] 在一些实现方式中,变量可以是连续变量。对于连续变量,系统可以利用基于分数的爬山算法(score‑based hill climbing algorithm)来确定每一步的最大分数改进(例如,拟合优度)。在一些实现方式中,混合媒体营销数据可以是离散的。可以通过被设计用于处理离散数据的模型来学习用于分类数据的离散贝叶斯网络。
[0077] 在一些实现方式中,媒体营销数据可以包括连续变量。可以通过被设计用于处理连续数据的模型来学习高斯贝叶斯网络。最大似然估计和贝叶斯后验估计可以是可获得的。举例来说,计算系统可以确定后验概率以降低维度。在一些实现方式中,计算系统可以在确定后验概率时仅考虑贝叶斯信念网络中的局部分布。
[0078] 定制拟合220A可以包括通过定制拟合来估计稳健系数。定制拟合可以包括例如惩罚回归、弹性网回归等。
[0079] 参数正则化220B可以包括更稳健的参数估计,而无需用户手动搜索变量之间不同交互顺序。还可以在不依赖线性或可加性假设的情况下执行稳健参数估计。举例来说,可以使用基于核的正则化最小二乘(KRLS)模型来执行参数正则化220B。这可以提供技术益处。例如,KRLS允许过拟合的最小化、减少不良杠杆点(例如,远离回归线的异常值)的影响、以及对小样本大小执行正则化的能力。
[0080] 可以以如本文描述的DAG的形式学习因果图(例如,概率图)。DAG可以通过数据(及其分析)来确定并凭经验推动,而不受数据分析中人为偏见的影响。DAG的结构可以对应于模型中变量的一组条件依赖性语句。在一些实现方式中,变量是不连接的(例如,两个节点之间没有边)。这种连接缺乏可以指示条件独立性语句。条件独立性可以指示一个变量的改变不会导致独立变量的改变。
[0081] 在图3中描绘了示例因果图(例如,经学习的网络、DAG、贝叶斯信念网络)。各种连接指示对其他变量具有直接影响的变量之间的关系。例如,图3描绘了示例图形表示300(例如,视觉表示),可以提供该示例图形表示以用于经由用户装置的用户界面来显示。举例来说,图形表示300可以包括表示多个变量的多个节点。变量可以包括变量305、变量310、变量315、变量320、变量325、变量330和变量335。多个节点可以经由多个边连接。可以将多个边划分成组(例如,马尔可夫组),所述组表示哪些变量(例如,节点)对其他变量具有直接影响以及哪些变量彼此独立操作。举例来说,边组可以包括边340、边345、边350和边355。
[0082] 例如,边340可以与和变量315具有直接关系的变量相关联。举例来说,变量315可以代表搜索渠道,变量305可以代表付费媒体渠道,并且变量320可以代表外部因素的变量。边340描绘了付费媒体渠道(例如,变量305)与搜索渠道(例如,变量315)之间的直接关系以及外部因素变量(例如,变量320)与搜索渠道(例如,变量315)之间的直接关系。举例来说,边340描绘了指示与变量315具有直接关系的变量的马尔可夫毯。
[0083] 边345可以与和变量330具有直接关系的变量相关联。例如,变量330可以代表品牌效应变量,并且变量325可以代表受众变量。边345描绘了外部因素变量(例如,变量320)与品牌效应变量(例如,变量330)之间的直接关系以及受众变量(例如,变量325)与品牌效应变量(例如,变量330)之间的直接关系。举例来说,边345描绘了指示与变量330具有直接关系的变量的马尔可夫毯。
[0084] 边350可以与和变量335具有直接关系的变量相关联。例如,变量335可以代表转化率变量(例如,销售量、点击量等)。举例来说,变量310可以代表竞争者的变量。边350可以表示付费媒体渠道(例如,变量305)与转化率变量(例如,变量335)之间的直接关系、外部因素变量(例如,变量320)与转化率变量(例如,变量335)之间的直接关系、竞争者变量(例如,变量310)与销售量变量(例如,变量335)之间的直接关系、受众变量(例如,变量325)与销售量变量(例如,变量335)之间的直接关系、以及品牌效应变量(例如,变量330)与销售量变量(例如,变量335)之间的直接关系。举例来说,边350描绘了指示与变量335具有直接关系的变量的马尔可夫毯。
[0085] 在一些实现方式中,因果图(例如,DAG)可以表示将分布分解为取决于父变量的变量的条件概率。因果图(例如,DAG)的结构可以用反映出分解为局部概率的格式来指定。因果图(例如,DAG)的结构可以通过联合概率分布来定义,并且变量的顺序可以是不相关的。
[0086] 虽然现有的机器学习工具通常是黑盒,但因果图(例如,DAG、信念网络)可以允许用户查看协变量如何彼此相关的视觉表示。因此,信念网络可以探索底层结构是什么(例如,哪些变量连接到哪些变量以及哪些连接更强)。各种节点之间的条件依赖性可以由以下公式表示:
[0087] 公式1:
[0088] 公式2:
[0089] 公式3:
[0090] 公式1表示在给定B的情况下A的概率等于在给定A的情况下B的概率乘以(A的概率除以B的概率)。A、B和C可以表示各种节点(例如,变量、媒体渠道等)。
[0091] 公式2表示在给定B和C的情况下A的概率。在给定B和C的情况下A的概率等于A和C的概率乘以(在给定A和C的情况下B的概率除以在给定C的情况下A的概率)。
[0092] 公式3表示节点x1、......和xn的概率。节点x1、...和xn的概率等于对于所有节点i=1到i=n在给定节点xi的父项(yi)的情况下节点xi的概率之和。这些公式可以用于确定各种节点之间的条件依赖性以及其相关联变量。
[0093] 回到图3,可以使用公式1至3来表示节点的示例概率。因此,在给定变量305和变量320的情况下变量315的概率可以等于变量315和305的概率乘以(在给定变量315和变量305的情况下变量320的概率除以在给定变量320的情况下变量315的概率)。
[0094] 虽然边表示变量之间的关系,但重要的是要注意,关系并不总是表示因果性。关系通常可以是简洁的(例如,具有有限的间接影响),并且可以允许更容易地识别重要关系(例如,基于大小)。在一些情况下,因果图(例如,DAG)的边可以表示因果语义(例如,直接因果影响)。在一些实现方式中,在不存在来自因果实验的数据的情况下,可以实现PC算法以测试因果图(例如,DAG)中节点之间的持久关联。这可以以其他变量的所有子集为条件。在一些实现方式中,可以使用快速因果推理PC算法来另外计及潜变量的影响。另外或替代地,方法可以包括要运行匹配的市场测试以确认各种媒体渠道(和其他变量)对转化率(例如,销售量)的所推理出的因果影响的有效性和方向。
[0095] 在一些实施例中,可以提供因果图(例如,DAG)以用于经由用户装置来显示。在一些实现方式中,计算系统可以获得指示用户接受因果图(例如,DAG)的数据。例如,用户可以检查图并确认箭头与商业理念一致。举例来说,可以基于媒体营销实践中的市场直觉来选择链接的特定方向。
[0096] 在一些实现方式中,可以由系统自动执行对因果图(例如,DAG)的审查。例如,随机森林结果可以用于确保某些变量被链接(例如,列入白名单)或防止某些变量的连接(例如,列入黑名单)。举例来说,可以基于相应变量的随机森林结果自动链接一些变量。
[0097] 可以对因果图(例如,DAG)进行过滤,以增加图的可解释性和简单性。例如,由于数据的限制,结构和参数学习阶段的结果可能有噪声。
[0098] 可以确定边际效应的四分位数和平均边际效应的统计显著性。边际效应可以指示异质性或交互的影响。例如,可以检查每个数据点处每个变量的逐点边际效应,以确定资源分配的调整(例如,媒体支出的调整)在何处对一个或多个所测量的影响有积极影响(例如,对推动销售量有积极影响),以及什么级别的资源分配由于资源分配不足或因过度支出浪费过多印象而具有负系数(例如,没有积极影响)。
[0099] 回到图2,在因果图生成阶段210生成的因果图(例如,DAG)可以由系统使用以在归因和ROAS计算阶段225期间执行归因和ROAS计算。归因和ROAS计算阶段225可以包括预测阶段230和准确性阶段235。预测阶段230可以包括响应曲线生成232。准确性阶段235可以包括平均绝对误差(MAE)、均方根误差(RSME)、残差图235A、置信区间235B和交叉验证235C。
[0100] 例如,响应曲线生成232可以包括生成包括所预测的表现的多个曲线(例如,如图5中所描绘的)。在一些实现方式中,响应曲线可以包括所模拟的表现(例如,所模拟的表现510)。例如,响应曲线可以是所预测的表现的图形描绘,包括x轴上的媒体支出和y轴上的每次销售成本。可以为各种规模的投资组合生成模拟投资组合表现曲线。例如,可以生成并显示50种模拟投资组合的曲线和200种模拟投资组合的曲线。另外,可以对模拟投资组合进行聚合和平滑化,以生成要显示的平滑的聚合曲线。系统可以执行一个或多个计算以确定“由媒体推动的销售”曲线。由媒体推动的销售曲线可以显示指示由媒体推动的销售的低回报、中等回报和高回报的数据。推动此可视化的数据可以用于对目标参数进行优化。目标参数可以包括跨可用媒体渠道的总媒体支出、每次销售成本等。
[0101] 利用机器学习模型可以允许测量跨产品领域的所有活动和渠道的表现、不同媒体渠道和活动彼此如何交互以及媒体渠道和活动如何一起工作。这允许对现有方法的改进,所述现有方法通常孤立地考虑媒体渠道(及其相关联表现)。因此,使用本文描述的系统和方法,从底层数据结构和各种渠道之间的相互关系进行学习可以用于确定资源分配。举例来说,确定资源分配可以包括对未来媒体渠道支出的预算的优化。在一些实现方式中,方法可以包括基于经学习的数据结构通过模拟来生成数百个规划场景(例如,如图3中所描绘的)。通过模拟,方法可以确定低回报、中等回报和高回报点,以便实现更好的未来资源分配以满足特定的优化目标。例如,优化目标可以是与目标参数、特定特征或不同预算级别相关联的目标。
[0102] 归因和ROAS的预测阶段230和准确性阶段235可以在资源分配确定阶段240使用以确定如何分配未来资源。举例来说,资源分配可以包括计算资源或财务资源的分布或分配。
[0103] 因果图(例如,DAG)可以用于多种目的。在一些实现方式中,可以提供图以用于经由用户装置来显示。该显示可以用于帮助用户理解各种变量(例如,媒体渠道、特征)的影响和相互关系。这种关系可以指示各种变量(例如,媒体渠道、图节点、特征)的多个条件概率。在一些实现方式中,系统可以提取关于各种特征的条件概率的信息。在一些实现方式中,可以提供图以用于经由用户装置上的显示器来显示给用户。在一些实现方式中,用户可以经由用户装置提供输入。举例来说,计算系统可以获得指示用户输入的数据。例如,用户输入可以指示接受图。在一些实现方式中,用户输入可以指示拒绝图的一部分(或全部)。
[0104] 图4A至图4B描绘了用于确定媒体渠道的直接和间接关系以用于确定未来资源分配的示例方法400的流程图。尽管图4A至图4B出于说明和讨论的目的描绘了以特定顺序执行的步骤,但是本公开的方法不限于特别地说明的顺序或布置。在不脱离本公开的范围的情况下,可以省略、重新布置、组合或以各种方式调适方法400的各个步骤。
[0105] 在(402)处,方法400可以包括获得与多个媒体渠道相关联的数据。例如,计算系统(例如,计算系统600)可以获得与多个媒体渠道相关联的数据。如本文所述,与多个媒体渠道相关联的数据包括结果数据、预测变量和控制变量。举例来说,数据可以包括单位销售量(或激活率)、日活跃用户(DAU)(或其他应用使用率数据)、媒体印象、按媒体渠道的支出(例如,按指定市场区域(DMA)的每周支出)、非媒体数据(例如,价格折扣、零售设备、商店促销、竞争性支出)、零售营销数据、促销数据、与历史资源分配相关联的数据(例如,一个或多个月的媒体支出)、地理级别(例如,邮政编码、城市或DMA级别)的每日数据(例如,各种媒体渠道的资源分配、销售量、转化率)、地理级别(例如,邮政编码、城市或DMA级别)的每周数据(例如,各种媒体渠道的资源分配、销售量、转化率)、或跨不同时间段的不同媒体权重(例如,当没有为媒体渠道分配资源以对应于预期基准时)。媒体渠道可以包括例如数字媒体、搜索、电视和销售等。
[0106] 在(404)处,方法400可以包括将数据输入到机器学习模型中。例如,计算系统(例如,计算系统600)可以将数据输入到机器学习模型中。如本文所述,机器学习模型可以是单个机器学习模型或机器学习模型的集成。在一些实现方式中,机器学习模型的集成可以包括相同类型的模型。在一些实现方式中,机器学习模型的集成可以包括模型类型的多样化布置。
[0107] 在(406)处,方法400可以包括估计因果图的结构。例如,计算系统(例如,计算系统600)可以估计因果图的结构。如本文所述,因果图可以通过机器学习模型来估计。举例来说,因果图可以包括贝叶斯信念网络。在一些实现方式中,因果图可以包括有向无环图。
[0108] 在一些实现方式中,估计因果图的结构可以包括执行结构学习以生成包括多个节点和边的因果图。结构学习可以包括应用机器学习模型进行特征选择。结构学习可以包括执行自助聚合以用于更新因果图。
[0109] 在一些实施例中,估计因果图的结构包括执行参数学习以确定多个边中的每个相应边的(i)大小和(ii)方向。执行参数学习可以包括执行参数正则化。因果图可以包括表示节点之间的条件概率的有向无环图。
[0110] 在(408)处,方法400可以包括将第二机器学习模型应用于因果图以估计与因果图相关联的一个或多个参数。例如,计算系统(例如,计算系统600)可以将第二机器学习模型应用于因果图以估计与因果图相关联的一个或多个参数。在一些实现方式中,第二机器学习模型可以是基于核的机器学习模型。例如,基于核的机器学习模型可以是基于核的正则化最小二乘回归模型。
[0111] 在(410)处,方法400可以包括生成指示因果图的图形表示的数据。例如,计算系统(例如,计算系统600)可以生成指示因果图的图形表示的数据。
[0112] 在(412)处,方法400可以包括执行验证方法。例如,计算系统(例如,计算系统600)可以执行验证方法。转到图4B,执行验证方法可以包括步骤412A和步骤412B。
[0113] 在(412A)处,可以通过传输包括指令的数据来执行验证方法,所述指令使因果图的图形表示经由与用户相关联的装置的图形用户界面来显示。例如,计算系统(例如,计算系统600)可以传输包括指令的数据,所述指令使因果图的图形表示经由与用户相关联的装置的图形用户界面来渲染(例如,如图5中所描绘的)。例如,方法400可以包括传输包括指令的数据,所述指令使因果图的图形表示经由与用户相关联的装置的图形用户界面来显示。
[0114] 在(412B)处,可以通过获得指示接受因果图的图形表示的用户输入的数据来执行验证方法。例如,计算系统(例如,计算系统600)可以获得指示接受因果图的图形表示的用户输入的数据。例如,方法400可以包括获得指示接受因果图的图形表示的用户输入的数据。
[0115] 在(414)处,方法400可以包括基于因果图来确定对多个媒体渠道的资源分配。例如,计算系统(例如,计算系统600)可以基于因果图来确定对多个媒体渠道的资源分配。如本文所述,基于因果图来确定对多个媒体渠道的资源分配可以包括确定第一节点、第二节点和第三节点之间的关系。基于第一节点、第二节点和第三节点之间的关系,基于因果图来确定对多个媒体渠道的资源分配可以包括确定与第一节点相关联的第一媒体渠道、与第二节点相关联的第二媒体渠道以及与第三节点相关联的第三媒体渠道的最优预算分配。这可以针对任何数量的节点来执行。
[0116] 确定第一媒体渠道、第二媒体渠道和第三媒体渠道的最优预算分配可以包括模拟指示多个预算分配场景的数据(例如,如图5中所描绘的),其中每个预算分配场景指示分配给第一媒体渠道、第二媒体渠道和第三媒体渠道中的每一个的预算量。确定第一媒体渠道、第二媒体渠道和第三媒体渠道的最优预算分配可以包括获得指示目标参数的用户输入的数据。确定第一媒体渠道、第二媒体渠道和第三媒体渠道的最优预算分配可以包括针对多个预算分配场景中的每个相应预算分配场景,确定多个预算分配场景中的相应预算分配场景的相应参数。确定第一媒体渠道、第二媒体渠道和第三媒体渠道的最优预算分配可以包括将每个相应参数与目标参数进行比较。确定第一媒体渠道、第二媒体渠道和第三媒体渠道的最优预算分配可以包括确定与第一预算分配场景相关联的第一相应参数在目标参数的阈值内。确定第一媒体渠道、第二媒体渠道和第三媒体渠道的最优预算分配可以包括响应于确定第一相应参数在目标参数的阈值内,选择第一预算分配场景作为最优预算分配场景。举例来说,目标参数和相应参数可以指示每次销售成本的百分比减少。在一些实现方式中,目标参数和相应参数可以指示总体总媒体支出预算。
[0117] 在一些实现方式中,目标参数和与每个相应预算分配场景相关联的相应参数指示每次销售成本的百分比减少。在一些实现方式中,通过计算相应媒体渠道的媒体支出除以由相应媒体渠道推动的单位销售量来确定每次销售成本。在一些实现方式中,目标参数和与每个相应预算分配场景相关联的相应参数指示与媒体渠道和促销使用对目标行动的有效性相关联的归因。在一些实现方式中,通过计算由相应媒体渠道推动的单位销售量除以总体销售量来确定相应媒体渠道的归因。
[0118] 在(416)处,方法400可以包括生成指示对多个媒体渠道的所确定的资源分配的图形表示的数据。例如,计算系统(例如,计算系统600)可以生成指示对多个媒体渠道的所确定的资源分配的图形表示的数据。关于图5描述了对多个媒体渠道的所确定的资源分配的图形表示。
[0119] 在(418)处,方法400可以包括传输包括指令的数据,所述指令当被执行时使对多个媒体渠道的资源分配的图形表示经由用户装置的图形用户界面来渲染(例如,如图5中所描绘的)。例如,计算系统(例如,计算系统600)可以传输包括指令的数据,所述指令当被执行时使对多个媒体渠道的资源分配的图形表示经由用户装置的图形用户界面来渲染。
[0120] 如本文所述,系统和方法可以提供包括指令的数据的传输,所述指令使各种数据的显示经由与用户相关联的一个或多个装置的用户界面来渲染。图5描绘了示例图形用户界面500。图形用户界面500可以表示向与线上服务(例如,用于生成、供应或分析向第三方显示的内容项目的表现)相关联的用户提供的仪表板。图形用户界面500可以包括因果图505的可视化、所模拟的表现510的可视化、所推荐的资源分配515。
[0121] 如本文所述,计算系统(例如,计算系统600)可以传输包括指令的数据。客户端装置可以接收指令并执行指令。指令的执行可以使因果图505、所模拟的表现510或所推荐的资源分配515经由与用户相关联的装置的用户界面(例如,图形用户界面500)来显示。
[0122] 图5描绘了仅用于示例目的的示例用户界面渲染,并且不旨在限制可以经由与用户相关联的装置上的用户界面描绘该信息的方式。在一些实现方式中,显示可以包括音频显示、视觉显示或音频与视觉显示的组合。在一些实现方式中,图形用户界面500可以包括一个或多个可选择的组件以获得指示用户输入的数据(例如,如图6中所描述的)。
[0123] 图6描绘了根据本公开的示例实施例的执行对媒体渠道的直接和间接关系的确定以用于确定未来资源分配的示例计算系统600的框图。计算系统600包括通过网络680通信地耦合的用户计算系统602、服务器计算系统630和训练计算系统650。
[0124] 用户计算系统602可以包括用户装置。用户装置可以是任何类型的计算装置,诸如例如个人计算装置(例如,膝上型计算机或台式计算机)、移动计算装置(例如,智能电话或平板计算机)、游戏控制台或控制器、可穿戴计算装置、嵌入式计算装置或任何其他类型的计算装置。
[0125] 用户计算系统602包括一个或多个处理器612和存储器614。一个或多个处理器612可以是任何合适的处理装置(例如,处理器核心、微处理器、ASIC、FPGA、控制器、微控制器等)并且可以是一个处理器或可操作地连接的多个处理器。存储器614可以包括一个或多个暂时性或非暂时性计算机可读存储介质,诸如RAM、ROM、EEPROM、EPROM、快闪存储器装置、磁盘等以及它们的组合。存储器614可以存储数据616和由处理器612执行以使用户计算系统602执行操作的指令618。
[0126] 在一些实现方式中,用户计算系统602可以存储或包括一个或多个经机器学习的模型620。例如,经机器学习的模型620可以是或者可以以其他方式包括各种经机器学习的模型,诸如贝叶斯信念网络、基于核的正则化最小二乘回归。贝叶斯信念网络可以包括概率图模型,所述概率图模型包括节点和有向边并从数据中学习。基于核的正则化最小二乘回归可以包括非线性回归估计。在一些实现方式中,经机器学习的模型620可以是或者可以以其他方式包括神经网络(例如,深度神经网络)或其他类型的经机器学习的模型,包括非线性模型和/或线性模型。神经网络可以包括前馈神经网络、循环神经网络(例如,长短期记忆循环神经网络)、卷积神经网络或其他形式的神经网络。一些示例经机器学习的模型可以利用注意力机制,诸如自注意力。例如,一些示例经机器学习的模型可以包括多头自注意力模型(例如,transformer模型)。参考图1和图2讨论示例经机器学习的模型620。
[0127] 在一些实现方式中,一个或多个经机器学习的模型620可以通过网络680从服务器计算系统630接收,存储在用户计算装置存储器614中,并且然后由一个或多个处理器612使用或以其他方式实现。在一些实现方式中,用户计算系统602可以实现单个经机器学习的模型620的多个并行实例(例如,以跨因果图生成的多个实例执行并行学习)。
[0128] 更特别地,总体模型可以包括一套对数据假设稳健并且易于扩缩的经机器学习的建模能力。经机器学习的建模能力可以确定网络(例如,贝叶斯信念网络)的结构并利用该网络进行资源分配确定。建模能力的输出可以用于更有效率地分配资源以改进期望的目标结果。经机器学习的模型可以用于加快媒体渠道表现的建模过程,并且允许接近实时地学习资源分配对所执行的目标行动的影响。
[0129] 另外或替代地,一个或多个经机器学习的模型640可以包括在服务器计算系统630中或以其他方式由该服务器计算系统存储并实现,该服务器计算系统根据客户端‑服务器关系与用户计算系统602通信。例如,经机器学习的模型640可以由服务器计算系统630实现为web服务(例如,营销服务)的一部分。因此,一个或多个模型620可以在用户计算系统602处存储并实现,和/或一个或多个模型640可以在服务器计算系统630处存储并实现。
[0130] 用户计算系统602还可以包括接收用户输入的一个或多个用户输入组件622。例如,用户输入组件622可以是对用户输入对象(例如,手指或触笔)的触摸敏感的触敏组件(例如,触敏显示屏或触摸板)。触敏组件可以用于实现虚拟键盘。其他示例用户输入组件包括传声器、传统键盘或用户可以通过其提供用户输入的其他构件。
[0131] 用户计算系统602可以包括一个或多个用户界面624。例如,用户界面624可以包括图形用户界面、音频用户界面、命令行界面、菜单驱动的用户界面、触摸用户界面、语音用户界面、基于表单的用户界面或自然语言用户界面。
[0132] 服务器计算系统630包括一个或多个处理器632和存储器634。一个或多个处理器632可以是任何合适的处理装置(例如,处理器核心、微处理器、ASIC、FPGA、控制器、微控制器等)并且可以是一个处理器或可操作地连接的多个处理器。存储器634可以包括一个或多个暂时性或非暂时性计算机可读存储介质,诸如RAM、ROM、EEPROM、EPROM、快闪存储器装置、磁盘等以及它们的组合。存储器634可以存储数据636和由处理器632执行以使服务器计算系统630执行操作的指令638。
[0133] 在一些实现方式中,服务器计算系统630包括一个或多个服务器计算装置或者由一个或多个服务器计算装置以其他方式实现。在服务器计算系统630包括多个服务器计算装置的情况下,此类服务器计算装置可以根据顺序计算架构、并行计算架构或它们的某种组合来操作。
[0134] 如上所述,服务器计算系统630可以存储或者以其他方式包括一个或多个经机器学习的模型640。例如,模型640可以是或可以以其他方式包括各种经机器学习的模型。经机器学习的模型640可以包括例如一个或多个结构学习模型640A、一个或多个参数学习模型640B、或者一个或多个资源分配模型640C。示例经机器学习的模型可以是或者可以以其他方式包括各种经机器学习的模型,诸如贝叶斯信念网络、基于核的正则化最小二乘回归。贝叶斯信念网络可以包括概率图模型,所述概率图模型包括节点和有向边并从数据中学习。
基于核的正则化最小二乘回归可以包括非线性回归估计。在一些实现方式中,经机器学习的模型640可以是或者可以以其他方式包括神经网络或其他多层非线性模型。示例神经网络包括前馈神经网络、深度神经网络、循环神经网络和卷积神经网络。一些示例经机器学习的模型可以利用注意力机制,诸如自注意力。例如,一些示例经机器学习的模型可以包括多头自注意力模型(例如,transformer模型)。参考图1和图2讨论示例模型640。
[0135] 用户计算系统602和/或服务器计算系统630可以经由与通过网络680通信地耦合的训练计算系统650的交互来训练模型620和/或640。训练计算系统650可以与服务器计算系统630分开或者可以是服务器计算系统630的一部分。
[0136] 训练计算系统650包括一个或多个处理器652和存储器654。一个或多个处理器652可以是任何合适的处理装置(例如,处理器核心、微处理器、ASIC、FPGA、控制器、微控制器等)并且可以是一个处理器或可操作地连接的多个处理器。存储器654可以包括一个或多个暂时性或非暂时性计算机可读存储介质,诸如RAM、ROM、EEPROM、EPROM、快闪存储器装置、磁盘等以及它们的组合。存储器654可以存储数据656和由处理器652执行以使训练计算系统650执行操作的指令658。在一些实现方式中,训练计算系统650包括一个或多个服务器计算装置或者由一个或多个服务器计算装置以其他方式实现。
[0137] 训练计算系统650可以包括模型训练器660,该模型训练器使用各种训练或学习技术(诸如例如误差的反向传播)来训练存储在用户计算系统602和/或服务器计算系统630处的经机器学习的模型620和/或640。例如,可以通过模型反向传播损失函数以(例如,基于损失函数的梯度)更新模型的一个或多个参数。可以使用各种损失函数,诸如均方误差、似然损失、交叉熵损失、铰链损失和/或各种其他损失函数。梯度下降技术可以用于在多个训练迭代中迭代地更新参数。
[0138] 在一些实现方式中,执行误差的反向传播可以包括执行截断的通过时间的反向传播。模型训练器660可以执行多种泛化技术(例如,权重衰减、暂退(dropout)等)以改进正在训练的模型的泛化能力。
[0139] 特别地,模型训练器660可以基于一组训练数据662来训练经机器学习的模型620和/或640。训练数据662可以包括例如与历史资源分配相关联的数据(例如,一个或多个月的媒体支出)、地理级别(例如,邮政编码、城市或DMA级别)的每日数据(例如,各种媒体渠道的资源分配、销售量、转化率)、地理级别(例如,邮政编码、城市或DMA级别)的每周数据(例如,各种媒体渠道的资源分配、销售量、转化率)、或跨不同时间段的不同媒体权重(例如,当没有为媒体渠道分配资源以对应于预期基准时)。媒体渠道可以包括例如数字媒体、搜索、电视和销售等。
[0140] 在一些实现方式中,如果用户已经提供同意,则训练样例可以由用户计算系统602提供。因此,在此类实现方式中,提供给用户计算系统602的模型620可以由训练计算系统650根据从用户计算系统602接收的用户特定数据来训练。在一些情况下,这个过程可以称为使模型个性化。
[0141] 模型训练器660包括用于提供期望的功能性的计算机逻辑。模型训练器660可以用控制通用处理器的硬件、固件和/或软件来实现。例如,在一些实现方式中,模型训练器660包括存储在存储装置上、加载到存储器中并由一个或多个处理器执行的程序文件。在其他实现方式中,模型训练器660包括存储在有形计算机可读存储介质(诸如RAM、硬盘或者光学或磁介质)中的一组或多组计算机可执行指令。
[0142] 网络680可以是任何类型的通信网络,诸如局域网(例如,内联网)、广域网(例如,互联网)或它们的某种组合,并且可以包括任何数量的有线或无线链路。一般来说,通过网络680的通信可以使用多种通信协议(例如,TCP/IP、HTTP、SMTP、FTP)、编码或格式(例如,HTML、XML)和/或保护方案(例如,VPN、安全HTTP、SSL)经由任何类型的有线和/或无线连接进行。
[0143] 本说明书中描述的经机器学习的模型可以在多种任务、应用和/或用例中使用。
[0144] 在一些实现方式中,本公开的经机器学习的模型的输入可以是统计数据。统计数据可以是、表示或以其他方式包括从某个其他数据源计算和/或演算的数据。经机器学习的模型可以处理统计数据以生成输出。作为示例,经机器学习的模型可以处理统计数据以生成辨识输出。作为另一个示例,经机器学习的模型可以处理统计数据以生成预测输出。作为另一个示例,经机器学习的模型可以处理统计数据以生成分类输出。作为另一个示例,经机器学习的模型可以处理统计数据以生成分割输出。作为另一个示例,经机器学习的模型可以处理统计数据以生成可视化输出。作为另一个示例,经机器学习的模型可以处理统计数据以生成诊断输出。
[0145] 在一些实现方式中,本公开的经机器学习的模型的输入可以是文本或自然语言数据。经机器学习的模型可以处理文本或自然语言数据以生成输出。作为示例,经机器学习的模型可以处理自然语言数据以生成语言编码输出。作为另一个示例,经机器学习的模型可以处理文本或自然语言数据以生成潜在文本嵌入输出。作为另一个示例,经机器学习的模型可以处理文本或自然语言数据以生成翻译输出。作为另一个示例,经机器学习的模型可以处理文本或自然语言数据以生成分类输出。作为另一个示例,经机器学习的模型可以处理文本或自然语言数据以生成文本分割输出。作为另一个示例,经机器学习的模型可以处理文本或自然语言数据以生成语义意图输出。作为另一个示例,经机器学习的模型可以处理文本或自然语言数据以生成放大的文本或自然语言输出(例如,质量比输入文本或自然语言更高的文本或自然语言数据等)。作为另一个示例,经机器学习的模型可以处理文本或自然语言数据以生成预测输出。
[0146] 在一些实现方式中,本公开的经机器学习的模型的输入可以是传感器数据。经机器学习的模型可以处理传感器数据以生成输出。作为示例,经机器学习的模型可以处理传感器数据以生成辨识输出。作为另一个示例,经机器学习的模型可以处理传感器数据以生成预测输出。作为另一个示例,经机器学习的模型可以处理传感器数据以生成分类输出。作为另一个示例,经机器学习的模型可以处理传感器数据以生成分割输出。作为另一个示例,经机器学习的模型可以处理传感器数据以生成可视化输出。作为另一个示例,经机器学习的模型可以处理传感器数据以生成诊断输出。作为另一个示例,经机器学习的模型可以处理传感器数据以生成检测输出。
[0147] 图6示出了可以用于实现本公开的一个示例计算系统。也可以使用其他计算系统。例如,在一些实现方式中,用户计算系统602可以包括模型训练器660和训练数据662。在此类实现方式中,模型620可以在用户计算系统602处在本地进行训练和使用两者。在此类实现方式中的一些实现方式中,用户计算系统602可以实现模型训练器660以基于用户特定数据来使模型620个性化。
[0148] 本文讨论的技术参考服务器、数据库、软件应用和其他基于计算机的系统,以及所采取的行动和发送到此类系统和从此类系统发送的信息。基于计算机的系统的固有灵活性允许任务和功能性在组件之间和当中有多种可能的配置、组合和划分。例如,本文讨论的过程可以使用单个装置或组件或者组合工作的多个装置或组件实现。数据库和应用可以在单个系统上实现,或者跨多个系统分布。分布式组件可以按顺序或并行操作。
[0149] 虽然已经关于本主题的各种具体示例实施例详细描述了本主题,但是每个示例都是通过解释的方式提供,而不是对本公开的限制。本领域技术人员在理解前述内容后可容易产生对此类实施例的更改、变化和等同物。因此,本公开不排除包括本领域普通技术人员将容易明白的对本主题的此类修改、变化和/或添加。例如,作为一个实施例的一部分示出或描述的特征可以与另一实施例一起使用以产生又一实施例。因此,本公开旨在涵盖此类更改、变化和等同物。
[0150] 所描绘或描述的步骤仅仅是说明性的,并且可以被省略、组合和/或以与所描绘或描述的顺序不同的顺序执行;所描绘的步骤的编号仅仅是为了便于参考,而不意味着任何特定的顺序是必要的或优选的。
[0151] 本文描述的功能和/或步骤可以体现在计算机可用数据或由一个或多个计算机或其他装置执行以执行本文描述的一个或多个功能的计算机可执行指令中。通常,此类数据和/或指令包括在由计算机和/或其他数据处理装置中的一个或多个处理器执行时执行特定任务或实现特定数据类型的例程、程序、对象、组件、数据结构等。计算机可执行指令可以存储在诸如硬盘、光盘、可移除存储介质、固态存储器、只读存储器(ROM)、随机存取存储器(RAM)等的计算机可读介质上。如将理解的,可以根据需要组合和/或分布此类指令的功能性。另外,功能性可以全部或部分地体现在诸如集成电路、专用集成电路(ASIC)、现场可编程门阵列(FPGA)等的固件和/或硬件等同物中。特定数据结构可以用于更有效地实现本公开的一个或多个方面,并且此类数据结构被设想为在本文描述的计算机可执行指令和/或计算机可用数据的范围内。
[0152] 尽管不是必需的,但是本领域普通技术人员将理解,本文描述的各个方面可以体现为方法、系统、设备和/或存储计算机可执行指令的一个或多个计算机可读介质。因此,各方面可以采用全硬件实施例、全软件实施例、全固件实施例和/或以任何组合方式组合软件、硬件和/或固件方面的实施例的形式。
[0153] 如本文所述,各种方法和动作可以跨一个或多个计算装置和/或网络操作。功能性可以以任何方式分布,或者可以位于单个计算装置(例如,服务器、客户端计算机、用户装置等)中。
[0154] 本公开的各方面已经就其说明性实施例加以描述。本领域普通技术人员可以在回顾本公开后想到在所附权利要求的范围和精神内的众多其他实施例、修改和/或变化。例如,本领域普通技术人员可以理解,所描绘和/或描述的步骤可以按与所述顺序不同的顺序执行,和/或一个或多个所示步骤可以是任选的和/或被组合。所附权利要求中的任何和所有特征都可以以任何可能的方式组合和/或重新布置。
[0155] 虽然已经关于本主题的各种具体示例实施例详细描述了本主题,但是每个示例都是通过解释的方式提供,而不是对本公开的限制。本领域技术人员在理解前述内容后可以容易产生对此类实施例的更改、变化和/或等同物。因此,本公开不排除包括本领域普通技术人员将容易明白的对本主题的此类修改、变化和/或添加。例如,作为一个实施例的一部分示出和/或描述的特征可以与另一实施例一起使用以产生又一实施例。因此,本公开旨在涵盖此类更改、变化和/或等同物。

当前第1页 第1页 第2页 第3页