[0001] 本发明涉及音频数据处理技术领域，具体涉及一种基于人工智能的直播广告视频内容优化方法及系统。

[0002] 现如今，直播作为一种实时互动的媒介形式，其应用非常广泛，覆盖了娱乐、教育、商业、社交等多个领域。其中，在带货直播中，对于直播广告内容的优化，它可以帮助提升直播的吸引力、增强用户参与度、提高转化率，并且能够极大的方便用户，提升用户的满意度。现有技术对于直播广告内容的优化，往往采用人工智能技术，可以针对不同的业务需求和目标用户群体，采取相应的策略和方法，以实现最佳的营销效果。

[0003] 现如今，对于直播广告内容的优化，往往采用人工智能技术；但是在直播过程中，往往难以及时得出用户对于当前直播中推荐的商品的关注度，导致不能及时做出商品推荐。

[0052] 为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于人工智能的直播广告视频内容优化方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

[0053] 除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

[0054] 下面结合附图具体地说明本发明所提供的一种基于人工智能的直播广告视频内容优化方法的具体方案。

[0055] 由于在实际生活中，特别是在直播过程中，往往难以及时得出用户对于当前直播中推荐的商品的关注度，导致不能及时做出商品推荐，以及购买操作比较复杂，流失了用户。因此本发明提出了一种基于人工智能的直播广告视频内容优化方法，主要通过计算出用户在直播过程中的用户注意力集中度，并排除了主播的音频信号强度大小对用户注意力集中度的影响，及时得出用户的购买意愿，弹出一键购买窗口，提高了订单成交率。

[0056] 具体请参阅图1，其示出了本发明一个实施例提供的基于人工智能的直播广告视频内容优化方法的流程图，所述方法包括步骤如下：

[0057] 实时采集在单个商品直播售卖过程中用户的注视点信息；

[0058] 根据某一时刻的前一段时间内，注视点的累积移动距离以及注视点落在主播身上的时间计算某一时刻的用户注意力集中度；

[0059] 获取某一时刻的前一段时间内对应主播的音频信号，计算前一段时间内用户注意力集中度与主播的音频信号强度的相关性；

[0060] 根据得到的用户注意力集中度，以及用户注意力集中度与主播的音频信号强度的相关性，计算得到用户对于当前所售商品的平均关注度；

[0061] 当平均关注度大于或等于预设关注度阈值时，弹出购买相应商品的窗口，从而进行商品推荐。

[0062] 本发明先通过分析注视点的累积移动距离以及注视点落在主播身上的时间，计算出在直播过程中用户注意力集中度，再计算前一段时间内用户注意力集中度与主播的音频信号强度的相关性，进而排除主播的音频信号强度大小对用户注意力集中度的影响，最后计算出用户对于当前所售商品的平均关注度，当平均关注度大于或等于预设关注度阈值时，弹出购买相应商品的窗口，从而进行商品推荐。本发明通过及时得出用户对商品的关注度，从而弹出一键购买窗口。通过本发明的方法，优化广告内容，当用户有意购买时，能快速有效的促进交易完成，避免由于用户可能因操作复杂而放弃，从而流失客户的问题。

[0063] 在一个具体的实施例中，实时采集在单个商品直播售卖过程中用户的注视点信息，包括：在用户同意在直播中进行人脸采集后，通过手机的前置摄像头实时采集直播过程中用户的注视点变化情况。具体可以采用前置摄像头获取用户的人脸图像，对人脸图像进行灰度化后输入FaceNet，输出实时第一图像集和第二图像集，所述第一图像集是对各图像分割出面部三角区，获得眼球中心到面部中心的距离、眼球中心到内眼角的距离以及眼球中心到面部中心和内眼角的夹角，所述眼球包括左眼球和右眼球；所述第二图像集是各图像的脸部面积、头部角度、眼角位置的数值；将第一图像集作为预先训练的注视点估计模型的卷积层的输入，以第二图像集和通过深度传感器获取的实时用户距离值以及注视边界值作为预先训练的注视点估计模型的全连接层的输入，输出实时注视点估计坐标；同时获取相应的时间，根据两个不同时间注视点位置的变化，计算注视点的移动距离。也可以采用其他现有的人工智能技术获取采集直播过程中用户的注视点变化情况，只要能采集到注视点位置，以及对应的时间等注视点信息即可，由于采集在单个商品直播售卖过程中用户的注视点信息不是本发明的发明点，在此不再详细展开说明。

[0064] 在本实施例中，所述注视点信息包括注视点位置，以及对应的时间；

[0065] 根据两个不同时间注视点位置的变化，计算注视点的移动距离。

[0066] 在一个具体的实施例中，为了计算出用户对于当前直播过程中，所售卖商品的关注度，可以通过现有的人工智能技术分析用户眼睛注视点的变化，首先计算出用户在手机屏幕上的用户注意力集中度，用户在手机屏幕上的注意力越集中，表明该用户可能对于当前所售产品的关注度越高，若此时可以实时弹出推荐商品的窗口，可以一键购买，方便用户操作的同时，能实现最佳的营销效果。

[0067] 所述根据某一时刻的前一段时间内，注视点的累积移动距离以及注视点落在主播身上的时间计算某一时刻的用户注意力集中度，包括：

[0068] 获取注视点落在主播身上的时间；

[0069] 计算在某一时刻的前一段时间内，注视点落在主播身上的时间占比；

[0070] 根据两个不同时间注视点的移动距离，计算在某一时刻的前一段时间内注视点的累积移动距离；

[0071] 结合注视点落在主播身上的时间占比、与在某一时刻的前一段时间内注视点的累积移动距离，计算某一时刻的用户注意力集中度。

[0072] 在本实施例中，对于某一时刻，用户注意力集中度的计算，通过某一时刻的前一段时间内，注视点的累积移动距离以及注视点落在主播身上的时间来计算。对于注视点的累积移动距离，累积移动距离越大，表明此时用户的注意力越不集中，用户对于直播商品的兴趣度不大。对于用户的注视点落在主播身上的时间，时间越长，表明用户越关注手机直播内容，用户的注意力集中度越高。

[0073] 对于某一时刻 的用户注意力集中度的计算，分析当前时刻 的前一段时间 内，注视点的变化情况。对于 的选取，不能过长，选取的时间段过长，则 内用户注意力集中度变化较大，不具有参考价值；当然，也不能过短，过短会导致数据不具有代表性。首先，采用人工智能技术，分析这段时间内当前用户的注视点，记当前时刻的前一段时间 内用户的注视点累积移动距离为 。记当前时刻的前一段时间 内用户注视点落在主播身上的时间为 。据此，计算出当前时刻 的用户注意力集中度 ，计算公式为：

[0074]

[0075] 式中， 表示当前时刻 的前一段时间 内用户的注视点落在主播身上的时间占比，比值越大，则用户在 时刻的注意力集中度越大。表示当前时刻 的前一段时间 内用户注视点的累积移动距离，累积移动距离越小，表明用户的眼部运动较少，则该用户的注意力集中度越大； 表示归一化函数。

[0076] 在一个具体的实施例中，虽然计算得到在某一时刻的用户注意力集中度，但是在直播过程中，主播突然提高声音，可能会吸引到用户的注意力，导致用户对于直播过程的注意力集中度提升，使得用户对于该商品的关注度判断不准确。此时，用户注意力集中度与主播的音频信号的强度紧密相关。因此，需要计算一段时间内，用户注意力集中度与主播的音频信号的强度的相关性；相关性越强，表示计算出的用户注意力集中度受主播的声音干扰的可能性越大，越不能反应用户当前商品的关注度。相关性越弱，表明计算出的用户注意力集中度受主播声音干扰的可能性越小，越能反应用户对于当前商品的关注度。

[0077] 本实施例所述获取某一时刻的前一段时间内对应主播的音频信号，计算前一段时间内用户注意力集中度与主播的音频信号强度的相关性，包括：

[0078] 根据得到的用户注意力集中度及对应的时间，得到用户注意力集中度随时间的变化曲线；

[0079] 获取用户注意力集中度大于或等于预设注意力集中度阈值的时间段；

[0080] 计算所述时间段的前一段时间内主播的音频信号的突出度；

[0081] 结合所述时间段与音频信号的突出度，计算得到前一段时间内用户注意力集中度与主播的音频信号强度的相关性。

[0082] 本实施例，通过绘制出用户注意力集中度随时间的变化曲线，设置一个预设注意力集中度阈值（本实施例设置阈值为0.7，具体根据实际需求设置），超过预设注意力集中度阈值的每一段曲线表示相对较高的用户注意力集中度，疑似对商品的关注度高。分别以每一段变化曲线作为研究对象，以相同的时间轴对比主播的音频信号的强度大小，计算每一段用户注意力集中度的变化曲线与主播的音频信号强度的相关性。

[0083] 对于相关性的定义为：对于每一段注意力集中度变化曲线，判断该段变化曲线的前一段时间内的音频信号的突出度；若突出度越大，表明用户注意力集中度的提升可能由主播的音频信号强度过于突出引起，则相关性越大。且该段变化曲线上，短时间内，用户注意力集中度大幅下降，表明用户注意力集中度变化可能受主播的音频影响，而非对于商品本身的关注，即相关性越大。其中，对于音频信号的突出度定义为：平均音频信号的强度越大，信号数据越突出；音频信号强度的变化程度越大，信号数据越突出。

[0084] 在一个具体的实施例中，在实时采集在单个商品直播售卖过程中用户的注视点信息的同时，所述方法包括：实时采集对应时间的主播的音频信号。可以将实时主播的音频信号及对应的时间存储在云端。当得到超过预设注意力集中度阈值的用户注意力集中度变化曲线时，以相同的时间轴从云端提取出相应的主播的音频信号。

[0085] 在本实施例中，所述计算所述时间段的前一段时间内主播的音频信号的突出度，包括：

[0086] 将所述时间段的起点为基点，向前取一定时间长度的音频数据段；

[0087] 计算音频数据段对应的平均音频信号强度；

[0088] 将每个音频数据段按照预设帧长划分为若干帧，得到每一帧所对应的音频信号强度；

[0089] 通过计算相邻两帧之间的音频信号强度的差，得到所述时间段对应的音频信号强度的差分序列；

[0090] 结合得到的平均音频信号强度、所述时间段对应的音频信号强度的差分序列以及帧的数量，计算得到音频数据段对应的突出度。

[0091] 对于每个用户注意力集中的时间段T，本发明认为如果是被音频因素吸引来的注意力，在注意力集中时间段T之前的一段时间内，主播的音频信号会产生一定的异常，具体表现为该音频数据段内的平均音频信号的强度较强，且音频信号的整体强度的变化程度较大，该时间设置为TS=1s。

[0092] 因此对于每个注意力集中的时间段 ，以时间段 的起点为基点，在音频信号中向前提取长度为 的音频数据段 。计算音频数据段 内的平均音频信号强度 。另外对音频数据段 进行分帧，帧长设定为50ms，每一帧对应的音频信号强度为，计算音频数据段 中相邻两帧之间的音频信号强度的差，分别为，以这些值的平均值表示音频信号强度的变化
程度。那么这段音频数据段 的突出度为：

[0093]

[0094] 式中， 表示音频数据段 内的平均音频信号强度，平均音频信号强度越大，则这段音频数据段 的突出度越大。 表示这段音频数据段 中所有相邻两个帧之间的音频信号强度的差的均值，均值越大，表示这段音频信号数据段 的变化程度越大，则 的突出度越大。

[0095] 本实施例根据得到的注意力集中时间段 的前一段时间 对应的音频数据段的突出度，再结合短时间内，用户注意力集中度是否大幅下降，计算注意力集中时间段 与主播的音频信号强度大小的相关性。据此，注意力集中时间段 与主播的音频信号强度大小的相关性 为：

[0096]

[0097] 式中， 表示注意力集中时间段 的前一段时间 对应的音频数据段 的突出度，突出度越大，表明用户注意力集中度受主播的音频信号干扰的可能性越大，用户注意力集中度与主播的音频信号的强度大小相关性越大。表示注意力集中时间段，注意力集中时间段越短，表明注意力集中度受主播的音频信号干扰的可能性越大，非主观因素而长时间关注当前商品，用户注意力集中度与主播的音频信号的强度大小的相关性越大； 表示注意力集中时间段 与主播的音频信号强度大小的相关性。

[0098] 在一个具体的实施例中，根据得到的用户注意力集中度，以及用户注意力集中度与主播的音频信号强度的相关性，计算得到用户对于当前所售商品的平均关注度，包括：

[0099] 根据得到的用户注意力集中度，以及用户注意力集中度与主播的音频信号强度的相关性，修正用户注意力集中度；

[0100] 获取开始售卖商品的时间及当前时间；

[0101] 计算修改后的用户注意力集中度从开始售卖商品的时间到当前时间的总和；

[0102] 计算开始售卖商品的时间到当前时间的时间长度；

[0103] 根据修改后的用户注意力集中度从开始售卖商品的时间到当前时间的总和，及开始售卖商品的时间到当前时间的时间长度，计算得到用户对于当前所售商品的平均关注度。

[0104] 本实施例对于商品的平均关注度，用户的用户注意力集中度越高，则该用户对于当前推荐商品的关注度越高。用户注意力集中度与主播的音频信号强度大小的相关性越高，则用户对于当前推荐商品的关注度越低。记开始售卖商品 的时间为 ，当前时刻为 。据此，用户对于当前所售商品 的平均关注度 为：

[0105]

[0106] 式中， 表示 时刻直播过程中的用户注意力集中度； 表示排除主播的音频信号强度对用户注意力集中度的干扰后，修正的注意力集中度； 表示当前所售商品 在整个售卖过程中的平均关注度，以此表示用户当前的购买意愿。 表示在开始售卖商品的时间 到当前时刻 的时间段上对 进行积分求和，也就是修正的注意力集中度在到 的时间段上的总和。

[0107] 本实施例，在得到用户当前所售商品的平均关注度 之后，判断平均关注度是否大于或等于预设关注度阈值（本实施例设为 ）。当用户对商品 的平均关注度时，认为用户购买 商品的意愿比较强烈，此时弹出一键购买 商品的窗口，方便用户的同时，以免商家错失用户。

[0108] 基于以上所述的基于人工智能的直播广告视频内容优化方法，本实施例还提供了一种基于人工智能的直播广告视频内容优化系统，如图2所示，所述系统包括：

[0109] 第一采集模块，用于实时采集在单个商品直播售卖过程中用户的注视点信息；

[0110] 注意力集中度计算模块，用于根据某一时刻的前一段时间内，注视点的累积移动距离以及注视点落在主播身上的时间计算某一时刻的用户注意力集中度；

[0111] 第二采集模块，用于获取某一时刻的前一段时间内对应主播的音频信号；

[0112] 相关性计算模块，用于根据某一时刻的前一段时间内对应主播的音频信号，计算前一段时间内用户注意力集中度与主播的音频信号强度的相关性；

[0113] 平均关注度计算模块，用于根据得到的用户注意力集中度，以及用户注意力集中度与主播的音频信号强度的相关性，计算得到用户对于当前所售商品的平均关注度；

[0114] 推荐商品模块，当平均关注度大于或等于预设关注度阈值时，弹出购买相应商品的窗口，从而进行商品推荐。

[0115] 请参阅图3，图3是本发明实施例提供的计算机设备的示意性框图。该计算机设备500是服务器，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。

[0116] 参阅图3，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。

[0117] 该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行基于人工智能的直播广告视频内容优化方法。

[0118] 该处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。

[0119] 该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行基于人工智能的直播广告视频内容优化方法。

[0120] 该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图3中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

[0121] 其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现本发明实施例公开的基于人工智能的直播广告视频内容优化方法。

[0122] 本领域技术人员可以理解，图3中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图3所示实施例一致，在此不再赘述。

[0123] 应当理解，在本发明实施例中 ，处理器502可以是中央处理单元  (Centra lProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field‑Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

[0124] 在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现本发明实施例公开的基于人工智能的直播广告视频内容优化方法。

[0125] 所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

[0126] 在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

[0127] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

[0128] 另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

[0129] 所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read‑Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

[0130] 需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

[0131] 本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。