个性化预测模型 背景技术 [0001] 计算机和软件用户已经渐渐习惯于帮助他们书写、计算、组织、准备演示、发送和接收电子邮件、搜索基于互联网的信息、做音乐等的用户友好的软件应用。在软件使用的许多实例中，期望对例如响应于所接收的输入的用户动作的结果进行预测。例如，可以期望预测用户是否将阅读具有各种特征的电子邮件、用户是否可以评论或者以其他方式响应于所接收的电子广告、用户是否可以响应于给定的电子搜索结果、用户是否可以选择给定的交通路径、利用所接收的电子优惠券、观看所建议的视频等。尽管可以使用通用预测建模系统来预测用户对各种输入的响应，但这样的系统通常不提供精确的结果，这是因为个体的用户对不同输入的响应可以是极为不同的。 发明内容 [0002] 提供了本发明内容以用简化的形式引入对在以下的具体实施方式中进一步描述的概念的选择。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。 [0003] 公开了用于生成和利用个性化预测模型的系统和方法的方面。根据各种方面，当接收到电子输入时，使用通用预测模型来预测用户对输入的响应。在规定的时段(例如，七天)之后，执行分析以确定用户对输入的实际响应，以及用户对相同类型的其他输入的实际响应。对通用预测模型执行训练以基于用户对所分析的输入的实际响应来生成新的和个性化的预测模型。接着，利用个性化的预测模型来预测用户对相同类型的未来输入的响应。通过分析用户对由个性化预测模型的所提供的预测的实际响应来以规定的频率对个性化预测模型进行更新。根据一个方面，生成、训练、和更新个性化预测模型可以包括计算针对每个用户的查准率(precision)和查全率(recall)曲线，其用于帮助确定用户响应阈值。 [0004] 在附图和以下的描述中阐述了一个或多个方面的细节。其他特征和优点将通过阅读以下详细描述和审阅相关联的图而是显而易见的。 附图说明 [0005] 本公开的其他特征、方面、和优点将通过参考以下附图变得更好地被理解，其中，元素不是按比例的以便更加清楚地示出细节，并且其中，相同的附图标记指示几个视图通篇中相同的元素。 [0006] 图1是示出了用于生成和利用个性化预测模型的系统的框图。 [0007] 图2示出了软件应用用户界面，其包含可以根据个性化预测模型来预测针对其的用户响应的电子内容。 [0008] 图3示出了示例查准率/查全率图表和曲线。 [0009] 图4是示出了在用于生成和利用个性化预测模型的示例方法中所涉及的一般步骤的流程图。 [0010] 图5是示出了在用于训练和更新预测模型的示例方法中所涉及的一般步骤的流程图。 [0011] 图6是示出了计算设备的物理组件的一个示例的框图。 [0012] 图7A和7B是移动计算设备的简化框图。 [0013] 图8是分布式计算系统的简化框图。 具体实施方式 [0014] 以下的详细描述对附图进行了参考。在可能的情况下，在附图和以下的描述中使用相同的附图标记来指代相同或类似的元素。尽管描述了本公开的多个方面，但修改、改编、和其他实现是可能的。例如，可以对在附图中所示出的元素进行替代、增加、或修改，并且可以通过对所公开的方法进行替代、重排序、或者增加步骤来修改在本文中所描述的方法。由此，以下详细描述是非限制性的，并且替代地，合适的范围是由所附权利要求定义的。 示例可以采取硬件实现的形式、或者完全软件实现的形式、或者结合了软件和硬件方面的实现的形式。因此，以下的详细描述不被理解为限制性意义。 [0015] 出于说明和理解的目的，参考电子邮件系统讨论了在本文中所公开的方面，用户利用所述电子邮件系统可以向一个或多个其他用户发送多种电子通信并且从一个或多个其他用户接收多种电子通信。如从在本文中所陈述的公开所理解的，本公开的方面关于其他电子输入同等有用。例如，本公开的方面可以关于任何系统而类似地使用，在所述系统中，用户可以对用户响应预测将对其有用的电子输入进行响应。例如，本公开的方面可以在以下情况有用：确定用户是否可以评论或者以其他方式响应所接收的电子广告时，确定用户是否可以响应于给定的电子搜索结果时，确定用户是否选择给定的交通路径、利用所接收的电子优惠券、观看所建议的视频等时。 [0016] 根据多个方面，生成个性化预测模型允许使用用户行为作为输入，并且用一个或多个相关的未来输入来预测用户将在未来做什么。例如，如果用户阅读来自给定的发送者的电子邮件消息，则可以预测用户将阅读来自同一发送者的未来的电子邮件。对模型的输入可以包括给定的电子项目(例如，电子邮件消息)任何数量的参数或特征，例如发送者、抄送(cc)身份、主题行内容、发送的日期/时间等。这些输入被引入到该模型，并且接着该模型可以基于模型关于用户在过去的行为所了解的内容来预测用户将对下一封电子邮件消息进行什么处理。 [0017] 可以生成将适用于系统中的所有用户的非常宽泛的模型。也就是说，可以生成单个宽泛的预测模型来预测在公司、教育系统、地理区域等中的所有电子邮件用户的动作，其包括以下非常简单的规则：如果消息来自不在用户的联系人列表中的发送者，则预测用户将不会阅读该消息。这样的模型将非常不精确，但其是非常宽泛并且可以适用于几乎所有用户的预测模型的示例。除了定义具有适用于所有用户的单个规则的全局模型之外，可以基于用户在过去的具体的行为来生成针对该特定用户的模型。但是，针对服务或系统中的每个用户，将潜在地需要数百万个不同的模型。 [0018] 为了解决以上的和其他问题，根据本公开的方面，通过定义针对每个用户的决策阈值来以每用户为基础生成个性化预测模型。如将参考图3在下文中详细地描述的，针对每个用户的决策阈值包括基于过去的用户行为的零到100之间的百分比数字。该百分比数字可以用于预测关于未来的输入的未来用户行为。例如，模型可以针对给定的用户而预测百分之70的概率用户将关于特定的输入而采取某一动作。然而，因为示例初始百分之70的阈值确定可能没有产生期望的结果，其中，例如百分之85的所接收的电子邮件被阅读而仅仅百分之70被预测为将被阅读。 [0019] 根据本公开的方面，为了对给定的用户的决策阈值进行改进，规律地对决策阈值进行审阅，该审阅针对实际用户决策的经累积的数据相比于基于使用中的据测阈值的经预测的决策。根据需要，更新使用中的决策阈值以用于改进预测精确度。如在下文中详细描述的，查准率和查全率曲线针对每个用户而被开发，并且不时地进行更新(例如，基于累积的预测数据对实际的决策数据每日进行更新)，并且接着从经更新的查准率和查全率曲线来确定经更新的决策阈值。接着，用对应的经更新的决策阈值来更新针对给定用户的个性化预测模型，以使得个性化预测模型不断地被更新以反映用户行为的变化。 [0020] 现在对附图进行参考，图1是示出了用于生成和利用个性化预测模型的系统100的框图。示出了用户105以及用户利用其可以操作多种软件应用的计算机110，其中针对所述多种软件应用可以使用如在本文中所公开的预测建模系统130的服务。 [0021] 如在图1中所示出的，计算机110可以经由直接测试链路或者经由诸如互联网或者公司或其他实体的内联网之类的分布式计算网络115来与服务器120进行通信。服务器120示出了任何远程计算机系统或者多个计算机系统的集合，其中在下文中所描述的预测建模系统130可以在其处操作以用于经由用户105的计算机110来为他/她提供个性化预测模型。 应当理解的是，服务器120可以示出作为公司、教育系统、或其他实体的后端服务系统来操作的一个或多个计算系统，或者服务器120可以示出在基于云的数据中心中操作的一个或多个计算机或者多个计算机的集合，预测建模系统130在在所述基于云的数据中心处针对用户105进行操作。 [0022] 数据存储库125示出了通用数据存储单元或系统，其用于存储如在下文中所描述的结合预测建模系统130由用户105发送、接收、访问的，或者以其他方式来往于用户105而传送的电子信息。例如，所接收的输入、电子邮件项目、以及与其相关联的一个或多个特征可以被存储在数据存储库125处，并且包括由通用建模模块或者个性化预测建模模块所进行的用户响应预测以及用于更新个性化预测模型而生成的数据在内的预测建模信息可以被存储在使用数据存储库125处。 [0023] 根据多个方面，预测建模系统130是系统、设备、或者是在用于生成和更新针对用户105的个性化预测模型的系统或设备上操作的模块的集合，其用于关于所接收的一个或多个输入来预测用户动作。如在本文中所使用的，术语“模块”表示具有处理、存储器、和在下文中参考图6-8所描述的其他计算机操作组件的个体的计算设备，其上是硬编码的操作指令，或者利用其处理了一组计算机可执行指令以使得所述模块执行在本文中针对其所描述的功能。可替代地，术语“模块”表示由计算设备或者系统(图6-8)执行以使得所述模块执行在本文中针对其所描述的功能的一组指令。在下文中所描述的每个模块可以独立地操作但与其他模块一同可通信地操作，或者每个模块可以被集成为单个操作模块或系统(例如，在本文中所描述的预测建模系统130)。 [0024] 如将在下文中参考图4和图5更加详细地描述的，通用建模模块135示出了可以用于预测响应于给定的输入的大量用户中的任何用户的结果的一般通用建模模块。例如，针对关于给定的电子邮件项目是否会被任何用户阅读的预测，通用模型的示例可以预测由任何用户从没有在接收用户的联系人列表中列出的发送方接收的任何电子邮件将不会被接收用户打开。与对任何特定用户的个性化不同，这样的通用模型可以适用于由任何示例用户接收的任何示例电子邮件项目。 [0025] 个性化建模模块示出了如在本文中所描述的用于生成个性化预测模型的软件模块、系统、或设备，以用于关于给定的输入来预测特定的用户的动作。训练器模块145是软件模块、系统、或设备，其用于相比于经预测的用户决策/响应来分析基于实际输入的实际的用户决策/响应，并且还用于更新用户决策阈值以用于更新针对该用户所生成的个性化预测模型的操作。阈值生成模块示出了用于生成经预测的用户响应可以利用其来预测的最优阈值的软件应用、系统、或设备。查准率/查全率曲线模块155示出了用于在各种决策阈值水平针对每个用户生成查准率/查全率曲线从而确定与经更新的个性化预测模型一同使用的最优决策阈值的软件模块、系统、或设备。 [0026] 使用监视模块160示出了这样的软件模块、系统、或设备，其用于监视对接收输入的用户响应，以将用户响应数据提供至个性化建模模块140和相关联的组件145、150、155从而如在本文中所公开的那样生成和更新个性化预测模型。 [0027] 计算机110、服务器120、数据存储库125、以及预测建模系统130的组件示出了多个计算系统，包括但不限于台式计算机系统、有线和无线计算系统、移动计算系统(例如，移动电话、上网本、平板或平面型计算机、笔记本计算机、以及膝上型计算机)、手持设备、多处理器系统、基于微处理器的或者可编程的消费性电子产品、小型计算机、以及大型计算机。 [0028] 根据多个方面，在上文中将预测建模系统130的组件示出和描述为远离用户的计算机110操作的组件的系统。也就是说，系统130的组件可以用作能够由用户的计算机110调用以接收如在本文中所描述的预测建模服务的独立的系统或者计算设备。在其中一种情况下，能够访问系统130的预测建模服务的计算机的操作显著地改进并且更加高效，这是因为由于系统130的预测建模服务，使用了较少的计算资源(包括存储器)，因为所接收的许多电子输入被自动地丢弃(并且没有处理或存储)，因为随着个性化预测模型继续被改进，如在本文中所描述的，启用了所接收的许多电子输入可以被忽略或丢弃的精确预测。另外，当用作独立的设备或系统130时，设备或系统130相对于先前的非个性化预测模型而被改进并且变得更加高效，这是因为随着个性化预测模型通过不断的更新而变得更加精确，需要较少的处理资源来处置被预测为不需要用户动作的未来的电子输入。 [0029] 图2示出了软件应用用户界面，其包含可以根据个性化预测模型来预测针对其的用户响应的电子内容。如在上文中简述的，可以利用本公开的方面来提供用于预测用户对跨多种输入类型的所接收的输入的响应的个性化预测模型。在图2中示出了示例电子邮件用户界面200以用于描述如在本文中所公开的那样生成的个性化预测模型的示例操作。在用户界面200中，提供了功能控件的阵列以用于利用相关联的电子邮件软件应用的功能。提供了窗格210，其中可以提供可选择的电子邮件存储库，例如收件箱、草稿文件夹、已删除项目文件夹、已发送邮件文件夹、垃圾/杂物文件夹215。窗格220包括一个或多个可选择的控件，其用于选择性地获得相关联的电子邮件应用的一个或多个功能，包括邮件功能、日历功能、联系人功能、任务功能等。 [0030] 示出了电子邮件显示窗格225，其中，显示由用户105接收的多个电子邮件项目。例如，第一电子邮件项目230是来自发送用户“Bob Jones”的，并且具有相关联的主题“销售报告”。第三电子邮件项目240是来自示例发送用户“Fast Cash”的，并且具有相关联的主题行“现在免费赚钱”。根据本公开的方面，在根据需要针对给定的用户生成、训练、和更新了个性化预测模型之后，所述预测模型接着可以用于不仅预测特定的用户对所接收的输入的响应，还可以用于使得给定的软件应用(例如，电子邮件应用)自动地将电子邮件项目置于垃圾/杂物文件夹215中，这是因为个性化预测模型已经被训练为精确地预测示例电子邮件项目将不会被用户阅读。 [0031] 例如，参考图2，如果已经针对用户105与电子邮件应用和用户界面200相关联地生成了个性化预测模型，并且该模型已经基于与那些电子邮件项目(例如，发送方的名字、或者与主题行相关联的内容、或者与电子邮件项目发送相关联的日期、或者可以与电子邮件项目相关联的多种其他特征中的任何特征)相关联的输入而预测了分别来自“Bob Jones”、“SarahBrown”、以及“Jim Smith”的电子邮件230、235、245有可能将被用户105阅读，接着，那些项目将如在图2中所示出的那样被填充在用户界面200中。另一方面，如果针对用户105生成的个性化预测模型基于与示例推销电子邮件邮件240相关联的输入的特征而预测示例推销电子邮件240将不会被用户阅读，则响应于示例推销电子邮件将不会被用户阅读的预测，示例电子邮件应用将自动地使得该电子邮件被存放在垃圾/杂物文件夹215中，这是因为预测用户将不会阅读该电子邮件项目。 [0032] 如在上文中简要描述的，关于电子邮件项目和电子邮件软件应用的本公开的方面的描述仅仅是出于说明的目的的，并且不限制在本文中所描述的个性化预测模型的其他使用。例如，可以生成个性化预测模型以用于预测能够由用户基于对提供给该用户的建议的交通路径的历史响应而经由导航系统选择的给定的交通路径。类似地，可以由个性化预测模型基于当具体的电子优惠券作为输入被提供给用户时的历史选择来进行对可以由用户选择和利用的电子优惠券的预测。类似地，可以通过基于响应于先前的时间的音频和视频内容项目的提供对音频视频内容项目的实际选择来训练个性化预测模型，可以生成个性化预测模型以用于向特定的用户建议音频和视频内容项目。也就是说，从前述示例应当理解的是，可以不时地生成、训练、和更新如在本文中所描述的个性化预测模型，以用于在预测特定的用户对多种类型中的任何类型的电子输入的响应时使用。 [0033] 如在上文中简要描述的，根据本公开的一个方面，为了针对每个用户而生成个性化预测模型，关于每个经预测的响应和相关联的实际响应数据而针对每个用户生成查准率/查全率曲线，以用于确定可以由所生成的用来预测用户对未来输入的响应的个性化预测模型所使用的用户响应阈值。根据一个方面，通过将分类数据(例如，电子邮件消息是否将被阅读)和真相数据(例如，给定的电子邮件消息实际上是否被阅读)比规定的时间段(例如，7天)考虑在内，以及在1到100之间的每个潜在的阈值处使用针对查准率和查全率(在下文陈述)的标准方程来生成查准率/查全率曲线。根据本公开的多个方面，在查准率/查全率方程中所使用的变量可以将接收输入以及进行预测的时间考虑在内，其中较旧的数据得出较低的权重。例如，可以给用于计算用户的查准率/查全率曲线的每个数据点分配一个权重，这是基于数据点的时间的。较旧的项目具有较低的权重而新的项目具有较高的权重。 [0034] 在图3中示出了示例查准率/查全率图300，其中，查准率305沿着图的Y轴315标出，而查全率310沿着图的X轴320标出。如本领域技术人员所知，查准率(有时被称为阳性预测值)是所取回的相关的(例如，真的响应或者由接收用户期望的)事件或实例(例如，所接收的给定类型的电子邮件消息)百分比或分数，而查全率(有时被称为敏感度)是实际上取回的相关的实例或事件的百分比或分数(例如，实际上取回的潜在为真的响应的分数或百分比)。例如，如果预测模型预测20封已读电子邮件，但只有10封是由用户实际上阅读的，并且模型同时无法预测由用户阅读的10封额外的电子邮件消息，则预测模型的查准率将是10/ 20或者50％，而其查全率将是10/30或33％。 [0035] 如本领域技术人员已知的，针对在分类(例如，将所接收的电子邮件消息分类为将被阅读的或者将不被阅读的)时使用，个体的项目可以被分类为真阳性、真阴性、假阳性、和假阴性，其中术语“阳性”和“阴性”是指预测模型的预测(例如，电子邮件消息是否将被阅读)，并且其中术语“真”和“假”是指预测是否对应于实际的外部观察或结果(例如，所接收的电子邮件消息是否实际上被阅读)。根据一个方面，用于计算查准率和查全率的标准方程可以被定义如下： [0036] 查准率＝真阳性/(真阳性+假阳性)；以及 [0037] 查全率＝真阳性/(真阳性+假阴性)。 [0038] 查准率还可以被定义为所接收的输入(例如，所接收的电子邮件消息)将被特定的用户选择的概率，而查全率可以被定义为所接收的输入实际上被特定的用户选择的概率。 仍然参考图3，查准率/查全率曲线325是查全率对查准率的绘图，并且如由本领域技术人员理解的，在高查准率水平处获得低查全率水平，而在高查全率水平处获得低查准率水平。 [0039] 根据多个方面，查准率/查全率的这样的标准方程和定义可以用于计算针对每个用户的查准率/查全率曲线，但是在方程中所使用的变量是基于数据点的权重来计算的。根据一个方面，真阳性的计数不仅仅是具有真预测和真标签(例如，将被阅读的给定的电子邮件消息被特定的用户实际地阅读的预测)的数据点的计数，而替代地，真阳性的计数是其中预测为真并且相关联的标签为真的所有数据点的权重的总和(例如，被预测为将被阅读而被特定的用户实际地阅读的所有电子邮件消息的总和)。可以针对假阳性、假阴性、和真阴性而执行类似的计算。因此，这些变量中的每个向较新的项目(例如，较新的电子邮件消息)分配更多的权重，同时仍然将历史数据考虑在内。根据多个方面，这得出针对每个用户的较平滑的查准率/查全率曲线，并且改进由个性化预测模型进行的预测的可靠性。 [0040] 如在下文中参考图4和图5进一步详细描述的，一旦已经针对每个用户计算了查准率/查全率曲线，则标识将基于用户的个体的预测/查全率曲线而针对相关联的用户得出好的预测体验的阈值(沿着查准率查全率曲线的点)的子集。根据一个方面，好的预测体验可以被定义为优化预测对查全率的沿着用户的预测/查全率曲线的具体的查准率和查全率目标。 [0041] 从阈值的子集，特定的阈值可以被确定为最优阈值以用于在针对未来的经预测的用户决策/响应的个性化预测模型中使用。根据一个方面，可以通过以下方式来确定最优阈值：对在可以用于根据给定情况的需要(例如，电子邮件响应预测、搜索结果预测、交通路径建议预测等)将查准率或查全率优先化的阈值的子集中所标识的阈值中的每个阈值加权求和。可替代地，可以通过取在每个阈值处所计算的最大分数来确定最优阈值，或者根据另一个替代方案，最优阈值可以被确定为所述阈值的加权平均值。应当理解的是，这些仅仅是从阈值的子集来确定最优阈值的方法的示例，并且可以采用包括反复试验和试错过程在内的其他方法，其中利用和检查阈值的子集中的每个阈值来潜在地用作最优阈值。 [0042] 在上文中参考图1-3描述了本公开的示例架构和其他方面之后，图4是示出了在用于生成和利用个性化预测模型的示例方法400中所涉及的一般步骤。如在上文中提及的，本公开的方面可以用于预测用户根据多种不同的输入而对所接收的电子输入的动作。出于描述的目的，在下文中陈述的方法是关于所接收的电子邮件消息根据个性化预测模型的生成、更新、和利用来描述的，但是关于所接收的电子邮件消息的这些方面的描述不应当被认为是进行限制，而仅仅是出于说明和描述的目的。 [0043] 接着参考图4，操作400在开始操作405处开始，并且进行至操作410，其中，特定的用户接收第一电子邮件消息。应当理解的是，所接收的电子邮件消息可以包括多种特征，例如从其接收电子邮件消息的经标识的一个或多个人、电子邮件消息主题、所接收的电子邮件消息的日期/时间，多种内容项目中的一个或多个，电子邮件消息附件等。根据多个方面，所接收的电子邮件消息的特征或属性中的每个可以用作变量以帮助生成、更新、和利用针对接收用户的个性化预测模型，所述个性化预测模型用于预测接收用户是否将阅读所接收的电子邮件消息。 [0044] 在操作415处，查询通用建模模块135以用于预测接收用户是否将阅读所接收的电子邮件消息。在操作420处，使用通用查准率/查全率曲线，可以获得针对接收用户的初始曲线以用于预测接收用户是否将阅读所接收的电子邮件消息。例如，如在上文中所描述的，通用预测模型可以预测接收用户将阅读从在接收用户的联系人列表中所标识的人处接收的任何电子邮件消息，或者预测接收用户会阅读在规定的日期/时间范围期间出现的日期/时间处接收的电子邮件消息等。因此，可以跨数百、数千、或者甚至数百万个电子邮件用户来利用这样的通用预测模型以用于预测他们是否会阅读给定的电子邮件消息。由此，通用预测模型的预测的精确度可能对许多接收用户而言是不可接受的。在操作425处，将从通用预测模型获得的阈值和预测存储在数据存储库125处。 [0045] 在操作430处，在“n”个操作循环(例如，七天)之后，使用监视模块160解析数据存储库125来获得信息，所述信息针对关于在示例的七天期间所接收的电子邮件消息以及具有相同类型的所接收的任何其他电子邮件消息是否实际地被阅读的经预测的响应的确定。 也就是说，使用监视模块160在七天的示例操作时段期间关于所接收的每个电子邮件消息是否实际地被阅读而对所述消息执行确定。用户的实际响应可以相对于针对经分析的所接收的电子邮件消息中的每个的经预测的响应而进行比较，以用于确定来自通用预测模型的针对电子邮件消息所接收的预测的精确度。 [0046] 在操作435处，响应于关于用户对所接收的电子邮件消息的实际动作的分析，训练模块145可以执行对用于生成针对接收用户105的个性化预测模型的通用预测模型的训练/更新(如在下文中参考图5进一步详述的)。也就是说，如果接收用户的实际响应相比于接收用户的经预测的响应使得实际响应对经预测的响应的比率得出不可接受地低的预测精确度，则在上文中参考图1所示出和描述的个性化建模模块140生成针对接收用户的个性化预测模型(操作440)，以用于改进接收用户对未来的电子邮件消息的响应的预测的精确度。 [0047] 在操作445处，所生成的个性化预测模型适用于由接收用户接收的未来的电子邮件项目，而在操作450处，所生成的个性化预测模型以与如针对操作435所描述的相同的方式以规定的频率被训练和更新。根据一个方面，个性化预测模型可以在每“n”个循环(例如，每七天)之后被分析、训练、和更新，如在上文中参考操作430和435所描述的。也就是说，根据该示例，将每天分析在最后七天内所接收的那些电子邮件消息，以用于确定用户对所接收的那些电子邮件消息的实际动作与针对用户对那些电子邮件消息的动作的个性化预测模型的预测相比的精确度。基于该精确度确定，个性化预测模型可以被训练和更新以用于改进关于未来的电子邮件消息的精确度，如在下文中关于图5所描述的。因此，根据本公开的该方面，个性化预测模型不仅针对特定的用户而生成，还定期地更新以用于改进其预测的精确度。 [0048] 应当理解的是，对于更新和改进个性化预测模型的精确度的需求出于多种原因是有利的。例如，针对特定的用户，用户对所接收的电子邮件消息的实际动作可以随着时间而不同。例如，尽管用户可能现在没有阅读从特定源接收的电子邮件消息，但用户可以当其环境(例如，工作职责、兴趣、爱好等)改变时在之后的时间开始阅读来自该源的电子邮件消息。 [0049] 方法400在操作495处结束。 [0050] 如在上文中参考图3并且参考图4的操作435和450所描述的，当个性化预测模型首先被生成或者不时地被更新时，个性化预测模型被传递至训练器模块145(在上文中参考图 1所示出的)，其中，计算初始和/或经更新查准率/查全率曲线和用户响应阈值以用于更新个性化预测模型从而使得对未来的用户动作的预测将更加精确。现在参考图5，描述了示出在用于训练和更新预测模型的示例方法中所涉及的一般步骤的流程图。根据多个方面，可以在参考操作430在上文中所描述的“n”个操作循环之后执行在图5中所示出和描述的训练和更新，或者可以不时地执行这些步骤以用于训练和/或更新给定的个性化模型，如用于确保相关联的模型的精确度所期望的那样。 [0051] 方法500在开始操作505处开始，并且进行至操作510，其中累积将接收针对其的用户响应的多个电子项目以供分析。例如，在操作510处，可以取回在最后七天内所接收的所有电子邮件以供分析，或者可以取回规定数量的电子邮件消息(例如，十(10)封电子邮件)以用于执行分析并且用于训练个性化预测模型。在操作515处，执行分析来确定针对所取回的电子邮件消息中的每个的预测与用户对所取回的那些电子邮件消息的实际决策/响应相比如何。 [0052] 在操作520处，基于对实际决策与针对所接收的电子邮件消息的预测相比如何的分析，针对从1到100的每个阈值来计算接收用户的经更新的查准率/查全率曲线，如在上文中参考图3所描述的。在操作525处，确定在规定的查准率和查全率目标(在查准率/查全率曲线325上)处提供“好的”或规定的预测结果的阈值的子集。在操作530处，从预阈值的子集中确定最优阈值，如在上文中所描述的。在操作535处，返回最优阈值以用于更新个性化预测模型以供使用，如在上文中参考图4所描述的。 [0053] 例如，认为所取回的电子邮件消息包括100条消息，并且认为已知所述消息中是垃圾邮件的每条消息应当被移动至垃圾/杂物文件夹并且不应当被用户阅读。然而，认为那些 100条消息中的20条消息有80％(0.8)的概率被阅读。同样认为剩余的消息有50％(0.5)的概率被阅读。应当理解的是，80％和50％的示例概率表示如参考图3所描述的针对那些电子邮件消息所计算的用户阈值。然而认为，根据个性化预测模型的本版本，已经针对接收用户 105设置了60％(0.6)的阈值。因此，根据该示例，个性化预测模型将错误地预测20条消息，这是因为那些消息的概率大于60％的用户阈值。 [0054] 根据在图5中所示出的方法500，因为真相是在分析所接收的消息时对所有100条消息已知的(例如，消息是否应当被阅读)，所以在操作520处执行计算循环以用于针对从1到100的每个潜在的阈值来计算查准率/查全率曲线，从而确定产生最佳结果的阈值。根据本示例应当理解的是，一旦达到80％的阈值，则100％的所接收到的消息将被标记为垃圾邮件、垃圾、或者杂物。作为响应，在从1到100的每个阈值水平处计算经更新的查准率/查全率曲线，以使得可以关于有多少假阳性和假阴性可以被返回来进行确定，并且使得与假阳性和假阴性相关联的阈值的范围可以被确定。 [0055] 根据一个方面，可以根据可接受的多个不同的方法来选择阈值的子集或范围，所述方法包括对提供好的预测体验的不同阈值进行反复检查。根据一个方面，阈值的子集和范围可以根据作为查准率和查全率曲函数以及相关联的曲线的组成部分的真阳性和假阳性来确定。例如，一个阈值选择方法可以包括优化相关联的软件应用的值函数以用于利用个性化预测模型(例如，用于将不想要的电子邮件消息移动至垃圾/杂物文件夹的特征)。根据该示例，所述值函数可以被定义为：值＝真阳性-X*假阳性，其中X是控制用户想要系统表现得多激进或者多谨慎的比例因子。根据该示例，如果杂物项目/非杂物项目>X，则值函数可以是阳性的，即使特征将所有的电子邮件消息放置到杂物/垃圾中。将值函数最大化将接着潜在地选择将所有内容放置到杂物中而不是将所有内容都不放置到杂物中(总是值＝ 0)。为了解决该问题，函数可以用于基于动作共享(例如，要移动到垃圾/杂物文件夹中的电子邮件消息的期望的百分比)来缩放X。根据该示例，简单的函数可以包括：f(动作共享)＝ 1/(1-动作共享10)。接着，可以使用以下的示例函数来选择针对阈值的子集或范围所选择的阈值：阈值＝argmaxthreshold*(真阳性-X/(1-动作共享10)*假阳性)。根据该示例，可以在101(即，高于1-100范围的一个阈值)处对阈值进行评估，所述阈值将具有零(0)值，并且将引起没有项目被放置到垃圾/杂物中。接着，如果用户接收100％动作共享，则函数将是不确定的。因此，针对100％动作共享，可以选择101的阈值以使得没有内容将被放置到垃圾杂物中，而不是将所有内容放置到垃圾/杂物中。根据一个示例，如果从两个阈值产生平局，则可以选择最高的阈值。 [0056] 如在上文中所描述的，在确定了阈值的子集和范围之后，可以从所确定的阈值的最佳子集确定最优阈值。因此，可以计算阈值的集合并且最终计算最优阈值以用于实际地满足那些目标，所述目标根据本示例将接近于80％的水平，在该水平处已知100％的所接收的电子邮件消息将被标记为垃圾邮件、垃圾、或杂物。如从所描述的该实例应当理解的是，每次个性化预测模型被训练并且被更新时，目标是建立将返回真阳性预测的最佳百分比的最优决策阈值。 [0057] 在本文中所描述的方面和功能可以经由多种计算系统来操作，所述多种计算系统包括但不限于：台式计算机系统、有线和无线计算系统、移动计算系统(例如，移动电话、上网本、平板或平面型计算机、笔记本计算机、以及膝上型计算机)、手持设备、多处理器系统、基于微处理器的或可编程的消费性电子产品、小型计算机、以及大型计算机。 [0058] 另外，根据一个方面，在本文中所描述的方面和功能可以在分布式系统(例如，基于云的计算系统)上操作，其中应用功能、存储器、数据存储和取回、以及各种处理功能可以通过分布式计算网络(例如因特网或内联网)彼此远程地进行操作。根据一个方面，可以经由板载计算设备显示器或者经由与一个或多个计算设备相关联的远程显示单元来显示各种类型的用户界面和信息。例如，各种类型的用户界面和信息是在各种类型的用户界面和信息所透射到的墙面上显示的并且与这样的墙面进行交互。与本发明的实施例利用其实践的多种计算系统交互包括：击键输入、触摸屏输入、语音或其他音频输入、手势输入，其中相关联的计算设备装备有用于捕获和解译用户手势的检测(例如，相机)功能，以用于控制计算设备的功能等。 [0059] 图6-8和相关联的描述提供了可以在其中实施本公开的多个方面的多种操作环境的讨论。然而，参考图6-8示出和讨论的设备和系统是出于示例和说明的目的，而不限制用于实践在本文中所描述的方面的大量的计算设备配置。 [0060] 图6是示出了利用其可以实践本公开的示例的计算设备600的物理组件(例如，硬件)的框图。在基本配置中，计算设备600包括至少一个处理单元602和系统存储器604。根据一个方面，取决于计算设备的配置和类型，系统存储器604包括但不限于易失性存储(例如，随机存取存储器)、非易失性存储(例如，只读存储器)、闪速存储器、或者这样的存储器的任何组合。系统存储器604包括操作系统605以及适合于运行软件应用650的一个或多个程序模块606。根据一个方面，系统存储器604包括预测建模系统130。例如，操作系统605可以适用于控制计算设备600的操作。此外，本公开的实施例可以结合图形库、其他操作系统、或任何其他应用来实践，并且不限于任何特定的应用或系统。在图6中由虚线608内的那些组件示出了该基本配置。根据一个方面，计算设备600可以具有额外的特征或功能。例如，根据一个方面，计算设备600包括额外的(可移动的和/或不可移动的)数据存储设备，例如磁盘、光盘、或磁带。在图6中由可移动存储设备609和不可移动存储设备610示出了这样额外的存储。 [0061] 如在上文中所述，根据一个方面，可以将多个程序模块和数据文件存储在系统存储器604中。当在处理单元602上执行时，程序模块606(例如，预测建模系统130)执行过程，包括但不限于在图4和图5中所示出的方法400、500的步骤中的一个或多个。根据一个方面，其他程序模块是根据本公开的示例使用的，并且包括以下应用，例如电子邮件和联系人应用、文字处理应用、电子表格应用、数据库应用、幻灯片演示应用、绘图或计算机辅助应用程序等。 [0062] 本公开的方面可以在电气电路中实践，该电气电路包括分立电子元件、包含逻辑门的封装或集成电子芯片、利用微处理器的电路、或者包含电子元件或微处理器的单个芯片。例如，多个方面是经由片上系统(SOC)来实践，其中在图6中所示出的组件中的每个或许多个组件可以集成到单个集成电路上。根据一个方面，这样的SOC设备包括一个或多个处理单元、图形单元、通信单元、系统虚拟化单元、以及各种应用功能，这些全都作为单个集成电路而集成(或“烧制”)到芯片基底上。当经由SOC进行操作时，在本文中所描述的功能可以经由与计算设备600的其他组件一同集成在单个集成电路(芯片)上的专用逻辑来进行操作。 根据一个方面，使用能够执行逻辑运算(例如，AND、OR、NOT)的其他技术来实践本公开的方面，所述技术包括但不限于：机械、光学、流体、和量子技术。另外，可以在通用计算机中或者在任何其他电路或系统中实践多个方面。 [0063] 根据一个方面，计算设备600还可以具有一个或多个输入设备612，例如键盘、鼠标、笔、声音或语音输入设备、触摸或滑动输入设备等。根据一个方面，还包括诸如显示器、扬声器、打印机等之类的输出设备614。前述设备是示例，并且可以使用其他设备。根据一个方面，计算设备600包括允许与其他计算设备618的通信的一个或多个通信连接616。合适的通信连接616的示例包括但不限于射频(RF)发射机、接收机、和/或收发机电路；通用串行总线(USB)、并行、和/或串行端口。 [0064] 如在本文中所用的术语计算机可读介质包括计算机存储介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块之类的信息的任何方法或技术来实现的易失性和非易失性、可移动和不可移动的介质。系统存储器604、可移动存储设备 609、和不可移动存储设备610全都是计算机存储介质的示例(即，存储器存储)。根据一个方面，计算机存储介质包括：RAM、ROM、电可擦除只读存储器(EEPROM)、闪速存储器或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光存储、盒式磁带、磁带、磁盘存储器或其他磁存储设备、或者可以用于存储信息并且可以由计算设备600访问的任何其他制品。根据一个方面，任何这样的计算机存储介质都是计算设备600的一部分。计算机存储介质不包括载波或其他经传播的数据信号。 [0065] 根据一个方面，通信介质是由计算机可读指令、数据结构、程序模块、或者经调制的数据信号(例如，载波或其他传输机制)中的其他数据来实施的，并且包括任何信息传递介质或传输介质。术语“经调制的数据信号”描述具有以关于将信息在信号中进行编码的方式设置或改变的一个或多个特性的信号。作为示例而非限制，通信介质包括有线介质(例如，有线网络或直接有线连接)以及无线介质(例如，声学、射频(RF)、红外、和其他无线介质)。 [0066] 图7A和7B示出了利用其可以实践多个方面的移动计算设备700，例如，移动电话、智能电话、平板个人计算机、膝上型计算机等。参考图7A，示出了用于实现多个方面的移动计算设备700的示例。在基本配置中，移动计算设备700是具有输入元件和输出元件两者的手持计算机。移动计算设备700通常包括显示器705以及允许用户向移动计算设备700中输入信息的一个或多个输入按钮710。根据一个方面，移动计算设备700的显示器705还可以充当输入设备(例如，触摸屏显示器)。如果被包括在内，可选的侧输入元件715允许进一步的用户输入。根据一个方面，侧输入元件715是旋转开关、按钮、或任何其他类型的手动输入元件。在可替代的示例中，移动计算设备900包含更多或更少的输入元件。例如，在一些示例中，显示器705可以不是触摸屏。在可替代的示例中，移动计算设备700是便携式电话系统，例如蜂窝电话。根据一个方面，移动计算设备700包括可选的小键盘735。根据一个方面，可选的小键盘735是物理小键盘。根据另一方面，可选的小键盘735是在触摸屏显示器上生成的“软”小键盘。在各种方面中，输出元件包括用于示出图形用户界面(GUI)的显示器705、视觉指示器720(例如，发光二极管)、和/或音频换能换能器725(例如，扬声器)。在一些示例中，移动计算设备700包含用于给用户提供触觉反馈的振动换能器。在另一个示例中，移动计算设备700包含用于向外部设备发送信号或者从外部设备接收信号的外围设备端口740，例如音频输入端(例如，麦克风插孔)、音频输出端(例如，耳机插孔)、以及视频输出端(例如，HDMI端口)。 [0067] 图7B是示出了移动计算设备的一个方面的架构的框图。也就是说，移动计算设备 700包含用于实现一些示例的系统(即，架构)702。在一个示例中，系统702被实现为能够运行一个或多个应用(例如，浏览器、电子邮件、日历、联系人管理器、消息传送客户端、游戏、和媒体客户端/播放器)的“智能电话”。在一些示例中，系统702被集成为计算设备，例如集成的个人数字助理(PDA)和无线电话。 [0068] 根据一个方面，一个或多个应用程序766可以被加载到存储器762中并且在操作系统764上运行或者在与操作系统764关联地运行。应用程序的示例包括电话拨号程序、电子邮件程序、个人信息管理(PIM)程序、文字处理程序、电子表格程序、互联网浏览器程序、消息传送程序等。根据一个方面，预测建模系统130被加载到存储器762中。系统702还包括存储器762内的非易失性存储区域768。非易失性存储区域768可以用于存储如果系统702断电而不应丢失的持续信息。应用程序750可以在非易失性存储区域768中使用并存储信息，例如电子邮件或者由电子邮件应用使用的其他消息等。同步应用(未示出)也驻留在系统702上，并且被编程为与驻留在主计算机上的对应的同步应用进行交互，从而将存储在非易失性存储区域768中的信息与存储在主计算机上的对应的信息保持同步。应当理解的是，其他应用可以被加载到存储器762中并且在移动计算设备700上运行。 [0069] 根据一个方面，系统702具有电源770，其可以被实现为一个或多个电池。电源770还包括外部电源，例如AC适配器或给电池供电或充电的加电对接托架。 [0070] 根据一个方面，系统702还包括执行发送和接收视频通信的功能的无线电设备 772。无线电设备772经由通信载波或服务提供商来促成系统702与“外部世界”之间的无线连通性。来往于无线电设备772的传输是在操作系统764的控制下进行的。换句话说，可以将由无线电设备772所接收的通信经由操作系统764散播至应用程序750，反之亦然。 [0071] 根据一个方面，视觉指示器720用于提供视觉通知，和/或音频接口774可以用于经由音频换能器725产生可听见的通知。在所示的示例中，视觉指示器720是发光二极管(LED)，而音频换能器725是扬声器。这些设备可以直接地耦合至电源770，以便当被激活时，即使处理器760和其他组件可以关闭以节省电池电量，这些设备也能保持通电并持续由通知机制所指示的一段时间。LED可以被编程为无限期地保持通电，直到用户采取动作来指示设备的通电状态为止。音频接口774用于向用户提供可听见的信号并从用户接收可听见的信号。例如，除了耦合到音频换能器725之外，音频接口774还可以被耦合至麦克风以接收可听见的输入，例如，以促进电话会话。根据一个方面，系统702还包括视频接口776，其使得车载摄像机730的操作能够记录静止图像、视频流等。 [0072] 根据一个方面，实现系统702的移动计算设备700具有额外的特征或功能。例如，移动计算设备700包括(可移动的和/或不可移动的)额外的数据存储设备，例如磁盘、光盘、或磁带。在图7B中由非易失性存储区域768示出了这样额外的存储。 [0073] 根据一个方面，如在上文中所描述的，将由移动计算设备700所生成或捕获的数据/信息以及经由系统702所存储的数据/信息本地地存储在移动计算设备700上。根据另一方面，将数据存储在可以经由无线电设备772或经由移动计算设备700和与移动计算设备 700相关联的单独的计算设备(例如，分布式计算网络(例如，互联网)中的服务器计算机)之间的有线连接由设备来访问的任何数量的存储介质上。应当理解的是，可以经由移动计算设备700、经由无线电设备772、或经由分布式计算网络来访问这样的数据/信息。类似地，根据一个方面，根据公知的数据/信息传输和存储方式(包括电子邮件和协同数据/信息共享系统)，这样的数据/信息可以容易地在计算设备之间传输以供存储和使用。 [0074] 图8示出了系统的架构的一个示例，其用于如在上文中所描述的那样提供具体的数据点处的数据的可自定义下钻视图的实时呈现。使得与预测建模系统130相关联地开发、交互、或编辑的内容能够被存储在不同的通信信道或者其他存储类型中。例如，可以使用目录服务822、门户网站824、邮箱服务826、即时消息传送存储828、或社交网站830来存储各种文档。预测建模系统820用于使用这些类型的系统等中的任何一个系统以提供对具体的数据点处的数据的可自定义下钻视图的实时呈现，如在本文中所描述的。根据一个方面，服务器815将预测建模系统130提供至客户端805a-c。作为一个示例，服务器815是通过网络提供预测建模系统130的网络服务器。服务器815通过网络810向客户端805通过网络提供预测建模系统130。作为示例，客户端计算设备在个人计算机805a、平板计算设备805b、和/或移动计算设备805c(例如，智能电话)中实现和实施。客户端计算设备的这些示例中的任何一个用于从存储816获得内容。 [0075] 例如，在上文中参考方法、系统、和计算机程序产品的框图和/或操作图而描述了本公开的方面。在方框中所记录的功能/操作可以以不同于在任何流程图中所示出的顺序来进行。例如，取决于所涉及的功能/操作，连续地示出的两个方框可以实际上大体上同时执行，或者方框可以有时以相反的顺序执行。 [0076] 在该申请中所提供的一个或多个示例的描述或示图不旨在以任何方式限制或约束所要求保护的发明的范围。在该公开中所提供的方面、示例、和细节被认为足以传达所有物，并且使得本领域技术人员能够制造并使用所要求保护的发明的最优模式。本公开不应该被解释为限于在该申请中所提供的任何方面、示例、或细节。无论是共同地还是单独地示出或描述，(结构上和方法上两者的)各种特征旨在选被择性地包括或省略，以产生具有特定组的特征的示例。在已经提供了本申请的描述和图示之后，本领域技术人员可以预想落入在该申请中所实施的一般的发明概念的更宽泛的方面的精神内的变型、修改和替代示例，而不脱离所要求保护的发明的更宽泛的范围。