[0001] 本申请涉及信息技术领域，尤其涉及烹饪指导方法和装置。

[0002] 烹饪是一种复杂而有规律地将食材转化为食物的加工过程，是对食材加工处理，使食物更可口、更好看、更好闻的处理方式与方法。在日常生活中，用户经常会通过烹饪指导装置(如手机、平板电脑等)以图文菜谱或音视频菜谱的形式学习烹饪。

[0003] 然而，现有烹饪指导装置在指导用户烹饪时，用户与烹饪指导装置之间缺乏交互性，从而导致用户通过烹饪指导装置学习烹饪难度较高。

[0056] 下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

[0057] 本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

[0058] 本申请的说明书以及附图中的术语“第一”和“第二”等是用于区别不同的对象，或者用于区别对同一对象的不同处理，而不是用于描述对象的特定顺序。

[0059] 此外，本申请的描述中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选的还包括其他没有列出的步骤或单元，或可选的还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

[0060] 需要说明的是，本申请实施例的描述中，“示例性地”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。

[0061] 在本申请的描述中，除非另有说明，“多个”的含义是指两个或两个以上。

[0062] 在日常生活中，用户经常会通过烹饪指导装置(如手机、平板电脑等)以图文菜谱或音视频菜谱的形式学习烹饪。然而，现有烹饪指导装置在指导用户烹饪时，用户与烹饪指导装置之间缺乏交互性，从而导致用户通过烹饪指导装置学习烹饪难度较高。

[0063] 为此，本申请实施例提供了烹饪指导方法。该烹饪指导方法可以应用于烹饪指导系统。如图1所示，该烹饪指导系统可以包括：摄像头101、温度传感器102、麦克风103、扬声器104和烹饪指导装置105。

[0064] 摄像头101用于采集图像信息(如用户烹饪过程中的图像及视频)。摄像头101可以为单目摄像头、双目摄像头、半球摄像头、红外摄像头或球形摄像头。摄像头101可以采全景镜头、广角镜头、长焦镜头或变焦镜头。摄像头101的分辨率包括但不限于1920*1080、1280*720、960*720或960*576。本申请实施例对摄像头101的具体类型不作任何限制。

[0065] 示例性地，摄像头101可以为采用广角镜头，分辨率为1920*1080的单目广角高清摄像头。

[0066] 温度传感器102用于采集温度信息(如用户烹饪过程中锅具和食材区域温度)。

[0067] 温度传感器102可以为热电偶温度传感器、热敏电阻温度传感器、半导体温度传感器、实时动态码相位差分(real time differential，RTD)温度传感器、温感探头、单点式红外测温仪、热成像仪、接触式温度传感器或非接触式温度传感器。本申请实施例对温度传感器102的具体类型不作任何限制。

[0068] 示例性地，温度传感器102可以为温度范围为‑50摄氏度～300摄氏度的接触式温感探头。

[0069] 可以理解的是，传感器102可以和其他装置集成在一起。例如，如图1所示温度传感器102可以与锅具集成在一起。又例如，如图2所示温度传感器也可以是布置在燃气灶中央区域，当温度传感器102检测到有锅具放置时会自动升降到接触锅底进行测温。又例如，如图3所示温度传感器102还可以与摄像头101集成在一起。具体地，温度传感器102和摄像头101可以集成为热成像测温摄像头。

[0070] 麦克风103用于采集音频信息(如采集用户烹饪过程中用户使用厨具所产生的音频信息)。麦克风103还可以用于采集语音指令(如麦克风可以采集用户的语音指令。)。麦克风103可以为动圈麦克风、小振膜电容麦克风、大振膜电容麦克风、真空管麦克风、铝带麦克风、驻极体麦克风、压电麦克风、领夹式麦克风、全向麦克风或单向麦克风。本申请实施例对麦克风103的具体类型不作任何限制。

[0071] 示例性地，麦克风103可以为领夹式全向麦克风。

[0072] 扬声器104用于播放烹饪指导信息以指示用户执行对应的烹饪动作。扬声器104音箱、耳机、动圈扬声器、压电扬声器或数字扬声器。本申请实施例对扬声器104的具体类型不作任何限制。

[0073] 示例性地，扬声器104可以为蓝牙音箱。

[0074] 可选地，麦克风103和扬声器104可以集成在一起。例如，麦克风103和扬声器104可以集成为蓝牙耳机。

[0075] 烹饪指导装置105用于执行本申请实施例提供了烹饪指导方法。烹饪指导装置105可以为全屋智能主机、手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra‑mobile personal computer，UMPC)、上网本或个人数字助理(personal digital assistant，PDA)本申请实施例对烹饪指导装置105的具体类型不作任何限制。

[0076] 摄像头101、温度传感器102、麦克风103、扬声器104和烹饪指导装置105中还可以集成有通信单元。摄像头101、温度传感器102、麦克风103、扬声器104和烹饪指导装置105之间可以通过通信单元基于通信网络进行通信。

[0077] 可选地，上述通信网络可以是以太网，无线接入网(radio access network，RAN)，或无线局域网(wireless local area networks，WLAN)，蓝牙(blue tooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等，本申请实施例对此不作限定。

[0078] 可以理解的是，摄像头101、温度传感器102、麦克风103、扬声器104也可以与烹饪指导装置105集成在一起。例如，摄像头101、温度传感器102、麦克风103、扬声器104与烹饪指导装置105可以集成在具备测温功能的手机中。

[0079] 在一些可能的实现方式中，烹饪指导系统可以只包括摄像头101、温度传感器102、麦克风103中的任意一种或两种传感器，以用于获取烹饪现场的信息，而不需要同时由上述三种传感器获取烹饪现场的信息。

[0080] 下面结合附图对本申请实施例提供的烹饪指导方法进行详细说明，如图4所示，本申请实施例提供的烹饪指导方法包括：

[0081] S401、烹饪指导装置获取菜谱信息。

[0082] 其中，菜谱信息包括至少一个烹饪动作。例如，菜谱信息可以包括加食材、开火、翻炒、加调料、收汁、关火这六个烹饪动作。

[0083] 可选地，烹饪动作可以包括准备食材、调整火力(如开火、关火、调大火力、调小火力等)、翻炒、加食材、加调料、加水、出锅、收汁、开锅盖或关锅盖中的至少一项。

[0084] 在一种可能的实现方式中，烹饪指导装置可以通过其他设备(如运动手环)获取用户健康数据信息并根据用户的健康数据为用户推荐菜谱，当用户选择推荐菜谱后，烹饪指导装置获取该菜谱的菜谱信息。

[0085] 在另一种可能的实现方式中，烹饪指导装置通过摄像头获取厨房的图像信息，然后根据该图像信息确定厨房已有食材并根据已有食材为用户推荐菜谱，当用户选择推荐菜谱后，烹饪指导装置获取该菜谱的菜谱信息。

[0086] 图5是本申请实施例提供的一种图形用户界面(graphical user interface，GUI)示意图，图5中的(a)图示出了烹饪指导装置的解锁模式下，烹饪指导装置的屏幕显示系统显示了当前输出的界面内容，该界面内容为烹饪指导装置的主界面。该界面内容显示了多款应用程序(application，App)，例如烹饪指导、相机、通讯录、电话、信息、时钟等应用程序。值得一提的是，界面内容还可以包括其他更多的应用程序，本申请实施例对此不作限定。

[0087] 用户可以通过触摸烹饪指导装置屏幕上特定的控件、按压特定的物理按键或按键组合、输入语音、隔空手势等方式，指示烹饪指导装置开启烹饪指导应用。响应于接收到用户开启烹饪指导的指示后，烹饪指导装置启动烹饪指导应用，通过摄像头获取厨房的图像信息并根据厨房的图像信息确定厨房已有食材包括西红柿和鸡蛋，之后在图5中的(b)示出的烹饪指导应用的界面上向用户推荐西红柿炒鸡蛋、番茄蛋花汤等菜谱，当用户点击烹饪指导应用界面中的西红柿炒鸡蛋菜谱后，烹饪指导装置获取西红柿炒鸡蛋的菜谱信息。

[0088] 需要说明的是，烹饪指导装置可以通过多种方式获取菜谱信息。例如，用户可以通过触摸烹饪指导装置屏幕上特定的控件或输入语音等方式，指示烹饪指导装置获取菜谱信息。响应于接收到用户获取菜谱信息的指示后，烹饪指导装置获取菜谱信息。

[0089] 示例性地，用户可以向烹饪指导装置说“我想做宫保鸡丁”即输入语音信息，烹饪指导装置响应该语音信息获取宫保鸡丁的菜谱信息。

[0090] 可选地，在烹饪指导装置获取菜谱信息之后，烹饪指导装置可以通过图像信息确定厨房已有食材和厨房已有耗材(如调味品、吸水纸、锅碗瓢盆、厨房电器等耗材)并与菜谱信息进行匹配，当用户缺少菜谱信息中的食材或耗材时提醒用户并为用户推荐购买相应产品的商城或购买链接。例如，西红柿炒鸡蛋的菜谱信息中需要鸡蛋，烹饪指导装置通过图像信息确定厨房没有鸡蛋，烹饪指导装置则可以向用户推荐鸡蛋的购买链接或推荐线上商城(线下商城)以提醒用户购买鸡蛋。

[0091] 可以理解的是，烹饪指导装置可以从服务器中下载菜谱信息。其中，用户可以通过烹饪指导装置或其他装置记录自身的烹饪过程并将其制作成菜谱信息上传至服务器，以供其他用户使用。

[0092] 例如，用户可以记录自身烹饪过程并将其制作成菜谱信息上传至服务器以分享给用户的亲人或朋友及其他用户，用户的亲人或朋友及其他用户可以指示烹饪指导装置从服务器中下载该用户制作的菜谱信息。

[0093] 又例如，厨师或明星网红可以记录自身烹饪过程制作成菜谱信息上传至服务器用户可以指示烹饪指导装置从服务器中下载专业厨师或明星网红制作的菜谱信息。

[0094] S402、烹饪指导装置播放烹饪指导信息，以指示用户执行目标烹饪动作。

[0095] 其中，烹饪指导信息用于指示用户执行目标烹饪动作。

[0096] 可选地，烹饪指导信息可以包括音频烹饪指导信息、视频烹饪指导信息或文字烹饪指导信息中的至少一项。

[0097] 示例性地，烹饪指导装置可以通过播放视频以指导用户准备鸡蛋和西红柿(即准备食材)。

[0098] 又示例性地，烹饪指导装置可以通过显示文字以指导用户向锅内加入食用油(即加调料)。

[0099] 又示例性地，烹饪指导装置可以通过AR技术通过AR图像指导用户翻炒锅内的食材。例如，烹饪指导装置可以通过AR技术在用户面前投影正在进行翻炒动作的AR人物以指导用户进行翻炒动作。

[0100] 如图5中(b)图所示，用户点击烹饪指导应用界面中的西红柿炒鸡蛋菜谱后，烹饪指导装置响应于该指令下载西红柿炒鸡蛋的菜谱信息并使烹饪指导应用跳转至图5中(c)图所示界面，该界面展示了西红柿炒鸡蛋的步骤和开始指导控件。用户点击图5中(c)图所述的界面中底部的开始指导控件，如图5中(d)图所示烹饪指导装置响应于该指令使烹饪指导应用在界面中显示文字指导信息以指导用户执行西红柿炒鸡蛋的第一个步骤准备西红柿和鸡蛋。

[0101] 可以理解的是，烹饪指导装置也可以将烹饪指导信息发送到其他设备，由其他设备播放烹饪指导信息。

[0102] 例如，烹饪指导装置可以通过蓝牙网络将音频烹饪指导信息发送到蓝牙音箱并指示蓝牙音箱播放该音频烹饪指导信息。

[0103] 又例如，烹饪指导装置可以通过无线网络将AR视频烹饪指导信息发送至AR眼镜并指示AR眼镜播放AR视频烹饪指导信息。

[0104] 又例如，烹饪指导装置可以通过无线网络将视频烹饪指导信息发送至用户的手机中并指示该手机播放视频烹饪指导信息。

[0105] S403、烹饪指导装置获取采集信息。

[0106] 其中，采集信息包括图像信息、温度信息或音频信息中的至少一项。例如，采集信息可以包括图像信息和温度信息。又例如，采集信息可以包括温度信息和音频信息，对采集信息进行识别确定用户当前烹饪动作。又例如，采集信息可以包括图像信息、温度信息和音频信息。

[0107] 需要说明的是，上述图像信息包括图片和视频中的至少一项。例如，图像信息可以包括视频和图像。其中，图像信息中可以包括多个图像或视频。

[0108] 可选地，采集信息还可也包括时间信息。烹饪指导装置可以通过内部时钟或外部时钟获取时间信息。时间信息可以与上述图像信息相结合。例如，时间信息可以标注在每个图像或视频中。

[0109] 在一种可能的实现方式中，烹饪指导装置可以接收图像采集装置发送的图像信息以获取采集信息中的图像信息；接收温度采集装置发送的温度信息以获取采集信息中的温度信息；接收音频采集装置发送的音频信息以获取采集信息中的音频信息。

[0110] 上述获取采集信息的具体方法可以采用本领域技术人员能够想到的任何一种方法进行处理，本申请实施例对此不做具体限定。例如，烹饪指导装置可以通过自身的传感单元获取全部或部分采集信息。又例如，烹饪指导装置也可以通过外部装置(如温度采集装置、音频采集装置和摄像头)获取部分或全部的采集信息。

[0111] S404、烹饪指导装置对采集信息进行识别确定用户当前烹饪动作。

[0112] 在一种可能的实现方式中，烹饪指导装置可以对所述图像信息进行识别得到第一参考信息；对所述温度信息进行识别得到第二参考信息；根据所述第一参考信息和所述第二参考信息，确定用户当前烹饪动作。

[0113] 示例性地，烹饪指导装置可以基于图像信息进行手部动作识别以得到用于表征用户当前烹饪动作概率的第一参考信息。基于温度信息中的平均温度曲线变化(如锅具和食材区域的平均温度曲线变化)以及温度曲线的斜率和波峰波谷信息进行动作识别得到用于表征用户当前烹饪动作概率的第二参考信息。

[0114] 可以理解是的，烹饪指导装置对某一信息进行识别时也可以结合其他信息进而增加识别的准确性。例如，烹饪指导装置在先对图像信息进行手部动作识别，然后再对温度信息进行识别并可以在识别过程中参考图像信息的识别结果，根据该识别结果和温度信息确定用户进行动作前后的平均温度和温度方差变化，然后基于用户进行动作前后的平均温度和温度方差变化以及平均温度曲线变化得到用于表征用户当前烹饪动作概率的第二参考信息。

[0115] 需要说明的是，根据整个烹饪过程中锅具中食材区域的平均温度变化，可以发现加食材动作后温度曲线斜率为负且处于波峰、翻炒动作后温度曲线斜率为正且处于波谷、加水动作后温度曲线斜率为负且处于波峰。因此，烹饪指导装置可以通过动作结束后温度曲线斜率和波峰波谷的变化可以反推出可能的烹饪动作类别以得到上述第二参考信息。

[0116] 采集整个烹饪过程中锅具中食材区域的温度信息，统计直方图和计算方差，可以发现翻炒动作前后平均温度变化不大且方差增大很多(例如，在实际烹饪过程中翻炒前后锅内食材的平均温度分别为152摄氏度和156摄氏度，翻炒前后锅内食材的温度的方差分别为341和564)。因此，烹饪指导装置通过动作结束前后平均温度和方差的比较可以反推出可能的烹饪动作类别以得到上述第二参考信息。

[0117] 在另一种可能的实现方式中，烹饪指导装置可以对所述温度信息进行识别得到第二参考信息；对所述音频信息进行识别得到第三参考信息；根据所述第二参考信息和所述第三参考信息，确定用户当前烹饪动作。

[0118] 示例性地，烹饪指导装置可以基于温度信息中的平均温度曲线变化得到用于表征用户当前烹饪动作概率的第二参考信息，对音频信息进行处理(如滤波去噪)得到高频频谱，然后基于高频频谱得到用于表征用户当前烹饪动作概率的第三参考信息。

[0119] 在又一种可能的实现方式中，烹饪指导装置可以对所述图像信息进行识别得到第一参考信息；对所述温度信息进行识别得到第二参考信息；对所述音频信息进行识别得到第三参考信息；根据所述第一参考信息、所述第二参考信息和所述第三参考信息，确定用户当前烹饪动作。

[0120] 其中，上述参考信息用于表征一个或多个烹饪动作及其概率。例如，烹饪指导装置对图像信息进行识别得到用于表征翻炒烹饪动作的概率为100％的第一参考信息。又例如，烹饪指导装置对温度信息进行识别得到用于表征翻炒烹饪动作的概率为75％和收汁烹饪动作的概率为25％的第二参考信息。

[0121] 烹饪指导装置可以分别对图像信息、温度信息和音频信息进行识别得到第一参考信息(C1)、第二参考信息(C2)和第三参考信息(C3)，然后通过加权系数(n1、n2和n3)确定用户当前烹饪动作C。用户当前烹饪动作C满足公式：C＝C1*n1+C2*n2+C3*n3。其中，*为乘号。

[0122] 上述加权系数以采用本领域技术人员能够想到的任何一种方法得到，本申请实施例对此不做具体限定。例如，可以通过网络进行训练得到上述加权系数。

[0123] 可以理解的是，烹饪指导装置也可以将采集信息发送至其他设备，由其他设备对采集信息进行识别确定用户当前烹饪动作，然后烹饪指导装置接收其他设备发送的识别结果以确定用户当前烹饪动作。例如，烹饪指导装置可以将采集信息发送至全屋智能主机，全屋智能主机对接收到的采集信息进行识别得到用于表征用户当前烹饪动作的识别结果，然后全屋智能主机将该识别结果发送至烹饪指导装置，烹饪指导装置根据该识别结果确定用户当前烹饪动作。

[0124] S405、烹饪指导装置判断用户当前烹饪动作与目标烹饪动作是否相同？相同，则执行S406；不同，则执行S402。

[0125] 需要说明的是，用户当前烹饪动作与目标烹饪动作相同，则说明用户按照烹饪指导装置的目标烹饪动作进行烹饪，这时可通过执行S406继续指导用户进行当前目标烹饪动作的下一个烹饪动作。

[0126] 相应地，用户当前烹饪动作与目标烹饪动作不相同，则说明用户未按照烹饪指导装置指导的目标烹饪动作进行烹饪，这时可通过执行S402继续指导用户进行当前目标烹饪动作。

[0127] 在一种可能的实现方式中，在用户当前烹饪动作与目标烹饪动作相同的情况下，烹饪指导装置也可以根据菜谱信息和采集信息更新目标烹饪动作，之后，执行S402。

[0128] 在一种可能的实现方式中，在用户当前烹饪动作与目标烹饪动作不相同的情况下，烹饪指导装置可以先指示用户关火或调小火力以防止锅内食材糊锅，之后执行S402。

[0129] 在另一种可能的实现方式中，在用户当前烹饪动作与目标烹饪动作不相同的情况下，烹饪指导装置也可以根据菜谱信息和采集信息更新目标烹饪动作，之后，执行S402。

[0130] S406、烹饪指导装置根据菜谱信息更新目标烹饪动作，之后，执行S402。

[0131] 具体地，如图6所示，烹饪指导装置可以判断目标烹饪动作是否为菜谱信息中的最后的一个烹饪动作？若目标烹饪动作是最后一个烹饪动作，则可以指示用户结束烹饪。若目标烹饪动作不是菜谱信息中的最后的一个烹饪动作，则将目标烹饪动作更新为菜谱信息中的当前目标烹饪动作的下一个烹饪动作，之后，执行S402。例如，菜谱信息中包括N个烹饪动作，当前目标烹饪动作为菜谱信息中的第M个烹饪动作，若M不等于N，烹饪指导装置则更新目标烹饪动作为菜谱信息中的第M+1个烹饪动作。若M等于N，烹饪指导装置则指示用户结束烹饪。其中，N和M均为正整数。

[0132] 示例性地，西红柿炒鸡蛋的菜谱信息依次包括准备西红柿和鸡蛋(准备食材)、开火(调整火力)、加食用油(加调料)、加西红柿和鸡蛋(加食材)、加盐(调料)、翻炒、收汁和关火(调整火力)。烹饪指导装置播放如图7中(a)图所示的文字烹饪指导信息指示用户翻炒(翻炒锅内食材)，用户进行翻炒时烹饪指导装置获取采集信息并根据采集信息确定用户当前进行了翻炒烹饪指导装置则更新目标烹饪动作为翻炒的下一个烹饪动作即收汁并播放如图7中(b)图所示文字烹饪指导信息指示用户收汁。

[0133] 又示例性的，继续以上述西红柿炒鸡蛋的菜谱信息为例，烹饪指导装置播放如图7中(c)图所示的文字烹饪指导信息指示用户关火，用户进行翻炒时烹饪指导装置获取采集信息并根据采集信息确定用户当前进行了关火，烹饪指导装置确定关火为西红柿炒鸡蛋的菜谱信息中的最后一个烹饪动作，烹饪指导装置则播放如图7中(d)所示的文本信息指示用户结束烹饪。

[0134] 在一种可能的实现方式中，烹饪指导装置也可以根据菜谱信息和采集信息更新所述目标烹饪动作。

[0135] 示例性地，继续以上述西红柿炒鸡蛋的菜谱信息为例，如图7中(a)图所示，烹饪指导装置播放文字烹饪指导信息指示用户对锅内食材进行翻炒，用户按照烹饪指导信息对锅内食材进行翻炒，但用户翻炒不及时造成锅内食材温度过高。烹饪指导装置获取采集信息并根据采集信息确定用户当前对锅内食材翻炒并通过温度信息确定锅内食材温度过高，从而根据这一情况在翻炒和收汁这两个烹饪动作之间增加加水这一烹饪操作以过程降低锅内食材温度动态调整烹饪过程，即烹饪指导装置更新目标烹饪动作为加水并播放如图8中(a)图所示的文字烹饪指导信息指示用户加水(向锅内加水)。

[0136] 可以理解的是，菜谱信息中的各烹饪操作是根据正常烹饪过程设定的，但由于烹饪操作存在多变性，即相同的烹饪操作在不同的环境可能产生不同的结果，所以可以通过实时获取烹饪过程中的图像、温度和音频等信息动态调整烹饪操作，从而使用户烹饪出的食物更加健康美味。

[0137] 在一种可能的实现方式中，烹饪指导装置可以根据采集信息进行异常识别、温度识别和菜品识别，然后根据识别结果和菜谱信息更新目标烹饪动作。其中，异常识别用于根据采集信息判断锅内是否存在干烧溢出等异常情况。温度识别用于判断烹饪温度即锅内温度是否大于温度阈值。菜品识别用于判断食材是否达到设置的熟度(如3成熟、7成熟、全熟等)。

[0138] 可选地，由于油温超过250摄氏度会产生丁二烯醛类等致癌物质，因此将上述温度阈值设置为230摄氏度，以防止油温过高释放出致癌物质而危害用户健康。

[0139] 可选地，可以分别为异常识别、温度识别和菜品识别设置不同的优先级(如为异常识别设置第一优先级，为温度识别设置第二优先级，为菜品识别设置第三优先级)并按优先级由小到大的顺序依次判断当前烹饪过程是否正常，如果有异常则将目标烹饪动作更新为相应的烹饪动作，如果没有异常则按菜谱信息更新目标烹饪动作。

[0140] 示例性地，如图9所示，烹饪指导装置可以根据采集信息进行异常识别判断是否存在干烧溢出等异常情况，若存在异常情况，则将目标烹饪步骤更新为调小火力和加水。若不存在异常情况，则根据采集信息进行温度识别判断烹饪温度是否大于温度阈值，[0141] 若烹饪温度大于温度阈值，则将目标烹饪步骤更新为调小火力。若烹饪温度未大于温度阈值，则根据采集信息进行菜品识别判断食材是否达到设置的熟度。

[0142] 若食材是否达到设置的熟度则将目标烹饪步骤更新为关火。若食材未达到设置的熟度，则根据菜谱信息更新目标烹饪步骤。

[0143] 可选地，在将目标烹饪步骤更新为关火且用户按照目标烹饪目标完成关火之后，烹饪指导装置还可以播放信息提示用户结束烹饪。

[0144] 在一种可能的实现方式中，在用户当前烹饪动作与目标烹饪动作不相同的情况下，烹饪指导装置可以执行S402。

[0145] 示例性的，继续以上述西红柿炒鸡蛋的菜谱信息为例，如图7中(a)图所示，烹饪指导装置播放文字烹饪指导信息指示用户对锅内食材进行翻炒，用户并未按照烹饪指导信息对锅内食材进行翻炒，烹饪指导装置获取采集信息并根据采集信息确定用户当前并未对锅内食材翻炒，如图8中(b)图所示烹饪指导装置则不更新当前烹饪动作并在原有文字烹饪指导信息中添加提示语句以提示用户对锅内食材翻炒。

[0146] 又示例性地，继续以上述西红柿炒鸡蛋的菜谱信息为例，如图7中(a)图所示，烹饪指导装置播放文字烹饪指导信息指示用户对锅内食材进行翻炒，用户并未按照烹饪指导信息对锅内食材进行翻炒，烹饪指导装置获取采集信息并根据采集信息确定用户当前并未对锅内食材翻炒，如图8中(c)图所示烹饪指导装置则不更新当前烹饪动作并将原有指导信息中的字体放大以提示用户对锅内食材翻炒。

[0147] 在另一种可能的实现方式中，在用户当前烹饪动作与目标烹饪动作不相同的情况下，烹饪指导装置也可以根据菜谱信息和采集信息更新所述目标烹饪动作，之后执行S402。

[0148] 示例性的，继续以上述西红柿炒鸡蛋的菜谱信息为例，如图7中(a)图所示，烹饪指导装置播放文字烹饪指导信息指示用户对锅内食材进行翻炒，用户并未按照烹饪指导信息对锅内食材进行翻炒造成锅内食材温度过高。烹饪指导装置获取采集信息并根据采集信息确定用户当前并未对锅内食材翻炒并通过温度信息确定锅内食材温度过高，从而根据这一情况更新烹饪指导动作为加水以降低锅内食材温度，并播放如图8(d)所示的文字烹饪指导信息指示用户加水(向锅内加水)。

[0149] 可以理解的是，用户当前烹饪动作与目标烹饪动作不相同可能会影响原有烹饪过程，这时如果按照菜谱信息中的烹饪操作进行烹饪可能导致烹饪失败，所以可以通过实时获取烹饪过程中的图像、温度和音频等信息动态调整烹饪操作以修正烹饪过程。例如，原本目标烹饪操作为翻炒，而用户没有进行翻炒会造成食材温度过高，如果这时继续重复播放指导信息指导用户进行翻炒，可能造成食材因温度过高而被炒焦。因此，这时可以动态调整烹饪操作以防止用户将食材炒焦(如将目标烹饪操作更新为调小火和加水)，之后再指导用户进行翻炒。

[0150] 如图10所示，本申请还提供了一种烹饪指导装置1000，以用于执行本申请方法实施例部分所提供的方法，装置1000包括：播放单元1001、采集单元1002、确定单元1003和更新单元1004。

[0151] 播放单元1001，用于播放烹饪指导信息，烹饪指导信息用于指示用户执行目标烹饪动作。

[0152] 采集单元1002，用于获取采集信息，采集信息包括图像信息、温度信息或音频信息中的至少一项。

[0153] 确定单元1003，用于根据采集信息确定用户当前烹饪动作。

[0154] 更新单元1004，用于若用户当前烹饪动作与目标烹饪动作相同，则根据菜谱信息更新目标烹饪动作，以及指示播放单元1001、采集单元1002和确定单元1003重复执行播放烹饪指导信息至根据采集信息确定用户当前烹饪动作的过程，其中，菜谱信息包括至少一个烹饪动作。

[0155] 在一种可能的实现方式中，上述采集信息可以包括图像信息和温度信息，确定单元1003具体用于：对图像信息进行识别得到第一参考信息；对温度信息进行识别得到第二参考信息；根据第一参考信息和第二参考信息，确定用户当前烹饪动作。

[0156] 在另一种可能的实现方式中，上述采集信息可以包括温度信息和音频信息，确定单元1003具体用于：对温度信息进行识别得到第二参考信息；对音频信息进行识别得到第三参考信息；根据第二参考信息和第三参考信息，确定用户当前烹饪动作。

[0157] 在又一种可能的实现方式中，上述采集信息可以包括图像信息、温度信息和音频信息，确定单元1003具体用于：对图像信息进行识别得到第一参考信息；对温度信息进行识别得到第二参考信息；对音频信息进行识别得到第三参考信息；根据第一参考信息、第二参考信息和第三参考信息，确定用户当前烹饪动作。

[0158] 在一种可能的实现方式中，上述确定单元1004具体用于：根据菜谱信息和采集信息更新目标烹饪动作。

[0159] 在一种可能的实现方式中，上述确定单元1004还用于：若用户当前烹饪动作与目标烹饪动作不相同，则指示播放单元1001、采集单元1002和确定单元1003重复执行播放烹饪指导信息至根据采集信息确定用户当前烹饪动作的过程。

[0160] 在另一种可能的实现方式中，上述确定单元1004还用于：若用户当前烹饪动作与目标烹饪动作不相同，则根据菜谱信息和采集信息更新目标烹饪动作，指示播放单元1001、采集单元1002和确定单元1003重复执行播放烹饪指导信息至根据采集信息确定用户当前烹饪动作的过程。

[0161] 在一种可能的实现方式中，上述采集单元1002具体用于：接收图像采集装置发送的图像信息；接收温度采集装置发送的温度信息；接收音频采集装置发送的音频信息。

[0162] 本申请还提供了一种烹饪指导系统，该系统包括图像采集装置、温度采集装置、音频采集装置和烹饪指导装置。图像采集装置用于采集图像信息；温度采集装置用于采集温度信息；音频采集装置用于采集音频信息；烹饪指导装置用于执行上述烹饪指导方法。

[0163] 下面结合下面将结合图11和图12介绍用于执行上述烹饪指导方法的烹饪指导装置。

[0164] 可以理解的是，烹饪指导装置为了实现上述功能，其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

[0165] 本申请实施例可以根据上述方法示例对烹饪指导装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是，本实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

[0166] 在采用对应各个功能划分各个功能模块的情况下，图11示出了上述实施例中涉及的烹饪指导装置的一种可能的组成示意图，如图11所示，该装置1100可以包括：收发单元1101和处理单元1102，该处理单元1102可以实现上述方法实施例中由烹饪指导装置所执行的方法，和/或用于本文所描述的技术的其他过程。

[0167] 需要说明的是，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

[0168] 在采用集成的单元的情况下，装置1100可以包括处理单元、存储单元和通信单元。其中，处理单元可以用于对装置1100的动作进行控制管理，例如，可以用于支持装置1100执行上述各个单元执行的步骤。存储单元可以用于支持装置1100执行存储程序代码、和/或数据等。通信单元可以用于支持装置1100与其他设备的通信。

[0169] 其中，处理单元可以是处理器或控制器。其可以实现或执行结合本申请公开内容所描述的各种示例性地逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，数字信号处理(digital signal processing，DSP)和微处理器的组合等等。存储单元可以是存储器。通信单元具体可以为射频电路、蓝牙芯片、Wi‑Fi芯片等与其他烹饪指导装置交互的设备。处理单元、处理器和存储单元之间可以通过内部连接通路互相通信。

[0170] 在一种可能的实现方式中，本申请实施例所涉及的烹饪指导装置可以为具有图12所示结构的装置1200，该装置1200包括处理器1201和收发器1202。图11中的收发单元1101和处理单元1102所实现的相关功能可以由处理器1201来实现。

[0171] 可选地，该装置1200还可以包括存储器1203，该处理器1201和该存储器1203通过内部连接通路互相通信。图11中的存储单元所实现的相关功能可以由存储器1203来实现。

[0172] 上述存储器1203可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read‑only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)。应注意，本文描述的系统和装置的存储器旨在包括但不限于这些和任意其他适合业务类型的存储器。

[0173] 本申请实施例还提供了一种计算机存储介质，该计算机存储介质中存储有计算机指令，当该计算机指令在烹饪指导装置上运行时，使得烹饪指导装置执行上述相关方法步骤实现上述实施例中的烹饪指导方法。

[0174] 本申请实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的烹饪指导方法。

[0175] 本申请实施例还提供了一种烹饪指导装置，这个装置具体可以是芯片、集成电路、组件或模块。具体的，该装置可包括相连的处理器和用于存储指令的存储器，或者该装置包括至少一个处理器，用于从外部存储器获取指令。当装置运行时，处理器可执行指令，以使芯片执行上述各方法实施例中的烹饪指导方法。

[0176] 图13示出了一种芯片1300的结构示意图。芯片1300包括一个或多个处理器1301以及接口电路1302。可选的，上述芯片1300还可以包含总线1303。

[0177] 处理器1301可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述烹饪指导方法的各步骤可以通过处理器1301中的硬件的集成逻辑电路或者软件形式的指令完成。

[0178] 可选地，上述的处理器1301可以是通用处理器、数字信号处理(digital signal proce ssing，DSP)器、集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(field‑programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

[0179] 接口电路1302可以用于数据、指令或者信息的发送或者接收，处理器1301可以利用接口电路1302接收的数据、指令或者其他信息，进行加工，可以将加工完成信息通过接口电路1302发送出去。

[0180] 可选的，芯片还包括存储器，存储器可以包括只读存储器和随机存取存储器，并向处理器提供操作指令和数据。存储器的一部分还可以包括非易失性随机存取存储器(non‑vo latile random access memory，NVRAM)。

[0181] 可选的，存储器存储了可执行软件模块或者数据结构，处理器可以通过调用存储器存储的操作指令(该操作指令可存储在操作系统中)，执行相应的操作。

[0182] 可选的，芯片可以使用在本申请实施例涉及的烹饪指导装置或DOP中。可选的，接口电路1302可用于输出处理器1301的执行结果。关于本申请的一个或多个实施例提供的烹饪指导方法可参考前述各个实施例，这里不再赘述。

[0183] 需要说明的，处理器1301、接口电路1302各自对应的功能既可以通过硬件设计实现，也可以通过软件设计来实现，还可以通过软硬件结合的方式来实现，这里不作限制。

[0184] 本申请还提供了一种烹饪指导系统，该系统包括图像采集装置、温度采集装置、音频采集装置和烹饪指导装置。图像采集装置用于采集图像信息；温度采集装置用于采集温度信息；音频采集装置用于采集音频信息；烹饪指导装置用于执行上文所提供的烹饪指导方法。

[0185] 其中，本实施例提供的烹饪指导装置、烹饪指导系统、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

[0186] 应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

[0187] 本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

[0188] 所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

[0189] 在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其他的形式。

[0190] 上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

[0191] 另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

[0192] 上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

[0193] 以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。