首页 / 一种点云数据处理方法及系统

一种点云数据处理方法及系统有效专利 发明

技术领域

[0001] 本发明涉及点云数据处理领域,具体地,涉及一种点云数据处理方法及系统。更为具体地,将点云数据的封装和传输结构进行了适用于消费的设计,用于在传输和解码时根据需求处理点云数据。

相关背景技术

[0002] 近几十年来,随着计算、感知设备日趋成熟,图像获取设备建造成本的下降和处理图像算法和系统的逐渐发展迭代,使得获取实际物体表面数据的能力越来越强,对物体采集数据由原先的二维信息开始向三维坐标信息甚至包含属性信息在内的更高维度转变,点云作为更加精确的数据类型被广泛应用于学术界和工业界的相关领域。
[0003] 点云数据是利用感知设备对物体进行扫描或对原有3D模型进行采样后得到的一系列点的集合,记录了物体表面的几何、属性等信息。由于其维度高,数据量大等特性,导致其在进行传输、呈现等计算操作以及存储时为设备带来了沉重的负担。
[0004] 点云压缩算法现有技术已经有了较为系统的研究,目前的一些点云压缩方法基于点云中点的几何结构对点云的位置信息和属性信息进行处理,也有基于投影的点云压缩方案等。这些方案可以在一定程度上减少需要传输的数据量,并拥有较好的重建效果。这些点云压缩方案,通常将处理后点云数据转化为码流时分为序列参数流、几何参数流、属性参数流、几何信息数据流、属性信息数据数据流和一些必要的指示信息数据流等;其中参数流用于指示数据信息间的关系和解码时的必要信息等,数据流包含点云被编码后的位置、属性等信息;其中,几何信息记录了点云的空间位置信息,最为重要,需要借助序列参数和几何参数才能完成解码,有的压缩方案,如基于几何的点云压缩中,属性信息则需要在参数集的基础上借助几何信息才能完成解码。几何和属性等点云信息会依照一定的次序,借助参数集内容完成解码、呈现。然而,这种方案没有考虑到解码端设备的多样性,网络条件的复杂性和点云数据使用者的个性化需求。
[0005] 综上所述,当前现有技术对于点云数据信息流的处理过程,特别是在解码端的解码过程中,仅存在单一的解码结构,并没有考虑到解码端网络状况、应用场景、消费者需求等的多样性,对所有点云按照一样的方式全部编码后再全部解码,对所有场景都是同样的解码顺序,数据处理性能差,呈现效果差,影响消费端对点云媒体的使用体验,存在一定的局限性。
[0006] 如何解决现有技术中的问题,如何针对点云压缩后的码流信息进行封装和传输的结构设计,使之适应各类环境和需求,是亟待解决的关键问题。

具体实施方式

[0051] 下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明的保护范围。
[0052] 本发明的目的是提供一种点云数据处理方法及系统,包括针对点云信息流的解码过程,根据点云数据内容和消费端需求为信息流设置不同的次序,优化点云在解码端的处理和呈现等过程。
[0053] 具体的,可以根据解码端的复杂情况:设备性能、网络带宽、延时条件、用户需求,应用场景等,在特定的封装结构下,根据内容提供方收到的解码端的反馈信息,依据被处理的点云数据的内容,选择性地或按照一定优先级次序地传输点云数据,或者内容提供方和处理方根据需要点云数据的场景和消费方等的特性,依据被处理的点云数据的内容,将处理后的点云选择性地或按照一定优先级次序地进行传输。同时对应于解码端,可以根据感知设备获取到的用户信息(如视点信息,位置信息,场景信息,设备性能信息,网络状况信息等),按照一定优先级次序地或选择性地解码、呈现对应的点云。从而在各类条件下,都能选择合适的点云数据内容或优先级次序进行传输、解码、呈现,处理、应用等。为用户提供在一定条件下尽可能满意的的点云消费体验。
[0054] 本发明提出对点云数据内容提供方和内容处理方对点云数据进行分割、分类等处理后对处理后的点云进行压缩;以及将压缩后的点云媒体文件进行封装,并按照处理时的内容对点云内各个部分的内容设定类型标识和优先级标识,所述标识用于区分处理后不同类型或片段(分类、分割等操作过后的整个点云中的某个部分),记录各个部分的必要数据类型、优先级信息,类型信息将被用户片段的分组,优先级信息将被用于设置解码时的优先级次序。
[0055] 根据本发明提供的一种点云数据处理方法,包括:
[0056] 步骤M1:对点云数据进行分割处理,得到预设数量的点云内容,根据得到预设数量的点云内容的不同进行分类处理;
[0057] 步骤M2:对分类处理后的点云内容做优先级设置处理;
[0058] 具体地,所述步骤M2包括:
[0059] 步骤M2.1:对分类后得到的点云内容进行编码;
[0060] 步骤M2.2:依据封装协议定义的封装格式封装编码后的点云内容,在封装的点云内容中定义优先级标识。
[0061] 步骤M3:根据优先级设置处理设定优先级次序;
[0062] 具体地,所述步骤M3包括:
[0063] 步骤M3.1:根据分割和/或分类结果对封装后的点云内容进行是否分组判断,当对点云内容进行分组时,则依据对点云数据进行分割处理的数据进行分组并设置分组的类型和/或索引以及优先级次序;当对点云数据不进行分组时,则依据对点云内容的优先级设置处理设定优先级次序;
[0064] 步骤M3.2:设置用以描述点云数据中各点云内容的长度或优先级的信息的传输信令。
[0065] 具体地,所述传输信息包括:内容描述符和交互反馈描述符;
[0066] 所述内容描述符包括:点云内容描述信息,数量信息,内容信息,优先级标识值信息和/或优先级次序列表信息;
[0067] 所述交互反馈描述符提供服务器与客户端之间的交互反馈,反馈描述符包括:优先级解码信息,解码端反馈信息,交互目标信息,交互类型信息和/或交互内容信息。
[0068] 步骤M4:根据设定优先级次序解码点云数据。
[0069] 具体地,所述步骤M4包括:
[0070] 步骤M4.1:按照设定的优先级次序解码或根据描述符的信息指示对不同的点云内容进行优先级次序下的解码;
[0071] 步骤M4.2:根据解码端系统反馈的优先级偏好,检索是否有供选择的优先级次序,若有则直接适用优先级次序进行解码;否则,根据解码端系统的优先级偏好定义的优先级次序进行传输和解码。
[0072] 本发明还提供一种点云数据点云数据处理系统,对上述各项点云数据封装、传输阶段,进行系统测量、建模,使本方法在具体硬件中有效运行。
[0073] 根据本发明提供的一种点云数据处理系统,包括:
[0074] 模块M1:对点云数据进行分割处理,得到预设数量的点云内容,根据得到预设数量的点云内容的不同进行分类处理;
[0075] 模块M2:对分类处理后的点云内容做优先级设置处理;
[0076] 具体地,所述模块M2包括:
[0077] 模块M2.1:对分类后得到的点云内容进行编码;
[0078] 模块M2.2:依据封装协议定义的封装格式封装编码后的点云内容,在封装的点云内容中定义优先级标识。
[0079] 模块M3:根据优先级设置处理设定优先级次序;
[0080] 具体地,所述模块M3包括:
[0081] 模块M3.1:根据分割和/或分类结果对封装后的点云内容进行是否分组判断,当对点云内容进行分组时,则依据对点云数据进行分割处理的数据进行分组并设置分组的类型和/或索引以及优先级次序;当对点云数据不进行分组时,则依据对点云内容的优先级设置处理设定优先级次序;
[0082] 模块M3.2:设置用以描述点云数据中各点云内容的长度或优先级的信息的传输信令。
[0083] 具体地,所述传输信息包括:内容描述符和交互反馈描述符;
[0084] 所述内容描述符包括:点云内容描述信息,数量信息,内容信息,优先级标识值信息和/或优先级次序列表信息;
[0085] 所述交互反馈描述符提供服务器与客户端之间的交互反馈,反馈描述符包括:优先级解码信息,解码端反馈信息,交互目标信息,交互类型信息和/或交互内容信息。
[0086] 模块M4:根据设定优先级次序解码点云数据。
[0087] 具体地,所述模块M4包括:
[0088] 模块M4.1:按照设定的优先级次序解码或根据描述符的信息指示对不同的点云内容进行优先级次序下的解码;
[0089] 模块M4.2:根据解码端系统反馈的优先级偏好,检索是否有供选择的优先级次序,若有则直接适用优先级次序进行解码;否则,根据解码端系统的优先级偏好定义的优先级次序进行传输和解码。
[0090] 以下优选例对本发明作进一步详细说明:
[0091] 如附图1所示,本发明点云数据处理方法,其包括以下步骤:
[0092] 步骤S01:对点云原始数据进行分割,分类处理,获得获得若干点云内容,或称为点云子样本,对划分后的各个点云子样本进行独立编码,整个点云原始数据为一个样本sample,对点云原始数据进行分割、分类后的每个部分为子样本subsample,子样本subsample可以进行独立编解码,发送端进行编码处理,接收端进行解码处理;
[0093] 步骤S02:封装独立编码的子样本subsample,依据ISOBMFF(ISObasemediafile format)封装协议定义的关于样本sample和子样本subsample的封装格式进行点云内容的封装,在sample中定义优先级列表Priority_list,在subsample中定义优先级标识subsample_priority。使用封装后的子样本subsample中定义的优先级标识subsample_priority作为每个子样本subsample的优先级标识,也可视作子样本subsample的ID标识;
[0094] 步骤S03:依据步骤S01中对点云原始数据进行分割、分类处理的原则对每个封装好的子样本subsample进行分组,分组的依据等同于或类似于分割、分类的依据,同类优先级内容的封装后的子样本subsample被分入同一个组Type_group中,组Type_group为本发明定义在sample中的内容,每个组Type_group中包含对应同一优先级内容的子样本subsample的优先级标识subsample_priority;
[0095] 步骤S04:在sample中定义优先级列表Priority_list,该优先级列表中包含各个组Type_group的优先级次序和子样本subsample的优先级次序。
[0096] 本发明提出的点云数据处理方法,同一个组Type_group中存在的不同封装后的子样本subsample本身也有一定的优先级次序,同时组Type_group是可选的:可以选择分组或不分组,并不是所有点云应用场景都需要组Type_group,一些点云应用场景的点云原始数据完成分割以后,并不适合对不同部分的点云内容进行分类,如下文实施例二中的捕捉物体的例子。组Type_group的存在提供了分类优先级依据,同时也为消费端提供了可指定点云内容的类的优先级次序的功能。
[0097] 本发明中点云数据或称为点云原始数据进行分类、分割等计算和处理操作后的点云内容类型可以是多样的,常见的,包括但不限于以下内容:特定场景下点云数据分割、分类,结合需求将点云场景的点云数据分割成不同物体对应的点云内容,一般存在物体大类的点云内容区分,物体间差异大,分割的片段为整个点云内容的子样本subsample,子样本subsample存在优先级和类型标识,同个类型的子样本subsample可以划成一组类型的点云子样本subsample集。
[0098] 特定物体的点云数据分割、分类,将一个给定点云数据的物体依据一定规则和目的分割成不同的部分,不同片段的点云内容属于同一个物体,但存在差异,子样本subsample存在类型和优先级标识。
[0099] 本发明中,可以在设定的优先级次序下解码,也可以根据相应的场景信息需求反馈调整优先级次序下的解码,前述的调整处理的依据可以多样,优选地,可以由以下任一组或或多组条件为例实现:
[0100] 网络条件:数据传输时单位时间传送的数据位数,一般与视频质量成正相关;在网络状况不佳时,可选择较点云内容中轮廓或消费端关注的内容先行解码或者为点云内容中轮廓或用户关注内容安排较高的优先级;
[0101] 场景信息:点云数据在解码端恢复时将被应用和处理的具体场景信息,一般不同场景下机器或者人对点云内容的关注内容是不同的,在不同场景下对整个点云内容的关注程度和范围也是不同的;在一些应用场景下,只会关注整个点云内容的某个特定部分,那么该特定部分将会拥有较高的优先级;
[0102] 消费端信息,具体获取到解码后点云数据的对象,一般不同的消费方,不同的对象对点云数据的内容和点云数据的关注点和处理形式等皆是不同的,消费方所需最先获取和处理的内容将会拥有较高优先级。
[0103] 如附图2所示,本发明将提供一个优选实施例,基于ISOBMMF封装协议的封装步骤。
[0104] 基于ISOBMMF封装协议情况下的封装语法结构包括两种,分别为ST1子样本数据盒结构和ST2优先级次序数据盒封装结构,如下将具体阐述:
[0105] 结构ST1:子样本数据盒结构
[0106]
[0107]
[0108] 上述表达定义了描述子样本subsample信息的子样本数据盒结构,用以对点云原始数据进行分割、分类后的各个子样本的封装。
[0109] 其中:
[0110] version:是一个整数,指定此子样本subsample信息的数据盒的版本(ISOBMFF封装协议中为0或1);
[0111] entry_count:是一个整数,用于计算条目数;
[0112] sample_delta:是一个整数,指定具有子样本subsample封装结构样本的样本数。被编码为所需样本,编号与上一个条目中指示的样本编号之间的差。如果当前条目是第一条目,则该值指示具有子样本信息的第一样本的样本号,即,该值是样本号与零(0)之间的差;
[0113] subsample_count:是一个整数,指定当前样本的子样本subsample数。如果没有子样本结构,那么字段的值为0;
[0114] subsample_size:是一个整数,以字节为单位指定当前子样本的大小;
[0115] subsample_priority:是一个整数,指定每个子样本的降级优先级。subsample_prior的值越高,表示对解码质量很重要且对解码质量的影响更大的子样本;
[0116] discardable:等于0表示需要对子样本subsample进行解码,而等于1意味着不需要对子样本subsample进行解码但是可以用于增强,例如,子样本subsample由补充增强信息(SEI)消息组成。
[0117] 在sampleTableBox下定义一个新的数据盒,用以对子样本subsample的内容进行分类和实现优先级次序等功能。
[0118] 结构ST2:新增优先级次序数据盒封装结构
[0119] PriorityBox
[0120] 定义
[0121] 数据盒类型:‘stdp’
[0122] 包含于:SampleTableBox(‘stbl’)
[0123] 强制类型:否
[0124] 数量:0或1
[0125] 这个新增优先级次序数据盒包含每个子样本subsample的优先级。它的值储存在这个封装后的样本sample表中。表的大小,subsample_count可以从子样本数据盒Sub-sampleInformationBox(‘subs’)中的subsample_count中获取。此优先级数据盒定义了子样本解码优先级的确切含义和可接受范围。
[0126] 语法
[0127]
[0128] 语法
[0129] version:指定数据盒版本的一个整数;
[0130] Type_group:类型优先级组,包含对点云内容进行分割、分类后的各个部分(封装后的子样本subsample)进行按类分组后的内容,包含类型索引列表Type_list,其中存在不同类型对应的组的索引。
[0131] Priority_list:优先级列表,包含优先级组和子样本subsample的优先级次序。
[0132] priority:标识各个子样本subsample优先级的一个整数,若优先级列表Priority_list为空,则可以按照默认优先级次序进行解码,若优先级列表Priority_list非空,按照优先级列表中定义好的优先级标识次序进行每个子样本subsample的单独解码。
[0133] 在封装后的点云数据的传输过程中需要使用传输协议,在传输协议的传输信令中增加一个对于点云内容进行描述的描述符descriptor,用以描述传输的点云信息流中各个可独立编解码片段的点云内容的长度、内容,以及实现优先级编解码功能的相应信息,方便后续解码端和消费方实现对点云内容进行按照一定优先级次序或者有选择地获取、解码和解码后的后续处理,从而使得点云数据在使用和处理时能够适应不同场景、条件、消费方等。
[0134] 为了使本发明的上述目的、特征和优点能够更为明显易懂,下面结合附图3对本发明在传输信令中增加描述点云信息流内容的描述符(descriptor)和一个用户或内容提供方的交互反馈内容的描述符(descriptor),并做详细的说明。
[0135] 例如MMT传输协议中定义的信令消息中定义了一些描述性的描述符descriptor,描述符descriptor是MMT传输信令中用于定义一些字段或者功能的描述性信息。例如dependencydescriptor或MPU_timestamp_descriptor。同理,本发明新定义一个描述点云信息流内容的描述符descriptor,在描述点云信息流内容的描述符descriptor中,可以描述点云媒体片段的类型信息。
[0136] 在MPtable中,存在asset_descriptors字段,可以根据需要在asset_descriptors中增加PointCTtype_descriptor来实现,如下表所示:
[0137] PointCTtype_descriptor的定义:
[0138]
[0139]
[0140] 其中:
[0141] descriptor_tag:用于指示descriptor的类型;
[0142] descriptor_length:用于指示descriptor的长度;
[0143] num_Pointpart:用于指示点云片段即子样本的数量;
[0144] IDlist_Pointpart:是不同优先级解码的ID标识次序列表;
[0145] typegroup_list:不同类型值对对应分组的索引
[0146] Pointpart_content():包含整个点云中不同部分的信息;
[0147] Pointpart_ID[i]:指示第i个点云子样本subsample的ID标识。
[0148] 所述用户和内容提供方的交互反馈内容的描述符descriptor中所描述的内容,即交互反馈消息(InteractionFeedbackMessage),提供媒体消费时,服务器与客户端之间的交互反馈。当媒体消费中的服务器与客户端之间需要发送交互反馈信息时,使用此消息进行会话。
[0149] 交互反馈消息主要包括由交互目标、交互类型、交互内容三部分。随着用户具体交互行为的变化,根据与用户的交互得到的用户的优先级选择信息,检索传输内容的优先级列表,如果有则直接反馈,没有对应的优先级次序就重生根据用户的优先级偏好生成优先级次序信息,并按对应的优先级次序传输点云内容。
[0150] 下面给出基于SMT示例下进行点云优先级次序下的交互反馈消息的语法结构。
[0151] 优先级次序下交互反馈消息语法:
[0152]
[0153]
[0154] 语义:
[0155] message_id:交互反馈消息的标识符;
[0156] version:交互反馈消息的版本。新的版本所携带的信息将覆盖任何之前的旧版本;
[0157] length:包含了以字节计算的交互反馈消息的长度,即从下一字段起直到交互反馈消息最后一个字节的长度。“0”值在此字段无效;
[0158] message_source:指示消息源,0表示交互反馈消息是客户端发往服务器,1表示交互反馈消息是服务器发往客户端。该值此处置0;
[0159] Priority_flag:指示优先级解码交互内容,0表示不需要进行优先级交互,1表示需要;
[0160] reserved:保留字节位;
[0161] asset_id:指示客户端当前消费内容的asset_id;
[0162] interaction_num:指示当前信令中包含的交互的数目;
[0163] timestamp:指示当前交互产生的时间,使用UTC时间;
[0164] interaction_type:交互类型,置0;
[0165] Client_priority:交互内容中的优先级次序,表示用户需要的优先级次序类型,含有进行优先级次序解码的必要信息。
[0166] 基于上述表述,为了更加清楚地阐明本发明中提出的可以按照一定优先级次序和选择性地进行点云媒体内容的解码,下面的内容给出了本发明的二种具体应用实例。
[0167] 如附图1和附图4所示的流程示意图,在基于ISOBMFF封装协议,MMT和SMT传输协议的情况下,两种典型应用场景下的优先级次序编解码和呈现过程表述如下:
[0168] 实例一
[0169] 步骤S11:对自动驾驶下设备采集到的当前场景点云数据进行分割,针对自动驾驶场景下机器获取点云数据的目的(为了更合理地规划路线和避让行人等),对场景下不同类型的物体的点云数据进行分割,获取多个独立可编解码的点云内容,对独立编码后的点云内容设置不同的优先级。特别的,针对避障这一需求,在划分车辆感知设备得到的点云内容后,进行场景分割、分类,例如道路上的行人、车辆、路障、道路走、道路两旁的树木、街景、建筑等均为不同类别,不同类别中往往存在多个点云子样本subsample,比如人这个类别中存在各种姿态,各个位置的人,某个分割片段称为整个点云样本的子样本,如某个点云数据部分中被分割出的一个穿着红色衣服的人,子样本对应的封装结构可独立编解码,子样本subsample封装结构中自带默认优先级标识subsample_priority,也可以依据该值索引到该子样本;
[0170] 步骤S12:在分割、分类的基础上,处理好后的不同子样本subsample依照类别进行分组,比如标识值为2,3,10,11的子样本都是人的类别,分为一个组,记为类型组0Type_group0,标识值为4,12,20,35,41的子样本都是车的类别,分为一个组,记为类型组1Type_group1。记录不同组的类型和不同组内对应的子样本subsample,同时为组的类型和对应组制作类型索引列表Type_list,用以根据类型索引不同类型的组,这些信息都包含在类型组结构Type_group中。
[0171] 步骤S13:设置面向应用场景的默认优先级次序,以当前的自动驾驶场景为例,避障和路线规划是首要的功能,那么为类型索引列表Type_list中,类型为‘人’的设置最高解码优先级次序,其次是‘车’,然后是‘道路走向’,‘指示牌’,‘树’,‘街边商店’等。根据类型索引到对应的组标识Group_ID,这些组标识依照一定的优先级次序保存在优先级列表Priority_list中的组优先级列表Group_priorList中,对于同一组内子样本结构的解码次序,可以按照同样的场景需求,如近处的人先解码,为不同的子样本结构设置不同的优先级次序保存在优先级列表Priority_list中的子样本结构优先级列表subsample_priorList中。
[0172] 步骤S14:在解码端,若没有特定需求,可以直接按照点云内容提供方处理好的点云信息流,按照常规的解码方案后使用;如果有特定需求,如当前网络状况不佳加,计算设备性能受限,不能以在可接受时间内完成全部点云的解码,此时:
[0173] 1、可以根据对点云内容进行描述的点云内容描述符PointCTtype_descriptor中描述的对不同类别的点云子样本进行优先级次序下的解码;
[0174] 2、首先,用户反馈自己当前的优先级偏好Client_priority(),示例‘人’-‘车’-‘树’,这个反馈可以是实时的和记录的,以便一旦进入网络状况不好的区域做出及时反映;
[0175] 3、然后检索点云内容描述符PointCTtype_descriptor中存在有自带的片段点云标识列表IDlist_Pointpart,若有可供选择的优先级次序,可以直接选择适用的优先级次序进行解码;
[0176] 4、若没有合适的优先级次序方案,则用户反馈的内容索引组类型列表typegroup_list,根据用户的优先级偏好找到对应的group,按照用户定义的优先级次序进行内容的传输和后续解码。
[0177] 实例二
[0178] 步骤S21:对捕捉到的物体,比如拿着花,穿搭时尚的人进行分割,此时,分割以后的子样本subsample很难彼此区分,此时不再分类,仅用子样本subsample封装结构分割后的各个部分,子样本subsample结构中自带默认优先级标识subsample_priority,也可以依据该值索引到该子样本subsample;
[0179] 步骤S22:这类应用场景下不再对子样本subsample进行分类后分组,此时组类型Type_group内容为空,优先级列表Priority_list中仅包含子样本subsample的优先级次序;
[0180] 步骤S23:设置面向应用场景的默认优先级次序,以当前拿着花,穿搭时尚的人为例,一种应用场景是人脸识别,此时包含人脸的几个子样本会有较高优先级,而包含这个人其他部分点云片段的子样本则具有较低的优先级,那么对于可识别的子样本标识(subsample_priority),在进行次序设定时为人脸的子样本在解码优先级数据盒
(DecodingPriorityBox)中的优先级列表(Priority_list)列表中的ID标识设定较高的优先级,一种设定就是人脸subsample_priority>四肢subsample_priority>其他部位subsample_priority;
[0181] 步骤S24:在解码端,若没有特定需求,可以直接按照点云内容提供方处理好的点云信息流,按照常规的解码方案后使用;如果有特定需求,如当前网络状况不佳加,计算设备性能受限,不能以在可接受时间内完成全部点云的解码,此时:
[0182] 1、可以根据对点云内容进行描述的点云内容描述符(PointCTtype_descriptor)中描述的对不同类别的点云子样本subsample进行优先级次序下的解码;
[0183] 2、首先,用户反馈自己当前的优先级偏好Client_priority(),此时由于不存在对子样本subsample进行分类分组,用户反馈的类型无法准确进行子样本subsample的优先级安排,如某人脸识别系统示例‘脸’-‘身体’-‘携带物’,在不分类的情况下,用户的反馈信息是受限的,仅能反馈内容描述符PointCTtype_descriptor中点云片段标识列表IDlist_Pointpart中已存在的优先级次序,而且是子样本结构优先级列表subsample_priorList的内容,这个反馈可以是实时的和记录的,以便一旦进入网络状况不好的区域做出及时反映;
[0184] 3、然后,检索点云内容描述符PointCTtype_descriptor中存在有自带的点云片段标识列表IDlist_Pointpart,里面有可供选择的优先级次序,在不分类的情况先只存在子样本结构优先级列表subsample_priorList,而没有类的分组group,可以直接选择里面的优先级次序进行解码;
[0185] 4、此时,用户反馈的内容是限定的,如,第一种选择,面向网络状况不好和设备性能受限时的人脸识别应用场景,根据反馈的场景信息选择子样本优先级列表subsample_priorList的‘人脸的’子样本的subsample_priority‘其他位置’子样本的subsample_priority,subsample_priorList中还提供针对其他场景的选择,另一种可以是针对网络状况不好和设备性能受限时的行为检测应用场景,此时subsample_priorList中的另一个优先级序列就是‘轮廓’子样本的subsample_priority‘其他位置’子样本的subsample_priority。在没有分类的情况下,根据消费端反馈信息进行优先级次序下的内容的传输和解码。
[0186] 本申请的发明构思、描述的实施例以及本申请的范围,使得在各类条件下,都能选择合适的点云数据内容或优先级次序进行传输、解码、呈现,处理、应用等。为用户提供在一定条件下尽可能满意的点云消费体验。
[0187] 需要说明的是,本实施例虽以ISOBMFF等封装协议MMT,SMT等传输协议为例阐明所提出的点云数据处理方式,但是本实施例的点云数据也可采用其它文件进行封装和传输,并不影响本发明核心技术的表达。
[0188] 本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以,本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件,而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构;也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
[0189] 以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。

当前第1页 第1页 第2页 第3页
相关技术
处理方法相关技术
数据处理相关技术
徐异凌发明人的其他相关专利技术