技术领域
[0001] 本发明是有关于一种融合方法与融合系统，且特别是有关于一种多深度信息的融合方法与融合系统。
相关背景技术
[0002] 随着显示科技的快速发展，发展出一种立体显示技术。在立体显示技术中，可以融合多个不同基线(baseline)/深度视差的深度信息，以取得各方面的优点。为了让不同深度视差的深度信息能够位于同一基础，必须进行正规化的动作。一般而言，正规化的动作是对深度视差以线性转换的方式乘上相同的数值。如此一来，将导致位数大幅扩张。
[0003] 此外，融合多深度信息可以实现去遮蔽的效果，但在传统的去遮蔽程序中，基线的长度都不长，而无法取得精密度较高的深度信息。
具体实施方式
[0046] 下面结合附图对本发明的结构原理和工作原理作具体的描述：
[0047] 请参照图1，其为根据一实施例的多深度信息的融合系统100的示意图。融合系统100包括由一第一图像获取单元110A及一第二图像获取单元110B组成的第一图像获取模块(图中未标示)、由该第二图像获取单元110B及一第三图像获取单元110C组成的第二图像获取模块(图中未标示)、一深度产生单元120及一融合单元150。第一图像获取单元110A、第二图像获取单元110B、第三图像获取单元110C用以获取彩色图像、灰阶图像或红外线图像，例如是彩色相机、黑白相机或红外线相机。深度产生单元120例如是包括一第一深度引擎121及一第二深度引擎122。在另一实施例中，深度产生单元120可以仅包括一个深度引擎。融合单元150用以融合多个深度信息。深度产生单元120及/或融合单元150例如是一电路、一芯片、一云端运算中心、一程序码、一电路板、或存储程序码的存储装置。在深度信息的融合过程中，必须对深度信息进行转化。然而，转化的过程可能会造成位数大幅扩张。本实施例的融合系统100可以通过非线性转换进行转化，以使扩张的位数能够降低，并降低存储的数据量。以下更搭配一流程图详细说明本实施例的融合系统100的运作。
[0048] 请参照图2，其为根据一实施例的多深度信息的融合方法的流程图。在步骤S110中，依据第一图像获取单元110A及第二图像获取单元110B，深度产生单元120的第一深度引擎121获得一第一深度信息DM1。一第一基线(baseline)Bab位于第一图像获取单元110A与第二图像获取单元110B之间。第一基线Bab例如是3厘米。请参照图3，其为根据一实施例的视差的示意图。第一深度信息DM1具有一第一深度视差Dab。本发明所称的第一深度信息DM1指画面的整体。
[0049] 接着，在步骤S120中，依据第一图像获取单元110A及第三图像获取单元110C，深度产生单元120的第二深度引擎122获得一第二深度信息DM2。一第二基线Bac位于第一图像获取单元110A与第三图像获取单元110C之间。第二基线Bac例如是12厘米。第二深度信息DM2具有一第二深度视差Dac。第二基线Bac大于第一基线Bab，第二基线Bac与第一基线Bab的比值例如为4。本发明所称的第二深度信息DM2指画面的整体。
[0050] 上述步骤S110与步骤S120可同时执行或交换顺序，本发明并不局限其执行顺序。
[0051] 然后，在步骤S150中，融合单元150依据第一深度信息DM1及第二深度信息DM2来进行融合。在步骤S150中，融合单元150通过一非线性转换，转化第一深度信息DM1为一已转化信息。在深度信息的融合过程中，必须对深度信息进行转化，然而，传统上传统转化的过程可能会造成位数大幅扩张，通过本发明非线性转换进行转化成已转化信息之后，将使扩张的位数能够降低，并降低存储的数据量。本发明所称的已转化信息指画面的整体。
[0052] 传统上，第一深度信息DM1通过线性转换来进行转化。举例来说，下式(1)为线性转换的作法。第二基线Bac与第一基线Bab具有比值r。
[0053] D1’＝D1*r……………………………………………………(1)
[0054] 请参照图4，其示例说明根据一实施例的线性转换的示意图。原本为「0、1、2、3」的数据D1通过线性转换进行转化，将被转化为「0、4、8、12」等数据D1’。为了存储「0、4、8、12」等数据D1’，需要额外增加2位，造成位数大幅扩张。在4、8、12等数值之间，并没有5、6、7、9、10、11等数值的存在，徒然浪费的许多数据量。当数据D1以上式(1)进行线性转换时，转化后的数据D1’以较大的幅度跳跃其数值，因而造成位数的大幅扩张。本发明所称的数据D1与数据D1’指一个像素的像数值。
[0055] 为了避免位数的大幅扩张，本实施例通过非线性转换的方式进行转化。请参照图5，其示例说明根据一实施例的非线性转换的示意图。为了降低位数的扩张，数据D1’以下式(2)进行非线性转换，而获得转化后的数据D1”。本发明所称的数据D1”指一个像素的像数值。
[0056] D1”＝(D1’>thd)？thd+(D1’‑thd)/r:D1’………………….(2)
[0057] 也就是说，若数据D1’高于一临界值thd，则以一转换比例进行转化；若数据D1’不高于临界值thd，则仍为数据D1’。临界值thd例如是具有第二深度视差Dac的第二深度信息DM2的数据的最大值。转换比例为第二基线Bac相对于第一基线Bab的比值r(示于图7)的倒数，即1/r。如图5所示，非线性转换后的数据D1”以较小的幅度跳跃其数值。举例来说上式(2)的运作，临界值thd例如是4，比值r例如是4。上述「0」的数据D1’不高于临界值thd，故仍以原来的数据D1’做为数据D1”，即「0」。上述「4」的数据D1’不高于临界值thd，故仍以原来的数据D1’做为数据D1”，即「4」。上述「8」的数据D1’高于临界值thd，故经由「临界值thd+(数据D1’‑临界值thd)/比值r」的运算，获得「5(即4+(8‑4)/4＝5)」的数据D1”。上述「12」的数据D1’高于临界值thd，故经由「临界值thd+(数据D1’‑临界值thd)/比值r」的运算，获得「6(即4+(12‑4)/4＝6)」的数据D1”。也就是说，「0、4、8、12」等数据D1’可以经由上式(2)转化为「0、4、5、6」等数据D1”，非线性转换后的数据D1”以较小的幅度跳跃其数值。
[0058] 上式(1)与上式(2)的组合可以获得下式(3)：
[0059] D1”＝(D1*r>thd)？thd+(D1*r‑thd)/r:D1*r……………..(3)
[0060] 请参照图6，其为根据一实施例的非线性转换的电路图。图6的电路图用以实现上式(3)的非线性转换。数据D1与比值r输入一乘法器151进行乘法运算。乘法器151的输出结果与临界值thd输入至减法器152进行减法运算。然后，减法器152的输出结果与比值r输入至除法器153进行除法运算。最后，除法器153的输出结果与临界值thd输入至加法器154进行加法运算，以获得数据D1”。
[0061] 在另一实施例中，上式(3)可以简化为下式(4)：
[0062] D1”＝(cond)？D1+thd’:D1*r
[0063] thd’＝thd‑thd/r
[0064] cond例如是D1*r>thd………….…………………………(4)
[0065] 请参照图7，其为根据另一实施例的非线性转换的电路图。图7的电路图用以实现上式(4)的运算。数据D1与临界值thd’输入加法器154进行加法运算，即可获得数据D1”。临界值thd’则可以以参数形态预先存储于存储器中，无须进行运算。一般而言，加法器154的电路结构相当简易，无需过多的逻辑元件即可实现。除法器153的电路结构最为复杂，需要相当多的逻辑元件才能实现。设计者可以采用图7的设计来降低电路复杂度，并可减少运算延迟与系统负载。举例来说上式(4)的运作，临界值thd例如是4，比值r例如是4。上述「0、1」等数据D1无须经由「数据D1+临界值thd’」的运算。上述「2」的数据D1经由「数据D1+临界值thd’」的运算，可以得到「5(即2+3＝5)」的数据D1”。上述「3」的数据D1经由「数据D1+临界值thd’」的运算，可以得到「6(即3+3＝6)」的数据D1”。也就是说，上述「2、3」等数据D1只须经由简单的加法运算即可获得「5、6」等数据D1”。
[0066] 在另一实施例中，上述步骤S150的非线性转换亦可通过位右移运算(shift)来实现。为了降低位数的扩张，数据D1’可以下式(5)进行非线性转换。
[0067] D1”＝(cond)？(D1>>s)+thd’:D1’
[0068] cond例如是D1’>thd……………………………………….(5)
[0069] 在上式(5)中，s例如是1。也就是说，上式(5)的位右移运算为1位右移运算。举例来说，原本为「8、12、16、32」等数据D1’通过线性转换进行转化，将被转化为「4、6、8、16」等数据D1”。进行1位右移运算后，数据D1”的数值可以有效降低，亦能有效避免位数的大幅扩张。
[0070] 请参照图8，其示例说明根据另一实施例的非线性转换的示意图。在某些实施例中，当有三个深度信息需要进行融合时，位数的扩张情况会更为严重，数据D1’可以利用图8的两阶段方式进行非线性转换。如图8所示，图8具有两个转折点P1、P2。非线性转换后的数据D1”’可以更小的幅度跳跃其数值。除此之外，本实施例的非线性转换亦可应用于四个深度信息的融合、五个深度信息的融合，甚至无上限数量的深度信息的融合。只需采用多个转折点，即可顺利降低数值的跳跃幅度。本发明所称的数据D1”’指一个像素的像数值。
[0071] 上述数据D1转化为数据D1’、数据D1”或数据D1”’后，可以大幅降低运算所需存储器所需数据量与逻辑大小，这些数据D1’、数据D1”或数据D1”’经过运算后，可以再反向转化回数据D1，已运算回正确的深度信息。
[0072] 通过上述实施例，第一深度信息DM1与第二深度信息DM2在融合过程中，可以通过非线性转换的方式来进行转化，使得位数不会大幅扩张。
[0073] 此外，上述非线性转换的动作可以执行于融合选择的动作之前。或者，上述非线性转换的动作可以执行于融合选择的动作之后。本发明并不局限非线性转换的动作的执行顺序。另外本发明当非线性转换的动作在融合动作之前时，有下列不同的作法：先通过非线性转换的方式转换第一深度信息DM1为第一转化信息，接着将第一转化信息和第二深度信息DM2融合；或者先通过非线性转换的方式转换第一深度信息DM1为第一转化信息并转换第二深度信息DM2为第二转化信息，接着才融合第一转化信息和第二转化信息。另外本发明当非线性转换的动作在融合动作之后时，可以先融合该第一深度信息及该第二深度信息为一融合后的信息后，才通过该非线性转换转换该融合后的信息为该已转化信息。再次强调本发明并不局限非线性转换的动作和融合选择的动作的执行顺序。
[0074] 再者，融合多深度信息也可以实现去遮蔽的效果。请参照图9，其为根据另一实施例的多深度信息的融合系统100’的示意图。融合系统100’包括一第一图像获取单元110A、一第二图像获取单元110B、一第三图像获取单元110C、一深度产生单元120、一光学中心转换单元140及一融合单元150。
[0075] 一般而言，在进行去遮蔽程序时，两个深度信息的光学中心必须位于同一位置。以图9为例，第一图像获取单元110A位于第二图像获取单元110B与第三图像获取单元110C之间。第一深度信息DM1的一光学中心位于第一图像获取单元110A。第二深度信息DM2的一光学中心位于第一图像获取单元110A。第一基线Bab位于第一图像获取单元110A与第二图像获取单元110B之间。第一基线Bab例如是3厘米。第二基线Bac位于第一图像获取单元110A与第三图像获取单元110C之间。第二基线Bac例如是12厘米。一般而言，基线的长度越长，深度信息的精度越高。倘若仅通过第一深度信息DM1及第二深度信息DM2来进行去遮蔽程序，仅能利用到第一基线Bab与第二基线Bac的精度。在本实施例中，一第三基线Bbc位于第二图像获取单元110B与第三图像获取单元110C之间。第三基线Bbc例如是15厘米。本实施例更进一步利用第三基线Bbc来提高去遮蔽程序深度信息的精度。以下更搭配一流程图详细说明本实施例的融合方法所进行的去遮蔽程序。
[0076] 请参照图10，其为根据另一实施例的多深度信息的融合方法的流程图。在图10的融合方法中，更实现去能够提高精度的遮蔽程序。在步骤S110中，依据第一图像获取单元110A及第二图像获取单元110B，深度产生单元120’的第一深度引擎121获得第一深度信息DM1。
[0077] 接着，在步骤S120中，依据第一图像获取单元110A及第三图像获取单元110C，深度产生单元120’的第二深度引擎122获得第二深度信息DM2。
[0078] 然后，在步骤S130中，依据第二图像获取单元110B及第三图像获取单元110C，深度产生单元120’的第三深度引擎123获得一第三深度信息DM3。一第三基线Bbc位于第二图像获取单元110B与第三图像获取单元110C之间。第三基线Bbc大于第二基线Bac与第一基线Bab。第三基线Bbc例如是15厘米。由于第三基线Bbc最长，故第三深度信息DM3具有最高精度。
[0079] 上述步骤S110、S120、S130的步骤可同时执行。或者，步骤S110、S120、S130可任意调整执行顺序。本发明并不局限其执行顺序。
[0080] 接着，在步骤S140中，光学中心转换单元140将第三深度信息DM3投影至第一深度信息DM1的光学中心与投影面。在此步骤中，光学中心转换单元140取得第三深度信息DM3与第一深度信息DM1的空间关系(例如外部参数)后，将第三深度信息DM3依据上述空间关系投影至第一深度信息DM1的光学中心与投影面。
[0081] 然后，在步骤S150’中，融合单元150依据第一深度信息DM1、第二深度信息DM2及第三深度信息DM3进行融合。在步骤S150’的过程中，融合单元150一并进行去遮蔽程序。在本实施例中，融合单元150进行去遮蔽程序时，可以充分利用到具有最高精度的第三深度信息DM3，使得融合结果能够大幅提升精确度。
[0082] 另外，在本实施例中由第一图像获取单元110A及第二图像获取单元110B组成的第一图像获取模块，由该第二图像获取单元110B及第三图像获取单元110C组成的第二图像获取模块。但在本发明的其它实施例中也可以由第一图像获取单元110A及第二图像获取单元110B组成的第一图像获取模块，由该第三图像获取单元110C及第四图像获取单元(图中未标示)组成的第二图像获取模块，由于第一图像获取模块以及第二图像获取模块之间未共用图像获取单元，因此需要利用光学中心转换单元140先进行光学中心的转换才进行本发明的非线性转换的动作，举例来说，当将第一深度信息的光学中心设于该第一图像获取单元且将该第二深度信息的一光学中心设于该第三图像获取单元时，需要利用光学中心转换单元140将二者的光学中心先转成一样，举例来说，先将该第二深度信息投影至该第一深度信息的光学中心与投影面后才进行本发明的非线性转换的动作。
[0083] 当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
