技术领域
[0001] 本实用新型涉及图像处理技术领域,更具体的说是涉及一种三维成像系统。
相关背景技术
[0002] 随着电子技术的发展,电子设备在人们生活中的应用日益广泛。手机、相机、监控仪均可用于拍摄照片以及拍摄视频。但是日常电子产品只能拍摄出二维图片,并不能用于三维图像的提取和拍摄。而三维相对于二维是一种立体显示,这种立体显示可直接观察到具有物理景深的三维图像,能使用户有强烈、逼真的感官冲击,给观看者带来真实客观的世界。
[0003] 目前的三维成像系统包括使用结构光对目标物进行主动式测量、利用探测脉冲的飞行时间法等,不仅需要专用设备,而且图像的获取速度和分辨率还受场所、扫描速度、扫描点数的影响。
[0004] 因此,如何通过现有相机提供一种全视景、多角度的三维成像系统是本领域技术人员亟需解决的问题。实用新型内容
[0005] 有鉴于此,本实用新型提供了一种三维成像系统,不仅可进行全视景、多角度的三维成像,而且成像数据信息创建效率高。
[0006] 为了实现上述目的,本实用新型采用如下技术方案:
[0007] 一种三维成像系统,包括:相机;分别用于测量所述相机移动速度、加速度、角速度的速度传感器、加速度传感器、陀螺仪;用于调节所述相机拍摄位置的支架;通过数据线与所述相机连接,用于获取所述相机拍摄图像,并合成三维图像信息的计算机系统;其中所述计算机系统包括控制模块、自动提取像素点模块、运算模块、分析校正模块、刻度显示模块、自动提示模块以及显示屏;所述相机包括外壳、安装在所述外壳上的镜头;所述镜头、 所述支架上均标注有刻度;所述三维成像系统通过所述控制模块对所述支架发出所需拍摄位置的指令,所述支架根据所述控制模块的指令进行调节并带动所述相机处于指定的拍摄位置,同时所述控制模块指令中的数据信息通过所述刻度显示模块在所述显示屏上进行显示,所述自动提示模块经过分析、判断并通过所述显示屏提示完成三维信息拍摄,所述自动提取像素点模块接收所述自动提示模块完成三维信息拍摄的信号,所述自动提取像素点模块对所述相机处于不同位置拍摄的图像进行特征点和轮廓点提取,所述运算模块将所述自动提取像素点模块提取的特征点和像素点进行运算,依次获得光线的方向信息和拍摄对象的光场信息,合成三维图像的数据信息,同时所述分析校正模块对像素点(包括特征点和轮廓点)的误差进行校正,实现三维图像信息的创建;所述自动提示模块经过分析、判断并通过所述显示屏提示三维信息拍摄失败,所述控制模块接收到所述自动提示模块三维信息拍摄失败的信号并重新向所述支架发送指令进行调节。
[0008] 优选的,在上述三维成像系统中,所述自动提示模块内置有判断模块和重置模块;其中判断模块通过所述相机的速度、加速度、角速度信息判断所述相机是否抖动,通过所述相机拍摄对象的运动轨迹是否规则进行判断所述相机拍摄的图像是否可以进行三维信息的提取和合成,并通过所述显示屏提示是否完成三维信息拍摄;所述重置模块将需要重置的所述刻度通过所述显示屏显示,并将精确数值发送至所述控制模块。
[0009] 优选的,在上述三维成像系统中,所述相机的运动方式包括移动和/或转动;其中移动包括左右水平移动、前后水平移动、上下垂直移动,转动包括水平旋转移动、垂直旋转移动、螺旋型旋转移动。
[0010] 优选的,在上述三维成像系统中,所述刻度包括距离刻度和角度刻度。
[0011] 优选的,在上述三维成像系统中,所述刻度显示模块包括距离刻度显示模块和角度刻度显示模块。
[0012] 优选的,在上述三维成像系统中,所述运算模块设置有对所述相机拍摄图片的所有特征点和轮廓点进行运算的方程组矩阵运算模块,对不同照片中同一个特征点和像素点建立函数运算的映射关系运算模块,通过不同照片的焦距、光圈、景深信息筛选像素点的筛选分组运算模块,以及对像素点进行替换运算的均值运算模块、差值运算模块、转换处理运算模块;其中对像素 点进行替换运算可以通过均值运算模块、差值运算模块、转换处理运算模块中的任意一种或者几种的组合。
[0013] 优选的,在上述三维成像系统中,所述相机为单目相机,并且可以固定在无人机、车辆或移动设备上。
[0014] 优选的,在上述三维成像系统中,所述支架包括底座,通过转轴活动连接、并插入所述底座的升降杆,与所述升降杆垂直、并且连接在转轴一端的水平杆。
[0015] 优选的,在上述三维成像系统中,所述支架上设置有驱动装置,并且在驱动装置的内部设置有用于接收所述控制模块指令的信号接收器。
[0016] 优选的,在上述三维成像系统中,所述自动提取像素点模块主要对所述相机拍摄图像的特征点和轮廓点进行提取。
[0017] 优选的,在上述三维成像系统中,所述相机拍摄的视频为正常摄影视频或者高速摄影视频。
[0018] 优选的,在上述三维成像系统中,所述支架通过平移和/或转动使所述相机拍摄至少一段视频或一组照片,视频和照片包括不同角度以及不同焦距的视频和照片。
[0019] 优选的,在上述三维成像系统中,所述相机通过自动或手动变焦,使相机镜头聚焦于所拍摄的对象,再根据焦距、光圈、景深等信息筛选像素点,获得拍摄对象的特征信息和轮廓信息,并可根据需要分离并去除所述相机拍摄对象的背景图像。
[0020] 优选的,在上述三维成像系统中,所述支架通过所述驱动装置进行平移和/或转动,所述相机在所述支架上的所述刻度通过所述刻度显示模块进行显示,并且所述相机的位置同步对应当前帧的拍摄时间和拍摄角度。
[0021] 优选的,在上述三维成像系统中,所述相机可通过所述控制模块调节拍摄位置,也可以通过手动方式调节拍摄位置。
[0022] 优选的,在上述三维成像系统中,通过所述相机拍摄图像生成的三维信息,可以是去除背景信息的三维信息,或者是保留背景信息的三维信息。
[0023] 优选的,在上述三维成像系统中,所述相机设置有自动对焦模块、手动对焦模块中的任意一种或两种的组合。
[0024] 优选的,在上述三维成像系统中,所述计算机系统设置有自动对焦模块。
[0025] 经由上述的技术方案可知,与现有技术相比,本实用新型公开提供了一种三维成像系统,首先通过控制模块实现相机位置的精确刻度值设定,并调节相机运动到指定位置,到达所需的拍摄高度和角度,同时将相机的具体位置通过刻度显示模块在显示屏上进行显示;为获取全视景、多视角的三维图像信息提供了设备支持;
[0026] 其次速度传感器、加速度传感器、陀螺仪分别获取相机的速度、加速度、角速度,全面地掌握相机的运动状态;并且相机通过自动或手动变焦,使相机镜头聚焦于所拍摄的对象,再根据焦距、光圈、景深等信息筛选像素点,获得拍摄对象的特征信息和轮廓信息,根据需要分离并去除所述相机拍摄对象的背景图像,进一步简化了运算算法,提高了三维成像的效率;同时判断模块的自动提示模块内置有判断模块和重置模块;其中判断模块通过相机的速度、加速度、角速度信息判断相机是否抖动,以及相机拍摄对象的运动轨迹是否规则进行综合判断相机拍摄的图像是否可以进行三维信息的提取和合成,并通过自动提示模块在显示屏上提示是否完成三维信息拍摄;重置模块将需要重置的刻度通过显示屏显示,并将精确数值发送至控制模块;当相机拍摄过程中并无抖动,而且拍摄对象的运动轨迹是规则的,自动提示模块通过显示屏提示完成三维信息拍摄;相反,如果相机在拍摄过程抖动,或者拍摄对象的运动轨迹不规则,自动提示模块通过显示屏提示三维信息拍摄失败,并将纠正后的刻度值通过重置模块输送到控制模块,调节相机运转到指定拍摄位置;方便用户及时发现问题并作出调整,节省时间、提高效率、减小误差;
[0027] 然后计算机通过自动提取像素点装置根据不同位置、不同拍摄角度的图像提取相机拍摄的图像和/或视频的特征点和轮廓点,一方面通过图像拍摄角度的不同获得光线的方向信息,方程组矩阵运算模块根据不同光线的方向信息建立方程组矩阵并对不同图像的所有特征点和轮廓点进行运算,映射关系运算模块对不同图像中的同一个特征点和轮廓点建立映射关系,根据方程组矩阵运算和映射关系运算结果获得所拍摄对象的光场信息,另一方面通过筛 选分组运算模块对比每组照片的焦距、光圈、景深等信息,通过均值运算模块或者差值运算模块或者转换处理运算模块进行运算或拟合运算,并通过分析校正模块采用清晰的像素点(包括特征点和轮廓点)替换模糊的像素点,获得整张图像每个像素点的三维信息,完成三维成像的建立;
[0028] 具体运算过程包括首先通过自动变焦连续拍摄和移动位置连续拍摄的其中一种方法,或者两种方法相结合来获得更加准确的所拍摄对象的图像;其次对每张图像中每个像素或一组像素的清晰度进行判断,对于可容许范围弥散圆直径D以内的成像像素点R视为清晰成像,再根据该图像的焦距和景深信息,获得像素点R与相机镜头之间的距离范围(df,dc),其中df为最远距离,dc为最近距离;然后通过求均值和其它方法计算出像素点R与相机镜头之间的准确距离,将连续拍摄获得的多张照片进行对比匹配,用清晰的像素代替模糊的像素,同时根据像素点R与相机镜头之间的准确距离,从而获得整张照片每个像素点的深度信息,如果相邻的像素之间的深度差值大于某个阀值时,通过差值及其它的转换处理算法进行深度信息的拟合,进而完成三维信息的建立;
[0029] 其中支架的移动量可以同步记录在相机在相应位置拍摄的每张图像上,通过上述方法移动相机位置进行连续拍摄的图像,再根据每张图像拍摄时相机的位移量信息,列出方程组,通过相片拍摄角度的不同获得光线的方向信息,通过方程组矩阵运算等算法,获得所拍摄景物的光场信息,最终获得所拍摄景物的三维信息;广泛用于3D打印以及多视角图像的生成;
[0030] 最后刻度显示模块方便摄像者实时查看相机的位置和角度,便于随时调整以及便于进行全视景、多角度拍摄。
[0031] 本实用新型集结构合理、方便实用、成像效率高、真实度高等优点于一体,本实用新型的三维图像通过全视景、多角度获取,获取特征点和轮廓点建立完整图像的三维信息,不仅简化了三维成像过程,而且使三维成像更加形象、逼真,适用于3D打印模型的建立以及摄取多视角图像,具有良好的应用前景和发展空间。
具体实施方式
[0045] 下面将结合本实用新型实施例中的附图,对本实用新型实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本实用新型一部分实施例,而不是全部的实施例。基于本实用新型中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本实用新型保护的范围。
[0046] 本实用新型实施例公开了一种三维成像系统,通过获取全视景、多角度的三维图像,采集特征点和轮廓点,简化三维成像的同时提高了成像效率,可通过无人机航拍、车载或者其他移动设备进行拍摄,用于3D打印等领域。
[0047] 请参阅相关附图为本实用新型提供了一种三维成像系统,包括:相机1;分别用于测量相机1移动速度、加速度、角速度的速度传感器2、加速度传感 器3、陀螺仪4;用于调节相机1拍摄位置的支架5;通过数据线与相机1连接,用于获取相机1拍摄图像,并合成三维图像信息的计算机系统6;其中计算机系统6包括控制模块60、自动提取像素点模块61、运算模块62、分析校正模块63、刻度显示模块64、自动提示模块65以及显示屏66;相机1包括外壳10、安装在外壳10上的镜头11;镜头11、支架5上均标注有刻度12;三维成像系统通过控制模块60对支架5发出所需拍摄位置的指令,支架5根据控制模块60的指令进行调节并带动相机
1处于指定的拍摄位置,同时控制模块60指令中的数据信息通过刻度显示模块64在显示屏
66上进行显示,自动提示模块65经过分析、判断并通过显示屏66提示完成三维信息拍摄,自动提取像素点模块61接收自动提示模块65完成三维信息拍摄的信号,自动提取像素点模块
61对相机1处于不同位置拍摄的图像进行特征点和轮廓点提取,运算模块62将自动提取像素点模块61提取的特征点和像素点进行运算,依次获得光线的方向信息和拍摄对象的光场信息,合成三维图像的数据信息,同时分析校正模块63对像素点(包括特征点和轮廓点)的误差进行校正,实现完整的三维图像信息的创建;自动提示模块65经过分析、判断并通过显示屏66提示三维信息拍摄失败,控制模块60接收到自动提示模块65三维信息拍摄失败的信号并重新向支架5发送指令进行调节。
[0048] 为了进一步优化上述技术方案,自动提示模块65内置有判断模块和重置模块;其中判断模块通过相机1的速度、加速度、角速度信息判断相机1是否抖动,通过相机1拍摄对象的运动轨迹是否规则进行判断相机1拍摄的图像是否可以进行三维信息的提取和合成,并通过显示屏66提示是否完成三维信息拍摄;重置模块将需要重置的刻度12通过显示屏66显示,并将精确数值发送至控制模块60。
[0049] 内置有判断模块和重置模块的自动提示模块通过判断在显示屏上显示是否完成三维信息拍摄,方便用户及时发现问题并作出调整,节省时间、提高效率、减小误差。
[0050] 为了进一步优化上述技术方案,相机1的运动方式包括移动和/或转动;其中移动包括左右水平移动、前后水平移动、上下垂直移动,转动包括水平旋转移动、垂直旋转移动、螺旋型旋转移动。
[0051] 相机的左右水平移动、前后水平移动、上下垂直移动、水平旋转移动、垂直旋转移动、螺旋型旋转移动为拍摄全视景、多角度的照片和视频提供了保障,也为获取完整的三维图像像素点提供了基础设备。
[0052] 为了进一步优化上述技术方案,刻度12包括距离刻度和角度刻度。
[0053] 支架和相机上的刻度具体分为水平距离、垂直距离以及角度刻度,准确、全面地提供了相机的位置、角度等精确数值。
[0054] 为了进一步优化上述技术方案,刻度显示模块64包括距离刻度显示模块和角度刻度显示模块。
[0055] 刻度显示模块则通过距离刻度显示模块和角度刻度显示模块分别显示相机所在的具体位置,包括高度和角度,方便用户实时查看相机的准确位置。
[0056] 为了进一步优化上述技术方案,运算模块62设置有对相机1拍摄图片的所有特征点和轮廓点进行运算的方程组矩阵运算模块,对不同照片中同一个特征点和像素点建立函数运算的映射关系运算模块,通过不同照片的焦距、光圈、景深信息筛选像素点的筛选分组运算模块,以及对像素点进行替换运算的均值运算模块、差值运算模块、转换处理运算模块;其中对像素点进行替换运算可以通过均值运算模块、差值运算模块、转换处理运算模块中的任意一种或者几种的组合。
[0057] 方程组矩阵运算模块、映射关系运算模块、筛选分组运算模块、均值运算模块、差值运算模块、转换处理运算模块对特征点、轮廓点和图像的完整像素点进行相应的运算和处理,实现清晰度高、效果逼真的三维图像信息合成和建立。
[0058] 其中,在图4中图像为前景聚焦,所以前景清晰后景模糊,而在图5中图像后景聚焦,所以后景清晰前景模糊;将图像如图6所示划出网格,对其中每个像素或一组像素进行判断,对于可容许范围弥散圆直径D以内的成像像素点R视为清晰成像,再根据该照片的焦距和景深信息,获得每个清晰像素点R与相机镜头之间的距离范围(df,dc),其中df为最远距离,dc为最近距离。
[0059] 然后根据连续拍摄获得的多张照片进行对比匹配,对多张照片中显示的同一个像素点R建立映射关系,并根据上述方法筛选出像素点R为清晰的照片分组,根据分组中每张照片的焦距、光圈、景深等信息,以及每张照片的 像素点R与相机镜头之间的距离范围(df,dc),通过求均值和其它方法计算出像素点R与相机镜头之间的准确距离。
[0060] 然后将上述连续拍摄获得的多张照片进行对比匹配,用清晰的像素代替模糊的像素,同时根据上述方法获得每个像素点R的深度信息即像素点R与相机镜头之间的准确距离,从而获得整张照片每个像素点的深度信息,即照片中景物的三维信息。如果相邻的像素之间的深度差值大于某个阀值,可以通过差值及其它的转换处理算法进行深度信息的拟合,以获得更精确的深度信息和显示效果。
[0061] 光场,即是空间中任意点发出的任意方向的光的集合;光是载体,携带了物体的信息,在3D空间中任意一束光我们用5个参数来定义,位置坐标x,y,z和方向坐标角θ,(具体如图7所示),并定义为5D光场。
[0062] 如果将目标锁定为一个观测的物体,将自身限制在物体的周围,由物体发出的光线的所有集合就可以用4D来表示(以图8的方式定义光线),并定义为4D光场。
[0063] 如图9(a)所示,在目标像的周围我们可以拍摄不同位置不同角度的图片。
[0064] 而在图9(b)中位置4和2代表的位置上拍摄对象的信息基本相同,但是由于视场不同位置4获得的图像视场小于位置2,但是获得的细节信息多于位置2,而位置1和位置3拍摄的图像包含部份位置4拍摄图像的信息,因此通过计算可以通过位置1,2,3的图像中部分信息计算出位置4拍摄的图像的全部信息。由此,我们可以不在位置4拍摄图像,而通过位置1,2,3的图像计算出它的图像。根据这种理论,通过在物体周围拍摄到足够的图片(如图9(b)),形成物体的光场如图9(c)所示,就可以获得任意位置拍摄到的图片,而无须真实的拍摄,从而获得目标像的所有信息。藉由这个原理,可以获得光场信息并实现三维重建。
[0065] 上述图9的光场信息可以通过光场相机的微透镜阵列获得,也可以通过本实用新型的系统,把普通相机用手持或固定在支架上。
[0066] 然后通过移动相机位置进行连续拍摄,移动相机位置可以是左右水平移动、前后水平移动、上下垂直移动,水平旋转移动、垂直旋转移动、螺旋型旋转同时在垂直于旋转面方向移动,以及其它的移动方式。
[0067] 支架可以支持上述至少一种位移方式协助相机进行拍摄。
[0068] 较佳的是,相机支架可以带有刻度,对固定在支架上的相机的位移量提供精确值。如图1所示,为本实用新型支架5的一个具体实施例。其中,升降杆51上标注有垂直刻度,水平杆52上标注有水平刻度,通过旋转轴旋转90度,相机1可以左右移动、前后移动、上下移动,或者通过旋转轴进行转动,进行各种移动方式下的连续拍摄。
[0069] 较佳的是,在三维成像系统中,支架的移动量可以同步记录在相机在相应位置拍摄的每张照片上。通过上述方法移动相机位置进行连续拍摄的照片,再根据每张照片拍摄时相机的位移量信息,列出方程组,通过相片拍摄角度的不同获得光线的方向信息,通过方程组矩阵运算等算法,获得所拍摄景物的光场信息,最终获得所拍摄景物的三维信息。
[0070] 当然,本实用新型的三维成像系统,可以使用上述自动变焦连续拍摄和移动位置连续拍摄的其中一种方法,或两种方法相结合来获得更加准确的所拍摄景物的三维信息,通过以上方法获得的所拍摄景物的三维信息,可以进行3D打印或生成不同视角的照片。
[0071] 为了进一步优化上述技术方案,相机1为单目相机,并且可以固定在无人机、车辆或移动设备上。
[0072] 为了进一步优化上述技术方案,支架5包括底座50,通过转轴活动连接、并插入底座50的升降杆51,与升降杆51垂直、并且连接在转轴一端的水平杆52。
[0073] 为了进一步优化上述技术方案,支架5上设置有驱动装置,并且在驱动装置的内部设置有用于接收控制模块60指令的信号接收器。
[0074] 为了进一步优化上述技术方案,自动提取像素点模块61主要对相机1拍摄照片的特征点和轮廓点进行提取。
[0075] 自动提取像素点装置通过提取特征点和轮廓点简化了后续运算模块的运算,提高了成像的效率。
[0076] 为了进一步优化上述技术方案,相机1拍摄的视频为正常摄影视频或者高速摄影视频。
[0077] 为了进一步优化上述技术方案,支架5通过平移和/或转动使相机]拍摄至少一段视频或一组照片,视频和照片包括不同角度以及不同焦距的视频和照片。
[0078] 连续拍摄的一组照片或者一段视频不仅便于全方位地获取拍摄对象的完整像素点,而且在筛选分组运算模块、均值运算模块、差值运算模块以及转换处理运算模块中,有利于提取高像素的像素点,使三维成像的清晰度得到提高。
[0079] 为了进一步优化上述技术方案,相机1通过自动或手动变焦,使镜头11聚焦于所拍摄的对象,再根据焦距、光圈、景深等信息筛选像素点,获得拍摄对象的特征信息和轮廓信息,并可根据需要分离并去除相机1拍摄对象的背景图像。
[0080] 为了进一步优化上述技术方案,支架5通过驱动装置进行平移和/或转动,相机1在支架5上的刻度12通过刻度显示模块64进行显示,并且相机1的位置同步对应当前帧的拍摄时间和拍摄角度。
[0081] 相机的位置同步对应当前帧的拍摄时间和拍摄角度,便于运算模块进行运算分析,方便用户进行观察对比,完成拍摄对象无遗漏、无死角地拍摄。
[0082] 为了进一步优化上述技术方案,相机1可通过控制模块60调节拍摄位置,也可以通过手动方式调节拍摄位置。
[0083] 为了进一步优化上述技术方案,通过相机1拍摄图像生成的三维信息,可以是去除背景信息的三维信息,或者是保留背景信息的三维信息。
[0084] 为了进一步优化上述技术方案,相机1设置有自动对焦模块、手动对焦模块中的任意一种或两种的组合。
[0085] 为了进一步优化上述技术方案,计算机系统6设置有自动对焦模块。
[0086] 本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
[0087] 对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本实用新型。对这些实施例的多种修改对本领域的专业技术人员来说将是显 而易见的,本文中所定义的一般原理可以在不脱离本实用新型的精神或范围的情况下,在其它实施例中实现。因此,本实用新型将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。