[0001] 本实用新型涉及通信领域，特别是一种裸眼3D即时通讯设备。

[0002] 即时通讯是指能够即时发送和接收互联网消息等的业务。随着通信技术的发展，即时通讯的功能日益丰富，逐渐集成了电子邮件、博客、音乐、电视、游戏和搜索等多种功
能。目前，即时通讯不再是一个单纯的聊天工具，它已经发展成集交流、资讯、娱乐、搜索、电
子商务、办公协作和企业客户服务等为一体的综合化信息平台。

[0003] 但是，传统的用于即时通讯多为依据已有的手机、平板电脑等设备的即时通讯效果单一，仅可以进行平面二维画面的展示，无法为使用者提供更加立体的参与感。
实用新型内容

[0004] 鉴于上述问题，提出了本实用新型以便提供一种克服上述问题或者至少部分地解决上述问题的裸眼3D即时通讯设备。

[0005] 根据本实用新型的一个方面，提供了一种裸眼3D即时通讯设备，包括：裸眼3D显示器以及与所述裸眼3D显示器连接的视频模组、音频模组和通讯模型；

[0006] 所述裸眼3D显示器，具有裸眼3D显示功能，所述裸眼3D显示器设有控制所述裸眼3D即时通讯设备工作的控制器，所述视频模组、所述音频模组和所述通讯模组均连接所述
控制器；所述视频模组用于采集所述视频模组所部署环境的视频数据；所述音频模组用于
采集所述音频模组所部属环境的音频数据和/或受控于所述控制器播放音频数据；

[0007] 所述裸眼3D即时通讯设备经由所述通讯模组与至少一个即时通讯对象建立通信连接，以通过所述通信连接将所述视频模组采集的视频数据和所述音频模组采集的音频数
据实时传输给至少一个即时通讯对象，实现与所述至少一个即时通讯对象的裸眼3D即时通
讯；

[0008] 所述视频模组包括至少两个摄像头，所述至少两个摄像头固定在所述裸眼3D显示器的周围，用于采集横向视频数据和/或竖向视频数据；各所述摄像头均对应安装有旋转底
座，以通过所述旋转底座实现360°旋转。

[0009] 可选地，所述至少两个摄像头并列设置，且所述至少两个摄像头的光轴处于同一水平面；或，

[0010] 所述至少两个摄像头在水平方向上错位排布，且所述至少两个摄像头的光轴在水平方向上形成光轴间距；所述光轴间距为0.1～6.5cm。

[0011] 可选地，所述裸眼3D显示器还包括多个显示单元以及和所述显示单元在水平方向呈一定夹角的裸眼3D部件，所述多个显示单元和所述裸眼3D部件协同显示基于所述视频模
组采集的所述视频数据进行处理生成裸眼3D交织影像。

[0012] 可选地，所述裸眼3D部件包括柱镜光栅阵列、狭缝光栅阵列或微透镜光栅阵列。

[0013] 可选地，所述裸眼3D即时通讯设备还包括眼球追踪模组，与所述控制器通信连接；

[0014] 所述眼球追踪模组用于实时追踪所述裸眼3D即时通讯设备使用对象的双眼位置，并将所述双眼位置反馈至所述控制器，由所述控制器实时调整所述裸眼3D交织影像，以使
所述裸眼3D交织影像适配所述使用对象的双眼位置；

[0015] 所述眼球追踪模组包括红外设备或图像采集设备。

[0016] 可选地，所述视频模组、所述音频模组和所述通讯模组通过USB接口、Type‑c接口和/或HDMI接口与所述裸眼3D显示器连接；

[0017] 所述裸眼3D显示器包括具有裸眼3D显示功能的手机、平板、笔记本、显示器、电视机和/或拼接墙。

[0018] 可选地，所述裸眼3D即时通讯设备经由所述通讯模组连接服务端；所述服务端启动有主连接侦听进程和协同连接侦听进程，所述裸眼3D即时通讯设备中的所述通讯模组与
所述服务端的所述主连接侦听进程保持连接；

[0019] 当所述裸眼3D即时通讯设备需要与任一所述即时通讯对象建立即时通讯时，经由所述通讯模组连接所述协同连接侦听进程，在所述服务端通过所述协同连接侦听进程向所
述即时通讯对象发送通知消息后，与所述即时通讯对象建立即时通讯连接。

[0020] 可选地，所述服务端通过所述协同连接侦听进程向所述即时通讯对象发送的所述通知消息中携带有所述裸眼3D即时通讯设备的第一IP地址和第一端口号，以供所述即时通
讯对象利用所述第一IP地址和第一端口号向所述裸眼3D即时通讯设备发送连接请求；

[0021] 所述裸眼3D即时通讯设备接收到所述即时通讯对象的连接请求时，记录所述即时通讯对象的源IP地址和源端口号。

[0022] 可选地，所述裸眼3D即时通讯设备还用于接收所述服务端发送的所述即时通讯对象的第二IP地址和第二端口号，以利用所述第二IP地址和所述第二端口号与所述即时通讯
对象建立即时通讯连接；

[0023] 其中，所述第二IP地址和所述第二端口号为所述服务端接收到所述即时通讯对象在向所述裸眼3D即时通讯设备发送连接请求时向所述服务端的主连接侦听进程同步的发
送准备就绪通知后发送。

[0024] 可选地，还包括支架套件，所述裸眼3D显示器、所述视频模组、所述音频模组和所述通讯模组设置于所述支架套件上。

[0025] 根据本实用新型的另一个方面，提供了一种裸眼3D即时通讯系统，包括至少两个上述实施例所述的裸眼3D即时通讯设备以及服务端；各所述裸眼3D即时通讯设备与所述服
务端通信连接，以经由所述服务端实现多人实时裸眼3D即时通讯和互动。

[0026] 本实用新型提供了一种裸眼3D即时通讯设备，通过利用裸眼3D即时通讯设备通过设置裸眼3D显示器，不不仅能够有效地使使用对象看到和展示的画面具有立体感，通过服
务端和其他即时通讯对象建立即时通讯连接，实现双人及多人的实时裸眼3D显示和互动，
以在多人互动过程中，更具体和形象地显示出参与即时通讯对象的影像信息，缩短距离感
和提升临场感。

[0027] 上述说明仅是本实用新型技术方案的概述，为了能够更清楚了解本实用新型的技术手段，而可依照说明书的内容予以实施，并且为了让本实用新型的上述和其它目的、特征
和优点能够更明显易懂，以下特举本实用新型的具体实施方式。

[0028] 根据下文结合附图对本实用新型具体实施例的详细描述，本领域技术人员将会更加明了本实用新型的上述以及其他目的、优点和特征。

[0040] 在本实用新型的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便
于描述本实用新型和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方
位、以特定的方位构造和操作，因此不能理解为对本实用新型的限制。

[0041] 此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者
隐含地包括一个或者更多个该特征。在本实用新型的描述中，“多个”的含义是两个或两个
以上，除非另有明确具体的限定。

[0042] 在本实用新型中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可
以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是
两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语
在本实用新型中的具体含义。

[0043] 下面将参照附图更详细地描述本实用新型的示例性实施例。虽然附图中显示了本实用新型的示例性实施例，然而应当理解，可以以各种形式实现本实用新型而不应被这里
阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本实用新型，并且能
够将本实用新型的范围完整的传达给本领域的技术人员。

[0044] 本实用新型实施例提供了一种裸眼3D即时通讯设备100，参见图1可知，本实用新型实施例的包括裸眼3D即时通讯设备100至少可以包括裸眼3D显示器10以及与所述裸眼3D
显示器10连接的视频模组20、音频模组30和通讯模型。其中，视频模组20、音频模组30和通
讯模组40可以通过USB接口、Type‑c接口、HDMI接口等连接到裸眼3D显示器10上。

[0045] 其中，所述裸眼3D显示器10具有裸眼3D显示功能，所述裸眼3D显示器10设有控制所述裸眼3D即时通讯设备100工作的控制器，所述视频模组20、所述音频模组30和所述通讯
模组40均连接所述控制器。裸眼3D显示器10可以是具有裸眼3D显示功能的手机、平板、笔记
本、显示器、电视机、拼接墙等，裸眼3D显示器10的显示屏可以是LCD屏，OLED屏，LED屏，
micro led屏，mini led屏等显示器件。

[0046] 所述视频模组20用于采集所述视频模组20所部署环境的视频数据；所述音频模组30用于采集所述音频模组30所部属环境的音频数据和/或受控于所述控制器播放音频数
据。音频模组30可以同时集成有线或无线的麦克风和音响器件。

[0047] 所述裸眼3D即时通讯设备100经由所述通讯模组40与至少一个即时通讯对象建立通信连接，以通过所述通信连接将所述视频模组20采集的视频数据和所述音频模组30采集
的音频数据实时传输给至少一个即时通讯对象，实现与所述至少一个即时通讯对象的裸眼
3D即时通讯。可选地，通讯模组40的通讯方式可以为5G、WiFi或是蓝牙等无线或有线通讯方
式。本实施例的即时通讯对象可以是其他裸眼3D即时通讯设备100，或者是普通2D即时通讯
设备。

[0048] 继续参见图1可知，本实施例的裸眼3D即时通讯设备100还可以包括支架套件50，所述裸眼3D显示器10、所述视频模组20、所述音频模组30和所述通讯模组40设置于所述支
架套件50上，以形成一套完整的设备。本实施例的支架套件50固定各上述各个模组，使其朝
向用户，用于裸眼3D即时通讯设备100的用户自拍；亦可将视频模组20转0‑180度，支持他
拍，支架套件50可以是铝合金、塑胶等材质。

[0049] 在本实用新型实施例中，所述视频模组20包括至少两个摄像头21，至少两个摄像头21固定在裸眼3D显示器10的周围，用于采集横向视频数据和/或竖向视频数据。如图2所
示，各所述摄像头21均对应安装有旋转底座22，以通过所述旋转底座22实现360°旋转；视频
模组20还包括摄像头固定支架23，所述至少两个摄像头21经由各自对应的所述旋转底座22
固定设置于摄像头固定支架23上，设置有所述至少两个摄像头21的所述摄像头固定支架23
设置于所述裸眼3D显示器10周围。也就是所，摄像头21安装在旋转底座22上，然后通过旋转
底座22安装在摄像头固定支架23上。

[0050] 本实用新型实施例中视频模组20包括至少两个摄像头21可具有两种设置方式：其一，所述至少两个摄像头21并列设置，且所述至少两个摄像头21的光轴处于同一水平面。图
2示出了视频模组20包括两个摄像头21的实时方式，参见图2可知，两个摄像头21呈水平方
向放置，摄像头21的光轴在水平方向上在一条直线上，两个摄像头21的光轴在垂直方向的
间距x为0.1‑6.5cm，优选为0.5‑3cm。

[0051] 其二，所述至少两个摄像头21在水平方向上错位排布，且所述至少两个摄像头21的光轴在水平方向上形成光轴间距；所述光轴间距y为0.1～6.5cm。如图3A～图3B所示，两
个摄像头21在垂直方向错位放置，两个摄像头21的光轴具有0.1‑6.5cm的间距，优选为0.5‑
3cm。旋转底座22支持调节摄像头21同轴360度旋转，优选0度和90度旋转，支持横方向视频
和竖方向视频拍摄。实际应用中，两个摄像头21所拍摄的两路影像可进行横向等比例压缩
50％且纵向保持不变，或纵向等比例压缩50％且模向保持不变，并合并成一路左右格式或
上下格式的视频内容。

[0052] 本实施例中，所述控制器集成有裸眼3D交织算法工具包，以利用所述裸眼3D交织算法工具包对所述视频模组20采集的所述视频数据进行处理生成裸眼3D交织影像。本实施
例中，裸眼3D交织算法工具包可以为裸眼3D交织算法SDK工具包，其可以集成设置于裸眼3D
显示器10的控制器，裸眼3D交织算法SDK工具包可以将一路左右格式或上下格式的视频内
容，基于裸眼3D显示器10件的3D设计方案进行实时交织成相匹配的裸眼3D影像。

[0053] 本实施例中，所述裸眼3D显示器10还包括多个显示单元11以及和所述显示单元11在水平方向呈一定夹角α的裸眼3D部件12，所述多个显示单元11和所述裸眼3D部件12协同
显示所述裸眼3D交织影像。所述裸眼3D部件12包括柱镜光栅阵列、狭缝光栅阵列或微透镜
光栅阵列。

[0054] 图4A～图4C示出了根据本实用新型实施例的交织影像示意图，本实施例以柱镜光栅作为裸眼3D部件12为例，结合图图4A～4C可知，柱镜光栅结构水平宽度为P，柱镜光栅相
邻连接线与显示单元11水平方向夹角为α。两个摄像头21分别为左摄像头和右摄像头，左摄
像头采集的影像为影像1，右摄像头采集的影像为影像2，柱镜光栅结构水平宽度为z，z内包
含n个显示单元11的子像素，将n个子像素平分为左右2等分，影像1和影像2分别填充到左等
分和右等分完成裸眼3D影像交织，如果子像素分别处在左右等分之间或相邻柱镜结构中间
时，采用占比大于50％的方案填充对应的影像，等于50％依左影像优先填充。

[0055] 如图1所示，裸眼3D即时通讯设备100还可以包括眼球追踪模组60，所述眼球追踪模组60用于实时追踪所述裸眼3D即时通讯设备100使用对象的双眼位置，并将所述双眼位
置反馈至所述控制器；所述控制器还用于利用所述裸眼3D交织算法工具包根据所述使用对
象的双眼位置实时调整所述裸眼3D交织影像，以使所述裸眼3D交织影像适配所述使用对象
的双眼位置。当人的眼睛看向不同方向时，眼部会有细微的变化，这些变化会产生可以提取
的特征，本实施例中的眼球追踪模组60可以通过图像捕捉或扫描提取这些特征，从而实时
追踪眼睛的变化。本实施例中的眼球追踪模组60可以为红外设备，或是图像采集设备。

[0056] 眼球追踪模组60可将获取到的使用对象的双眼位置，反馈给控制器，进而有控制器利用裸眼3D交织算法工具包实时调整交织算法使最佳3D观看位置与使用者的双眼位置
匹配。

[0057] 如图5A～5B所示，裸眼3D交织算法是基于显示模块内的像素点分别显示左眼图像L和右眼图像R，当眼球追踪模组60确认观看者的眼球位置信息如图5A所示，则交织算法处
理像素点显示图5A～5B的左眼图像L和左眼图像R，此时裸眼3D显示器10投射出的左右眼影
像与人眼位置符合，观看者能体验正确的3D影像，当眼球追踪模组60确认观看者的眼球位
置信息如图5B所示，此时观看者的左右眼位置发生的变化，交织算法会处理像素点显示图
像同步变化成图5B所示内容，然后经裸3D显示器10投射到观看者左右眼，观看者再次体验
到正确的3D影像。

[0058] 控制器对于处理好的裸眼3D交织影像可通过裸眼3D显示器10在裸眼3D即时通讯设备100的使用对象己方进行实时播放，也可以在与使用对象即时通讯的对方进行单视窗
播放，或在双方进行画中画播放，亦可以进行己方或对方的2D画面播放。可选地，在播放视
窗界面设置要隐藏的切换按钮，分别对应己方，对方，画中画显示功能，播放2D画面是优选
左摄像头影像，进行50％的横方向拉升复原原影像，即为正常的2D画面。2D画面是指单独显
示A画面或B画面，并设置屏蔽裸眼3D交织算法SDK功能，优选全屏画做裸眼3D显示，画中画
做2D显示，如图6所示。即当己方画面是全屏显示时，为裸眼3D显示，对方画面是全屏显示
时，为裸眼3D显示。

[0059] 裸眼3D显示器10进行显示影像时，双摄像头21分别拍摄2D显示画面，2D显示画面可以是横向显示画面，也可以是纵向显示画面，传输到视频模组20合成出左右格式或上下
格式，横向画面和纵向画面与左右格式和上下格式可以两两搭配，分别如图7、图8所示。2D
显示画面都进行了横方向的等比例压缩50％，纵方向不变，再传输到裸眼3D交织算法SDK，
两个画面做等比例拉升50％，基于裸眼3D显示器10件3D设计参数完成裸眼3D画面交织，再
经显示器件显示出来，如图8。

[0060] 本实施例中，所述裸眼3D即时通讯设备100经由所述通讯模组40连接服务端；所述服务端启动有主连接侦听进程和协同连接侦听进程，所述裸眼3D即时通讯设备100中的所
述通讯模组40与所述服务端的所述主连接侦听进程保持连接；当所述裸眼3D即时通讯设备
100需要与任一所述即时通讯对象建立即时通讯时，经由所述通讯模组40连接所述协同连
接侦听进程，在所述服务端通过所述协同连接侦听进程向所述即时通讯对象发送通知消息
后，与所述即时通讯对象建立即时通讯连接。本实施例中的服务端是与至少一个裸眼3D即
时通讯设备100关联的后端服务器，服务端可协同裸眼3D即时通讯设备100之间实现即时通
讯或是信息传输。

[0061] 可选地，所述服务端通过所述协同连接侦听进程向所述即时通讯对象发送的所述通知消息中携带有所述裸眼3D即时通讯设备100的第一IP地址和第一端口号，以供所述即
时通讯对象利用所述第一IP地址和第一端口号向所述裸眼3D即时通讯设备100发送连接请
求；所述裸眼3D即时通讯设备100接收到所述即时通讯对象的连接请求时，记录所述即时通
讯对象的源IP地址和源端口号。即，通过服务端协助即时通讯对象实现向裸眼3D即时通讯
设备100的打洞。

[0062] 所述裸眼3D即时通讯设备100还用于接收所述服务端发送的所述即时通讯对象的第二IP地址和第二端口号，以利用所述第二IP地址和所述第二端口号与所述即时通讯对象
建立即时通讯连接；其中，所述第二IP地址和所述第二端口号为所述服务端接收到所述即
时通讯对象在向所述裸眼3D即时通讯设备100发送连接请求时向所述服务端的主连接侦听
进程同步的发送准备就绪通知后发送。

[0063] 本实施例提供的裸眼3D即时通讯设备100通过设置裸眼3D显示器10，不仅能够有效地使使用对象看到和展示的画面具有立体感，并且裸眼3D显示器10中的控制器集成设置
裸眼3D交织算法工具包，基于裸眼3D显示器10件的3D设计方案进行实时交织成相匹配的裸
眼3D影像，并根据使用对象的双眼位置进行适配调整，以向使用对象提供更加具有立体感
和真实感的影像。

[0064] 本实用新型实施例还提供了一种裸眼3D即时通讯系统，如图9所示，裸眼3D即时通讯系统可以包括至少两个上述实施例所述的裸眼3D即时通讯设备100以及服务端200；各所
述裸眼3D即时通讯设备100与所述服务端200通信连接，以经由所述服务端200实现多人实
时裸眼3D即时通讯和互动。下面对各个裸眼3D即时通讯设备100的连接方式进行详细说明。

[0065] 本实施例中，公网服务端定义为服务端S，内网裸眼3D即时通讯设备A定义为客户端A，客户端A路由器定义为NAT‑A，内网裸眼3D即时通讯设备B定义为客户端B，客户端B路由
器定义为NAT‑B。其中，内网客户端A和内网客户端B均采用上述实施例的裸眼3D即时通讯设
备。

[0066] S1、服务端S启动两个网络侦听进程，一个为主连接侦听进程，一个为协同连接侦听进程，具体为协助打洞的侦听。

[0067] S2、客户端A和客户端B分别与S的主连接侦听进程保持联系。

[0068] S3、当客户端A需要和客户端B建立直接的TCP连接时，首先连接服务端S的协同连接侦听进程对应的端口，并发送协助连接申请。同时在该端口号上启动侦听。注意由于要在
相同的网络终端上绑定到不同的套接字上，所以必须为这些套接字设置SO_REUSEADDR属性
(即允许重用)，否则侦听会失败。

[0069] S4、服务端S的协同连接侦听进程连接收到客户端A的申请后通过主连接侦听进程通知客户端B，并将客户端A经过NAT‑A转换后的第一公网IP地址和第一端口号等信息告诉
客户端B。

[0070] S5、客户端B收到服务端S的连接通知后首先与服务端S的协同连接侦听进程端口连接，随机发送一些数据后立即断开，以让服务端S获知客户端B经过NAT‑B转换后的第二公
网IP和第二端口号。

[0071] S6、客户端B尝试与客户端A的经过NAT‑A转换后的第一公网IP地址和第一端口进行connect连接。根据不同的路由器会有不同的结果，有些路由器(如TPLink R402)在这个
操作就能建立连接(，大多数路由器对于不请自到的SYN请求包直接丢弃而导致connect失
败，但NAT‑A会纪录此次连接的源地址和源端口号，为接下来真正的连接做好了准备，这就
是所谓的打洞，即客户端B向客户端A打了一个洞，下次客户端A就能直接连接到客户端B刚
才使用的端口号。

[0072] S7、客户端B打洞的同时在相同的端口上启动侦听。客户端B在一切准备就绪以后通过与服务端S的主连接侦听进程回复消息“我已经准备好”，服务端S在收到以后将客户端
B经过NAT‑B转换后的公网IP和端口号告诉给客户端A。

[0073] S8、客户端A收到服务端S回复的B的公网IP和端口号等信息以后，开始连接到B公网IP和端口号，由于在S6中客户端B曾经尝试连接过客户端A的公网IP地址和端口，NAT‑A纪
录了此次连接的信息，所以当客户端A主动连接客户端B时，NAT‑B会认为是合法的SYN数据，
并允许通过，从而直接的TCP连接建立起来了。

[0074] 在客户端A和客户端B建立好TCP连接之后，就可以结合各自设备端的裸眼3D显示器及其他组件实现裸眼3D即时通讯。

[0075] 最后应说明的是：以上各实施例仅用以说明本实用新型的技术方案，而非对其限制；尽管参照前述各实施例对本实用新型进行了详细的说明，本领域的普通技术人员应当
理解：在本实用新型的精神和原则之内，其依然可以对前述各实施例所记载的技术方案进
行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相
应技术方案脱离本实用新型的保护范围。