[0001] 本发明涉及一种多媒体系统。

[0002] 一般地，移动通信终端或便携式摄像机等中所需的多媒体数据的记录过程的顺序如下：对从图像传感器即相机或麦克风等输入的数据进行编码，并将其存储为特定格式的文件。此时，用于存储数据而被选的文件格式，鉴于与广泛使用的播放器之间的兼容性及是否标准化、是否支持压缩格式、文件存储及复制时的效率高低、以及对记录的文件进行编辑时的简易性等问题进行选择，当前3G移动通信终端中最广泛使用的是动态图像专家组(MPEG)-4(ISO/IEC 14496-12)文件格式(即为，MPEG-4)。

[0003] MPEG-4文件由被称作原子(atoms)或包(boxes)的大量的面向对象结构(object-oriented structures)构成。MPEG-4文件将媒体数据和与其相关的多种信息即媒体信息分别分离到影片(moov：Movie)包和媒体数据(mdat：Media Data)包进行存储，只能通过作为存储在影片包的参照数据的影片能够获得各媒体信息。另一方面，因MPEG-4文件格式的结构特征，记录时无法将影片和媒体数据包文件依次存储到磁盘，并且，由于要存储到影片文件的多种信息在记录过程中其大小不断增加，因而无法依次全部存储到较小容量的存储器。即，由于作为对于媒体数据包文件的各个样本的参照信息的样表(样本大小、样本时间、组块偏移量等)物理性地增加，因而无法将其无限存储到存储器。

[0004] 更加具体地说明，所输入的媒体数据通过编码器压缩而存储到磁盘的媒体数据包，并且，对于存储为媒体数据文件的媒体数据的各信息，作为样表存储到存储器。一旦结束记录，由于这期间存储到存储器的各样表以影片形式存储到磁盘，因而完成MPEG-4文件格式。但是，由于存储到存储器的各样表与记录时间成正比例地增加，因而存储器的消耗量变大，由此出现记录时间因存储量受到限制的问题。这种记录时间受限的问题，在存储容量受限的移动通信终端上会变得更加严重。

[0021] 图1是根据本发明的一实施例的多媒体系统的结构图。

[0022] 参照图1，根据本发明的一实施例的多媒体系统包括输入输出装置200、多媒体数据处理装置100、存储装置400以及主机装置300。

[0023] 输入输出装置200可包括输入装置，输出装置，或两者兼有。作为输入装置可举例用于输入视频数据的图像传感器210a，即相机和用于输入音频数据的麦克风210b。并且，输出装置可包括播放装置，如液晶显示器(LCD显示器)200。但是，输入输出装置200不限于此，当然可以包括能够输入音频及视频数据的其他种类的各输入装置及能够输出音频及视频数据的其他种类的各输出装置。下面，将音频及视频统称为“媒体”。

[0024] 多媒体数据处理装置100包括输入部110、定标器部120、数据压缩及信息生成部130、缓冲部140以及文件格式生成部150。输入部110包括视频数据输入部110a及音频数据输入部110b，从输入输出装置200接收输出的视频数据及音频数据。视频数据输入到视频数据输入部110a，而音频数据输入到音频数据输入部110b，视频数据及音频数据的大小由使用人员决定。另外，所输入的视频数据及音频数据意味着未经过加工的原始数据(raw data)。

[0025] 从视频数据输入部110a输入的视频数据通过定标器部120的视频定标器(Scaler)120a被定标成YUV帧(例如YUV420视频帧或YUV422视频帧)，从音频数据输入部110b输入的音频数据通过定标器部120的音频定标器120b被定标成PCM音频帧。定标了的YUV视频帧及PCM音频帧输入到数据压缩及信息生成部130，以进行压缩及生成信息。

[0026] 数据压缩及信息生成部130利用各个视频编码器及音频编码器，对通过定标器部120输入的视频数据及音频数据进行压缩，并且，生成对于视频数据及音频数据的信息，例如各样本数据。

[0027] 压缩的媒体数据(例如，视频及音频数据)和上述生成的信息，作为媒体包及信息包临时存储到缓冲部140之后存储在存储装置400。上述存储装置400能够包括一个以上的易失性或非易失性的存储装置，例如，磁盘、硬盘驱动器、光盘、闪速存储器等。下面参考图2，对缓冲部140进行更加详细的说明。

[0028] 一般地，上述信息包能够继续存储到缓冲部的存储器，直到上述缓冲部的存储容量耗尽为止。本实施例能够为了复制已设定的上述信息包，并在上述存储装置400存储已设定的上述信息包而使用。对已设定的上述信息包进行复制并存储的处理过程能够反复进行。因此，能够将信息包存储在大容量的存储装置400，且代替存储在缓冲部的容量受限制的存储器的过程。

[0029] 为了掌握存储到上述存储装置400的信息包，与各个信息包相关的位置信息，例如文件偏移量，每当上述信息包存储在上述存储装置400时，能够存储在上述缓冲部140的已设定的位置。例如，当生成影片包时，基于存储到缓冲部140的文件偏移量，接收存储到存储装置400的信息包而使用，由此在媒体数据记录时，能够显著减少存储器的使用量。例如，将对于1分钟的媒体数据的信息替代为4字节(byte)左右的文件偏移量而进行存储，因而对于60分钟的媒体数据的信息只要达到240字节(byte)左右就很充分。

[0030] 结果，在本发明的实施例中，由于与以往不同地将媒体信息存储到磁盘，并在缓冲部仅存储文件偏移量，因而在媒体数据记录时，仅消耗较少容量的存储器，由此能够长时间进行媒体数据记录。

[0031] 如上所述，文件格式生成部150基于存储到缓冲部140的文件偏移量，调出存储于存储装置400的相关联的信息包，在上述存储装置400生成影片包，由此生成多媒体数据文件格式。

[0032] 主机装置300能够对多媒体系统进行控制。上述主机装置300通过HIF(Host Interface，主机接口)与多媒体数据处理装置100或输入输出装置200连接。另一方面，主机装置300包括缓冲部310及文件格式生成部320。主机装置300从多媒体数据处理装置100的数据压缩及信息生成部130接收媒体数据和相关联的信息，并利用存储装置400生成多媒体数据文件格式。

[0033] 图2是根据本发明一实施例的图1的缓冲部的结构图。

[0034] 参照图2，多媒体数据处理装置100的缓冲部140包括数据缓冲部142、信息缓冲部144以及复合缓冲部146，这种缓冲部140一般利用小型存储器。

[0035] 数据缓冲部142存储有在数据压缩及信息生成部130中被压缩的媒体数据作为媒体包，信息缓冲部144存储有对于媒体数据的信息作为信息包。另一方面，复合缓冲部146一同合并存储有数据缓冲部142的媒体包和信息缓冲部144的信息包作为复合包，由此存储的复合包存储在SD等磁盘或者传输至主机。

[0036] 数据缓冲部142包括两个缓冲区而执行双缓冲。即，在一个缓冲区由数据充满时，，上述数据从该缓冲部复制过来，并存储在复合缓冲部146，在此期间，另一个缓冲区继续存储媒体数据。另一方面，信息缓冲部144包括至少两个缓冲区，即第一信息缓冲区144a及第二信息缓冲区144b，如果第一信息缓冲区144a充满，则将数据复制到第二信息缓冲区144b进行存储，如果第二信息缓冲区144b再充满，则将数据移动到复合缓冲部146进行存储。

[0037] 第一信息缓冲区144a的信息包不直接复制到复合缓冲区146而进行存储，而移动到第二信息缓冲区144b进行存储。因此从第一信息缓冲区144a删除信息包(第一信息缓冲区144a被清空)。由于即使第一信息缓冲区144a充满，第一信息缓冲区144a也因复制(copying)和删除(removing)动作而被清空，因而直到数据缓冲部142充满为止所生成的媒体信息不会被删除，而使能够连续地储存于第一信息缓冲区144a。

[0038] 结果，如果信息包累积到需刷新(flush)第二信息缓冲区144b的程度，复制数据缓冲部142的媒体数据而存储在复合缓冲部146时，第二信息缓冲区144b的数据也会一同存储在复合缓冲部146。其中，上述刷新意味着所生成的所有信息包从上述第一信息缓冲区144a复制而存储在上述第二信息缓冲区144b，直到数据缓冲部142充满为止。

[0039] 另一方面，如上所述，存储到复合缓冲部146的媒体数据将会存储在存储装置400，当存储在上述存储装置时，对于信息包的位置信息，例如文件偏移量存储在缓冲部140的已设定的部分，此后用于影片包的生成。

[0040] 图3是根据本发明一实施例的利用缓冲存储器生成影片(moov)包的过程的示意图。

[0041] 参照图3，首先，压缩的音频及视频数据(A/V data)或者媒体数据存储在存储装置400的媒体数据包410。媒体数据包410一同存储有要生成影片包的信息数据，例如信息包421。另一方面，对于信息包421的位置信息，例如文件偏移量A存储在缓冲部140。

[0042] 如果媒体数据存储到存储装置400，文件格式生成部150则基于存储到缓冲部140的文件偏移量A，从存储装置400的媒体数据包410访问信息包421而完成媒体数据文件格式。这种处理过程在缓冲部140临时存储信息包421，重新将信息包的各样表移动至影片包420进行存储。由于信息包421较多，因而文件格式生成部150依次访问较多的信息包421，并在影片包420依次存储与上述访问了的各信息包对应的各样表，由此能够生成影片包420。即，能够访问一个信息包，与上述一个信息包对应的样表能够存储在影片包420，上述访问了的一个信息包能够从缓冲部140删除。然后，接收另一个信息包而能够存储在影片包420。

[0043] 样表能够包括提供有关各个样本的物理位置及定时的信息的多种文字或包。为了维持压缩的表格，通过使用组块(例如，连续的相邻的样本)能够使位置及大小信息被压缩。并且，STSC(Sample Table Sample to Chunk，样表样本组块)值能够利用于提供从样本编号向组块的映射。各个组块的位置能够作为包括上述组块的文件的从开头测定的组块偏移量进行存储。样本在相同的组块中能够使用前面样本的大小及STCO(Sample Table Chunk Offset，样表块偏移量)而排列。例如，所有视频及音频样本能够处理成一个组块，上述STCO值能够对于所有样本进行设定。结果，上述STCO值能够对于处理成一个组块的所有样本进行设定。再说，即使多种样本处理成一个组块，只要上述STCO值设定为使信息包仅未插入在上述组块的中间，复制媒体数据时也不会发生任何错误。因此，即使信息包而不是媒体包例如音频及视频数据存储在上述影片包420，并且上述STCO值及STSC值设定为使信息包不位于组块的中间，复制媒体数据时能够避免错误。

[0044] 图4是根据本发明一实施例的图3的影片包生成过程的示意图。

[0045] 参照图4，在箭头部分标记编号来表示图3的影片包420生成过程。在存储装置400，例如SD或Nand存储装置内存储有媒体包和关于该媒体包的信息包(INFO PACKET)，如图2的部分所述，这种媒体包和信息包记录媒体数据时，能够通过缓冲部140存储在存储装置。

[0046] 首先，在步骤①中，文件格式生成部(未图示)基于存储到缓冲部140的各信息包的文件偏移量，能够将信息包从存储装置400接收或者传输到缓冲部140的存储器。

[0047] 在步骤②中，其他信息包能够存储在缓冲部140。例如，图4示出表示存储到上述缓冲部140的其他信息包的各信息包的样表(例如，LAST PACKET Info、Vid STTS、Vid Stsz、Vid STSS、Vid STCO、Aud STSZ以及Aud STCO)。最顶部的信息包(Last Packet Info)是最终信息包的例子。如上所述，各信息包依次存储在缓冲部140并被删除，如果对于最终信息包的各样本存储在存储装置400的影片包420，影片包420生成过程则会结束，由此启示多媒体数据文件格式的完成。

[0048] 在步骤③中，利用文件格式生成部(未图示)，将存储到缓冲部140的信息包的各样表存储在存储装置400的影片包420。

[0049] 根据本发明的多媒体数据处理装置通过如上的过程生成影片包420，由此相比现有的装置能够更加长时间记录多媒体数据。当媒体数据存储在存储装置400时，由于与上述媒体数据相关的信息包存储在相比缓冲部140的存储器具有更大容量的存储装置400，因而能够长时间记录多媒体数据。再说，在缓冲部140存储信息包的文件偏移量而不是媒体数据的文件偏移量。因此，记录结束后，文件格式生成部基于存储在存储器，即缓冲部140的文件偏移量，接收存储在存储装置400的信息包，由此能够生成影片包420。

[0050] 图5是从根据本发明的另一实施例的多媒体数据处理装置生成的信息包的结构图。

[0051] 参照图5，如图所示，对于音频及视频数据的媒体包(A/V Packet)及信息包(Info Packet)存储在复合缓冲部146，媒体包不具有已设定的文件格式。信息包具有规定的规格，并能够存储关于音频及视频数据的信息。即，在前端部分配存储有对于后端部的尺寸信息4字节(byte)左右，后端部能够具有存储实际信息的类型的规格。

[0052] 例如，在第二个结构中，在前端部扇区(pre-sec2)存储有关于信息包的尺寸信息，在后端部扇区(lat-sec2)存储有包括多个子(sub)信息包的较多的信息数据。并且，第三个结构如第二个结构一样，在前端部扇区(pre-sec3)存储有关于子信息包的尺寸信息，并在后端部扇区(lat-sec3)存储有实质性信息数据。图5中，VID是指视频，AUD是指音频，STTS是指样表时间戳(Sample Table Time Stamp)，STSZ是指样表尺寸(Sample Table Size)，STCO是指样表组块偏移量(Sample Table Chunk Offset)，以及STSS是指样表同步样本(Sample Table Sync Sample)。在前端部扇区(pre-sec4)又存储有包括在后端部的各个扇区(lat-sec4)的STTS、STSZ、STCO、STSS的数量。上述各个数量的大小为4字节(bytes)。

[0053] 在这种结构中，存储到复合缓冲区146的媒体包和信息包移动至磁盘(例如，存储装置400)进行存储，如上所述，基于对于存储到上述缓冲部140的上述信息包的文件偏移量，能够重新接收上述媒体包及信息包。但是，当拍摄中发生拔掉电池等断电状况时，存储在存储器的各信息会消失，因而存储关于信息包的文件偏移量的过程变得无意义，结果将无法找到存储在磁盘的信息包，由此不能生成影片包。

[0054] 为了对此情况采取措施，在本发明中，将存储有文件偏移量的扇区生成在信息包内，以解决此问题。即，如图5所示，在信息包的尺寸扇区紧邻的前端分配4字节(byte)左右而创建文件偏移量扇区，并在上述文件偏移量扇区存储文件偏移量。当然，上述文件偏移量不是针对自身的信息包，而是针对下一个信息包。即，如果当前的信息包为第N-1个信息包，在第N-1个信息包的文件偏移量扇区存储关于第N个信息包的位置信息，即文件偏移量。因此，一旦找到前部分的信息包，就能自然而然地找到紧接的信息包。另一方面，最初的信息包存储在媒体数据包的适当的位置。例如，在媒体数据包的起始部分存储数据的大小及类型，在其后部分分配4字节(byte)左右，由此能够存储对于最初的信息包的文件偏移量。

[0055] 如上所述，在以前的信息包内存储关于下一个信息包的文件偏移量，并将对于最初的信息包的文件偏移量存储在磁盘的媒体数据包，因而即使电池电源用尽等断电情况出现，也能通过参照上述文件偏移量生成影片包。

[0056] 图6是表示根据本发明的又一实施例的多媒体数据记录方法的流程图。

[0057] 参照图6，首先，接收或输入从各外部输入装置输出的媒体数据，即音频数据和视频数据(步骤S100)。对上述所输入的音频及视频数据进行压缩，生成关于上述音频及视频数据的信息(步骤S200)。对音频及视频数据进行压缩之前，各个数据能够通过定标器进行定标。

[0058] 其次，缓冲部对压缩的媒体数据进行双缓冲，该压缩的媒体数据作为媒体包存储在复合缓冲部，并且，关于存储的媒体数据的各信息作为信息包也存储在复合缓冲部(步骤S300)。即，在复合缓冲部存储有合并媒体包和信息包的复合包。由于图2中已经详细说明了在这种复合缓冲部存储复合包的过程，因而在此省略对其的说明。

[0059] 存储到复合缓冲部的复合包存储在磁盘(例如，存储装置400)，对于上述信息包的文件偏移量存储在存储器，即缓冲部(步骤S400)。如果对于媒体数据的记录一旦结束，文件格式生成部则参照存储到缓冲部的文件偏移量而生成影片包，由此完成媒体数据文件格式(步骤S500)。由于在图3及图4中详细地说明了这种影片包生成过程，因而在此省略对其的说明。

[0060] 根据在此叙述的实施例，当媒体数据包及信息包存储在磁盘时，维持关于存储缓冲区内的信息包的文件偏移量，参照上述文件偏移量而生成影片包，由此能够显著减少所使用的存储器的量。通过减少存储器的使用能够长时间记录多媒体数据。

[0061] 另外，在此叙述的多媒体数据处理装置中，上述文件偏移量生成在上述信息包，上述信息包存储在磁盘，参照上述文件偏移量能够找到上述信息包。因此，即使上述多媒体数据处理装置的电源用尽或者拔掉电池，也能容易生成影片包。

[0062] 本说明书虽然包括较多的细节内容，但不得将其理解为用于限制本发明的范围，应当理解为用于具体化特定发明的特定实施例。本说明书的另外实施例中记述的各特征能够与一个实施例进行组合而体现出来。反过来说，一个实施例中记述的多种特征能够体现为另外的多种实施例或者以适当的组合体现出来。

[0063] 说明书包括很多细节，但这不能被理解为用于限定发明的范围或要求保护的权利，而应被理解为针对特定发明的特定实施例的特征的说明。在分开的各实施例的内容中，在该说明书记载的某些特征能够与单一的实施例结合来体现出来。相反，在单一的实施例内容记载的多个特征可分为多个实施例体现出来，或者以某个适合的子组合(subcombination)来体现出来。另外，虽然各特征可记载为某些组合，并与其对应地先构成权利要求，但可以从构成权利要求的组合，在某些情况下除去一个以上的特征，也可以是构成权利要求的组合指示子组合或指示子组合的变形。

[0064] 同样，在附图中以特定的顺序表示出动作，但不能将其理解为这种动作以图示的特定顺序或依次的顺序来执行，也能理解为为了得到所希望的结果而执行全部图示的动作。在某些情况下，多重作业(multitasking)以及并行处理(parallel processing)可成为优点。另外，在上述的各实施例中，各系统的结构要素的分离不能理解为在全部实施例中要求这种分离。

[0065] 虽然具体记载了各种具体实施例，但也可以根据本说明书中的记载以及图示来进行改善(enhancements)以及变形。

[0066] 产业上的可利用性

[0067] 本发明涉及一种多媒体系统。根据本发明的一实施例，当媒体数据包及信息包存储在磁盘时，维持对于存储缓冲区内的信息包的文件偏移量，通过参照上述文件偏移量生成影片包，由此能够显著减少所使用的存储器的量。通过减少存储器使用能够长时间记录多媒体数据。