摘 要: 动态环境下对多媒体视频兴趣区进行捕获时,图像背景是持续转变的,存在高低不平的布局问题,导致当前面向特定背景环境的目标捕获方法,无法获取清晰的图像,提出依据优化目标捕获算法,设计动态环境下多媒体视频兴趣区自动捕获系统。该系统通过多媒体视频图像采集模块采集多媒体视频图像的数据,利用数据格式转换模块变换获取多媒体视频图像数据,完成转换的视频图像数据可存储在数据缓存模块中,图像算法分析模块采用高斯混合模型提高图像背景的透明度,捕获清晰的视频兴趣区图像,并将捕获的图像目标传动核心芯片为ADV7123的视频图像显示模块进行显示。实验结果表明,所设计系统可准确捕获运动的视频兴趣区目标,并且目标清晰度较高。
关键词: 动态环境; 多媒体; 视频; 兴趣区; 自动捕获
中图分类号: TN948.64?34; TP391 文献标识码: A 文章编号: 1004?373X(2016)16?0094?04
Abstract: When the multimedia video region of interest (ROI) is captured in dynamic environment, the available target capture method can’t acquire the clear image in a specific background environment due to the continuously changing image background and rough layout, so a capture algorithm based on optimal target is proposed to design the automatic capture system for multimedia video ROI in dynamic environment. In the system, the multimedia video image data is acquired by means of the multimedia video image acquisition module, transformed with data format conversion module, and then the converted multimedia video image data can be stored in data cache module. The Gaussian mixture model is adopted in the image algorithm analysis module to improve the transparency of image background, and capture the clear video ROI image. The captured target image is sent to the core chip ADV7123 in the video image display module for display. The experimental results indicate that the designed system can capture the moving video ROI target accurately, and obtain high resolution target image.
Keywords: dynamic environment; multimedia; video; region of interest; automatic capture
0 引 言
随着视频压缩编码技术以及互联网技术的快速发展,视频监控业务被广泛应用在不同的领域中。动态环境下多媒体视频兴趣区的目标捕获是计算机视觉领域研究人员的热点分析方向[1?3]。当前的目标捕获方法大都面向特定背景环境,无法有效处理动态环境下图像背景的高低不平布局问题,无法获取清晰的图像[4?5]。
现存的目标捕获方法存在一定的弊端,文献[6]提出的帧间差分法依据前后相邻帧图像像素灰度值的波动情况,采集兴趣目标,但是其仅可获取目标的外围信息,无法得到图像细节。文献[7]通过差分相邻帧,捕获兴趣目标,虽然提高了算法的鲁棒性,但是获取的目标中会存在空洞,目标图像模糊。文献[8]通过光流法将空间的运动场描述成图像中的光流场,完成目标的捕获,其可在摄像机运动条件下捕获出相应的运动目标,但是运算量较高,抗噪性能弱。文献[9]采用非参数模型捕获兴趣目标,该方法先获取包含目标的模板,再在序列图像中对目标进行跟踪,该方法存在耗时高的缺陷,局限于捕获较小的兴趣目标。
因为上述分析方法都存在一定的缺陷,因此,提出依据优化目标捕获算法,设计动态环境下多媒体视频兴趣区自动捕获系统。实验结果说明,所设计系统可准确捕获运动的视频兴趣区目标,并且目标清晰度较高。
1 系统硬件实现
1.1 系统总体结构
动态环境下多媒体视频兴趣区的自动捕获系统,由视频图像采集和转换模块、总线模块设计、数据缓存模块、视频图像显示模块、图像算法分析模块构成,如图1所示。主要的目标是捕获动态目标,先采集多媒体视频图像的数据,再变换获取的多媒体视频图像数据,完成转换的视频图像数据可存储在数据缓存模块中,图像算法分析模块采用高斯混合模型针对高低不平的背景图像布局,增强图像背景的透明度,捕获清晰的视频兴趣区图像目标,并将捕获的图像目标传动到视频图像显示模块呈现给用户。
1.2 多媒体视频图像采集模块设计
多媒体视频图像采集模块对摄像头获取的多媒体视频图像数据进行传递、变换和操作,并对动态目标进行检测。通过多媒体视频输入部件也就是摄像机,获取外部视频数据,摄像机中的图像传感器可将外部图像光信号变换成模拟信号,通过模数变换后,形成系统可处理的数据信号。选择MT9M011型图像传感器,该传感器是有源像素数字图像传感器,拥有耗能低的优势。 1.3 数据格式转换模块设计
多媒体视频兴趣区的自动捕获系统中的MT9M011图像传感器,会输出RAW RGB格式的图像数据,该种图像数据颜色格式的滤波阵列中,各感光点都独立完成样和分割,为了提高捕获视频图像的清晰度,要求捕获的图像的数据格式中的各像素点由R,G,B颜色分量构成。因此,需要将图像传感器获取的RAW RGB格式图像数据,变换成所需的位格式,要求R,G,B三种颜色分量均衡分配。具体的变换过程如下:
1.4 视频图像显示模块设计
多媒体视频图像显示模块包括VGA Controller 模块和ADV7123 芯片,该模块设计了VGA时序,确保显示更加清晰的视频图像。VGA Controller 从数据缓存模块中采集待显示的 8 位 RGB目标图像数据,ADV7123 视频编码芯片对图像数据进行 A/D 转换,将数字信号编码成模拟视频信号,再传递到VGA 显示器上进行显示, ADV7123 电路原理图如图2所示。
2 系统软件设计
2.1 软件功能模块
依照系统操作步骤,系统软件可由视频输入及初始化模块、目标捕获及显示模块构成。视频输入及初始化模块对视频依次排列后进行输入并建立系统参数。视频需要输入的内容有采集 USB 摄像头视频和翻译后的 AVI 格式视频,而系统参数需要建立的内容有背景模型参数、目标捕获参数和目标跟踪参数;系统中的高斯混合目标捕获算法由目标捕获及显示模块实现,在图像帧里获取运动对象的捕获结果,并将其呈现到控件窗口上。系统软件的功能构架如图3所示。
2.2 基于高斯混合模型的视频兴趣区自动捕获
多媒体视频兴趣区目标图像的捕获,需要判别视频帧图像排列中有无前景目标的展露,若有,需要先锁定对象,再实施查看对象的操作。在真实监测状态下,多媒体视频兴趣区图像背景是持续转变的,因此图像背景存在高低不平的布局特点,通过高斯混合模型可提高背景的透明度,捕获清晰的视频兴趣区图像。
假设K为高斯模型,用于代表多媒体视频兴趣区的图像像素情况,K值描述了像素峰值散布的数量:
[p(xt)=i=1Kωi,t(2π)n2Σi,t12e-12(xt-ui,t)TΣ-1i,t(xt-ui,t)] (1)
式中:[ωi,t]用于描述时间为t时高斯混合模型里第i个高斯分布的权重;[Xt=[xet,xft,xvt]T]为时间为t时像素的RGB色彩向量;n为3;[ut=[uei,t,ufi,t,uvi,t]T]代表时间为t时第i个高斯散布的均值向量,[Σi,t=σ2i,tIn]代表时间为t时第i个高斯散布的协方差矩阵。
根据高斯混合模型,完成多媒体视频兴趣区图像的背景检测,主要借助模型创设、模型更新和背景模型估计及背景分割3大部分实现。以下为详细介绍:
(1) 模型创设。在创设混合高斯模型时,需收集在某一特定时段内,多媒体视频排列中全部图像像素,根据对它们进行分析运算后得到灰度平均值[μ0]和方差[σ20],达到初始化背景环境模型参数的目的,以式(2)、式(3)为例。
[μ0=1Nt=0N-1It] (2)
[σ20=1Nt=0N-1(It-μ0)2] (3)
当高斯散布模型被初始化之后,即将进入更新部分,可直接操纵第一帧的图像像素点的均值,此刻,应给出相对大一些的方差和相对小一些的权重。
(2) 模型更新。创设模型是在采集多媒体视频兴趣区图像背景环境的条件下进行,因此必须时刻对视频图像高斯模型中的均值和方差进行变更。等到下一帧时,把像素色彩向量的值配置到高斯分布中,倘若[Xt-ui,t≤2.5σ2i,t],那么[Xt]与第i个高斯分布完成配置,相反则配置失败。完成配置的第i个高斯分布的参数,根据以下公式进行变更:
[ui,t=(1-ρi,t)ui,t-1+ρi,tXt] (4)
[σ2i,t=(1-ρi,t)σ2i,t-1+ρi,t(Xt-ui,t)T(Xt-ui,t)] (5)
参数学习速率为[ρi,t],且[ρi,t≈αωi,t]。[α]是用户自定义的学习速率(常用值为0.005)。
在创设当前图像像素的全部高斯分布中,假设并没有能与[Xt]相配的高斯分布,则需将[Xt]当成均值授予最小权重的高斯分布,并更新高斯分布,将相对较小的权重和较大的方差给予高斯分布。经过一系列操作,完成配置后,根据式(6),将同样的像素中每个高斯分布的权重进行描述:
[ωi,t=(1-α)ωi,t-1+αMi,t] (6)
式(6)中,若将第i个高斯分布与[Xt]进行配置,那么[Mi,t]为1,反之为0。把全部高斯分布的权重都重新设置完成后,将其统一整理,进行接下来的操作。
(3)背景模型估计及前景分割
[B=argminbk=1bωk>T, 0.5