基于灰度颜色个数的视频截图选取

ZDNet软件频道 时间:2008-07-18 作者: |  我要评论()
本文关键词:视频截图 界面与窗体 C# Windows
前几天在帮师兄做一个视频截图的模块,采用了DirectShow的接口来访问视频文件。开发工具使用的是Visual C++ 2005 Express和Visual C# 2005 Express,VC++写的一个封装了对DirectShow的接口访问的DLL,然后在C#做的界面程序里面调用。

前几天在帮师兄做一个视频截图的模块,采用了DirectShow的接口来访问视频文件。开发工具使用的是Visual C++ 2005 Express和Visual C# 2005 Express,VC++写的一个封装了对DirectShow的接口访问的DLL,然后在C#做的界面程序里面调用。

1. 关于DirectShow的视频截图方法

DirectShow以前是属于DirectX内的一个部分,后来Microsoft把DirectShow归入了Platform SDK内了。关于DirectShow如何来截取视频文件内部的图片picture,在网上可以搜索到很多。在MSDN关于DirectShow SDK的教程里面,也有专门举例如何使用DirectShow的IMediaDet接口来截视频流内的截图的:
http://msdn.microsoft.com/library/default.asp?url=/library/en-us/wcedshow/html/_dxce_dshow_directshow.asp

使用DirectShow来访问视频文件就可以避免去了解各种视频压缩文件格式,编码格式等等很繁琐甚至是困难的问题了。

2. 选择哪个时间点来截视频图片呢?

但是,选取哪个时间点的视频图片呢?我们在看Windows浏览器里面视频文件的微缩图都是视频文件的第一帧,但是如果第一帧是全黑或者全白呢?那么我们看到的这个截下来的视频图片并没有任何意义。甚至比如电影开头的演员字幕等帧,对于观众来说都没有多大的意义。一部电影的截图选择,如果按照精彩镜头来分,那么需要计算机去理解该电影的内容,这个工作在现阶段来说,涉及到计算机视觉,数字图像,人工智能等前沿技术,不大可能做得出来。

考虑到全黑,全白,以及片头字幕等没有意义的帧图片的特点,就是颜色个数相对较少,相对单调。于是,可以通过一个颜色个数的阈值,来对所有帧图片进行筛选。将颜色个数小于阈值的剔除。一般使用颜色丰富的图片,肯定帧图片更加丰富。

但是,在24位真彩色中,R,G,B都是0-255,任何一个分量相差了一点点,视觉上来说,差异并不大,但是对于计算机来说,就完全是两个颜色了,这种过于精确的颜色统计,对于人来说并不见得好。于是,我选择使用颜色的灰度值来代替真彩色RGB的统计。关于RGB到灰度值的公式,选择的是最简单的:
GRAY(灰度) = (R+G+B)/3

3. 实现一个测试算法的Demo

好了,大体的截图选取算法思想就是这样了。下面我就一步一步来把这个算法实现的Demo,通过Visual C++ 2005 Express和Visual C# 2005 Express开发工具做出来。

首先是做封装DirectShow的Win32 DLL。

Microsoft那里下载的Visual C++ 2005 Express并没有附带Platform SDK,Windows的最新Platform SDK可以直接从Microsoft的MSDN那里下载到(我选择的是Windows 2003 Server RC2)。按照MSDN上所述的,搭建起Visual C++ 2005 Express内的Platform SDK设置后就可以开发Win32的程序了。

下面是封装的DLL的程序代码:

// MovieGrabberDLL.cpp : 定义 DLL 应用程序的入口点。
//
 
#include "stdafx.h"
#include "MovieGrabberDLL.h"
BOOL APIENTRY DllMain( HANDLE hModule,
                       DWORD ul_reason_for_call,
                       LPVOID lpReserved
                        )
...{
     switch (ul_reason_for_call)
     ...{
     case DLL_PROCESS_ATTACH:
     case DLL_THREAD_ATTACH:
     case DLL_THREAD_DETACH:
     case DLL_PROCESS_DETACH:
         break;
     }
    return TRUE;
}
 
/**//**
* 抓取视频的截图
* @param aPath 视频文件的位置
* @return
*/
MOVIEGRABBERDLL_API HANDLE GrabMovieFrame(LPCTSTR aPath,int grayColorCountThreshold)
...{
     HRESULT hr;
     // 定义IMediaDet接口实例
     CComPtr< IMediaDet > pDet;
     hr = pDet.CoCreateInstance(__uuidof(MediaDet));
     if (FAILED(hr))
         return NULL;
 
     // 将影片文件名转换成BSTR类型
     CComBSTR openBSTR(aPath);
     // 设置IMediaDet接口的文件关联
     hr = pDet->put_Filename(openBSTR);
     if (FAILED(hr))
         return NULL;
 
     // 从影片中检索视频流和音频流
     long lStreams;
     hr = pDet->get_OutputStreams(&lStreams);
     if (FAILED(hr))
         return NULL;
 
     // 取出影片的视频流,因为帧的信息是保存在视频流中的
     bool bFound = false;
     for (int i=0; i     ...{
         GUID major_type;
         hr = pDet->put_CurrentStream(i);
         if (SUCCEEDED(hr))
              hr = pDet->get_StreamType(&major_type);
         if (FAILED(hr))
              break;
         if (major_type == MEDIATYPE_Video)
         ...{
              bFound = true;
              break;
         }
     }
     if (!bFound)
         return NULL;
 
     long width = 0, height = 0; // 存储位图的宽和高(单位:象素)
     AM_MEDIA_TYPE mt;
     hr = pDet->get_StreamMediaType(&mt);
     if (SUCCEEDED(hr))
     ...{
         if ((mt.formattype == FORMAT_VideoInfo) &&
              (mt.cbFormat >= sizeof(VIDEOINFOHEADER)))
         ...{
              // 得到VIDEOINFOHEADER结构指针,VIDEOINFOHEADER结构包含一些与视频
              // 有关的信息,其中含有BITMAPINFORHEADER结构
              VIDEOINFOHEADER *pVih = (VIDEOINFOHEADER*)(mt.pbFormat);
              width = pVih->bmiHeader.biWidth;
              height = pVih->bmiHeader.biHeight;
              if(height < 0 ) height *= -1;
         }
         else
              hr = VFW_E_INVALIDMEDIATYPE;
         MyFreeMediaType(mt); // 释放AM_MEDIA_TYPE结构
     }
     if (FAILED(hr))
         return NULL;
     return (HANDLE)LookforSuitableMovieFrame(pDet,width,height,grayColorCountThreshold);
}
 
/**//**
* 写入合适视频帧截图到磁盘
* @param pDet DirectShow的IMediaDet接口
* @param width 截图的长
* @param height 截图的宽
* @param grayColorCountThreshold 灰度颜色个数阈值
*/
HBITMAP LookforSuitableMovieFrame(IMediaDet* pDet,int width,int height,int grayColorCountThreshold)
...{
     long size;
     double time = 0.0;
     double totaltime;
 
     // 获取整个视频的时间长度
     pDet->get_StreamLength(&totaltime);
     // 每1秒,截取视频截图
     for(time=0.0; time      ...{
         // 获取bitmap的buffer大小
         HRESULT hr = pDet->GetBitmapBits(time, &size, 0, width, height);
         if (SUCCEEDED(hr))
         ...{
              char *pBuffer = new char[size];
              if (!pBuffer)
                   return NULL;
              hr = pDet->GetBitmapBits(time, 0, pBuffer, width, height);
              if (SUCCEEDED(hr))
              ...{
                   // Find the address of the start of the image data.
                   void *pData = pBuffer + sizeof(BITMAPINFOHEADER);
                   if(IsSuitableMovieFrame(pData,width,height,grayColorCountThreshold))
                   ...{
                       BITMAPINFOHEADER *bmih = (BITMAPINFOHEADER*)pBuffer;
                       HDC hdcDest = GetDC(0);
 
                       BITMAPINFO bmi;
                       ZeroMemory(&bmi, sizeof(BITMAPINFO));
                       CopyMemory(&(bmi.bmiHeader), bmih, sizeof(BITMAPINFOHEADER));
                       HBITMAP hBitmap = CreateDIBitmap(hdcDest, bmih, CBM_INIT,
                            pData, &bmi, DIB_RGB_COLORS);
 
                       delete[] pBuffer;
                       return hBitmap;
                   }
              }
              delete[] pBuffer;
         }
     }
     return NULL;
}
 
/**//**
* 检测一个位图是否是合适的视频截图
* @param pData 位图的点色数组
* @param width 位图的长
* @param height 位图的宽
* @param grayColorCountThreshold 灰度颜色个数阈值
*/
bool IsSuitableMovieFrame(void* pData,int width,int height,int grayColorCountThreshold)
...{
     BYTE* pixels = (BYTE*)pData;
     int numGrayColor = 0;
     int size = width*height;
     int graycolor;
     int i,j;
     int* appearedcolors = new int[grayColorCountThreshold];
     int numappearedcolors = 0;
     for(i=0;i     ...{
         // 计算当前点的灰度值,采用的RGB转换灰度的公式是GRAY = (R+G+B)/3
         graycolor = (pixels[i*3] +pixels[i*3+1]+pixels[i*3+2])/3;
         // 检测该灰度色是否之前出现过
         for(j=0;j         ...{
              if(graycolor == appearedcolors[j])
                   break;
         }
         if(j == numappearedcolors) // 如果是新的灰度颜色值
         ...{
              numappearedcolors++;
              if(numappearedcolors == grayColorCountThreshold) // 如果灰度颜色个数满足阈值
              ...{
                   delete[] appearedcolors;
                   return true; // 返回信息,合适
              }
              else
              ...{
                   appearedcolors[j] = graycolor; // 记录下该灰度颜色值
              }
         }
     }
     delete[] appearedcolors;
     return false; // 返回信息,不合适
}
 
void MyFreeMediaType(AM_MEDIA_TYPE& mt)
...{
     if(mt.cbFormat != 0)
     ...{
         CoTaskMemFree((PVOID)mt.pbFormat);
         mt.cbFormat = 0;
     }
 
     if (mt.pUnk != NULL)
     ...{
         mt.pUnk->Release();
         mt.pUnk = NULL;
     }
}

#p#

其中,为了使用DirectShow,我们除了需要Windows.h外,还需要dshow.h,qedit.h和atlbase.h三个头文件,最后再加上一个strmiids.lib库文件。

接下来就开启Visual C# 2005 Express来做一个简单的界面程序。为什么选择C#来开发界面程序呢?原因很简单,因为C#很简单,同时Visual C# 2005 Express这样免费又功能强大的工具可以使用。

界面程序很简单,就下面这个样子:

C# 部分调用前面写好的DLL函数,实现DDshow的抓图。 MovieGrabberDLL.cs源代码如下:

using System;
using System.Collections.Generic;
using System.Text;
using System.Runtime.InteropServices;
using System.Drawing;
 
namespace MovieGrabberCSharp
...{
    class MovieGrabberDLL
    ...{
        [DllImport("MovieGrabberDLL.dll")]
        public static extern int fnMovieGrabberDLL();
 
        [DllImport("MovieGrabberDLL.dll")]
        public static extern IntPtr GrabMovieFrame(string aPath, int grayColorCountThreshold);
 
        public static Bitmap GrabMovieFrameBitmap(string aPath,int grayColorCountThreshold)
        ...{
            IntPtr hBitmap = GrabMovieFrame(aPath, grayColorCountThreshold);
            if(hBitmap == IntPtr.Zero)
                return null;
            return Bitmap.FromHbitmap(hBitmap);
        }
 
        public static Bitmap GrabMovieFrameBitmap(string aPath)
        ...{
            return GrabMovieFrameBitmap(aPath, 8);
        }
    }
}

窗口类MainForm.cs的源代码如下:

using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Text;
using System.Windows.Forms;
 
namespace MovieGrabberCSharp
...{
    public partial class MainForm : Form
    ...{
        public MainForm()
        ...{
            InitializeComponent();
        }
 
        private void OpenMovieFilePathButton_Click(object sender, EventArgs e)
        ...{
            OpenFileDialog dlg = new OpenFileDialog();
            if (dlg.ShowDialog() == DialogResult.OK)
            ...{
                MovieFilePathTextBox.Text = dlg.FileName;
            }
 
        }
 
        private void GrabberButton_Click(object sender, EventArgs e)
        ...{
            Bitmap bitmap = MovieGrabberDLL.GrabMovieFrameBitmap(MovieFilePathTextBox.Text);
            if (bitmap != null)
            ...{
                MessageBox.Show("抓图成功!");
                GrabberPictureBox.SizeMode = PictureBoxSizeMode.StretchImage;
                GrabberPictureBox.Image = bitmap;
                GrabberPictureBox.Invalidate();
                GrabberPictureBox.Refresh();
            }
            else
            ...{
                MessageBox.Show("失败!");
            }
        }
 
        private void ExitButton_Click(object sender, EventArgs e)
        ...{
            this.Close();
        }
    }
}

编译完成后,我们使用Windows里面的一个intro.wmv视频文件来做测试,具体路径是:C:Windowssystem32oobeimageeintro.wmv。之所以选择这个文件作为视频测试文件,因为这个视频是大家安装完成后WINXP后都会自动启动的Windows XP的介绍视频,而且这个视频的开始部分是全黑,然后渐渐变亮,再到Windows XP的动画部分。如果用Windows自带的浏览器看微缩图显示,就是下面这个结果:

可以看到,这个intro.wmv的微缩图是完全的一张黑色图片,我们并不能看到任何关于视频文件有意义的内容。

下面启动我们刚才编写的Demo视频截图工具来截一下图片,同样这个视频文件,可以看到这个的结果。

其中,程序里面默认给出的灰度颜色个数阈值是8,那么就是说,至少图片要有8个不同的颜色灰度值才会截取,而之前的全黑,全白就自然滤过了。


百度大联盟认证黄金会员Copyright© 1997- CNET Networks 版权所有。 ZDNet 是CNET Networks公司注册服务商标。
中华人民共和国电信与信息服务业务经营许可证编号:京ICP证010391号 京ICP备09041801号-159
京公网安备:1101082134