OpenCV 1.1を導入&SURFを動画で

いつのまにかOpenCVが1.1を公開してたので導入しました。

で、dandelion’s logさんと同じくSURFアルゴリズムを動画でテストしてみました。
参考:dandelion’s log OpenCV 1.1:SURFを動画で試してみた

OpenCV 1.1をインストールすると
C:Program FilesOpenCVsamplescfind_obj.cpp
に静止画用のSURFアルゴリズムがあるのでこれをカメラからの動画に対応させました。

surf

かなりの性能!指で隠れてるのにちゃんと認識してます。
速度もちょっとカクカクしますがまぁまぁリアルタイムです。
SIFTなみの性能でこのスピードはすごい。

以下、ソースコード。

書き換えたのはmain関数のみです。
それ以外の関数はfind_obj.cppのものをそのまま使ってください。


int main(int argc, char** argv)
{
	int key;
    const char* object_filename = argc == 3 ? argv[1] : "box.jpg";

	CvMemStorage* storage;

    cvNamedWindow("Object", 1);
    cvNamedWindow("Object Correspond", 1);

    static CvScalar colors[] =
    {
        {{0,0,255}},
        {{0,128,255}},
        {{0,255,255}},
        {{0,255,0}},
        {{255,128,0}},
        {{255,255,0}},
        {{255,0,0}},
        {{255,0,255}},
        {{255,255,255}}
    };

    IplImage* object = cvLoadImage( object_filename, CV_LOAD_IMAGE_GRAYSCALE );
	IplImage* captureImage = NULL;
    IplImage* image = NULL;

	//カメラキャプチャ
	CvCapture* capture = NULL;
	if (argc == 1 || (argc == 2 && strlen (argv[1]) == 1 && isdigit (argv[1][0])))
		capture = cvCreateCameraCapture (argc == 2 ? argv[1][0] - '0' : 0);

	//画像サイズを取得
	captureImage = cvQueryFrame(capture);
	image = cvCreateImage(cvGetSize(captureImage), 8, 1);

    if( !object )
    {
        fprintf( stderr, "Can not load %sn"
            "Usage: find_obj []n",
            object_filename);
        exit(-1);
    }

    IplImage* object_color = cvCreateImage(cvGetSize(object), 8, 3);
    cvCvtColor( object, object_color, CV_GRAY2BGR );

    CvSeq *objectKeypoints = 0, *objectDescriptors = 0;
    CvSeq *imageKeypoints = 0, *imageDescriptors = 0;
    int i;
    CvSURFParams params = cvSURFParams(500, 1);

	double tt;
	IplImage* correspond = cvCreateImage( cvSize(image->width, object->height+image->height), 8, 1 );
	CvPoint src_corners[4] = {{0,0}, {object->width,0}, {object->width, object->height}, {0, object->height}};
	CvPoint dst_corners[4];

	while(1){
		tt = (double)cvGetTickCount();

		storage = cvCreateMemStorage(0);

		captureImage = cvQueryFrame(capture);
		cvCvtColor(captureImage, image, CV_BGR2GRAY);

		cvExtractSURF( object, 0, &objectKeypoints, &objectDescriptors, storage, params );
		printf("Object Descriptors: %dn", objectDescriptors->total);
		cvExtractSURF( image, 0, &imageKeypoints, &imageDescriptors, storage, params );
		printf("Image Descriptors: %dn", imageDescriptors->total);
		tt = (double)cvGetTickCount() - tt;
		printf( "Extraction time = %gmsn", tt/(cvGetTickFrequency()*1000.));
		cvSetImageROI( correspond, cvRect( 0, 0, object->width, object->height ) );
		cvCopy( object, correspond );
		cvSetImageROI( correspond, cvRect( 0, object->height, correspond->width, correspond->height ) );
		cvCopy( image, correspond );
		cvResetImageROI( correspond );
		if( locatePlanarObject( objectKeypoints, objectDescriptors, imageKeypoints,
			imageDescriptors, src_corners, dst_corners ))
		{
			for( i = 0; i < 4; i++ )
			{
				CvPoint r1 = dst_corners[i%4];
				CvPoint r2 = dst_corners[(i+1)%4];
				cvLine( correspond, cvPoint(r1.x, r1.y+object->height ),
					cvPoint(r2.x, r2.y+object->height ), colors[8] );
			}
		}
		vector <int>ptpairs;
		findPairs( objectKeypoints, objectDescriptors, imageKeypoints, imageDescriptors, ptpairs );
		for( i = 0; i < (int)ptpairs.size(); i += 2 )
		{
			CvSURFPoint* r1 = (CvSURFPoint*)cvGetSeqElem( objectKeypoints, ptpairs[i] );
			CvSURFPoint* r2 = (CvSURFPoint*)cvGetSeqElem( imageKeypoints, ptpairs[i+1] );
			cvLine( correspond, cvPointFrom32f(r1->pt),
				cvPoint(cvRound(r2->pt.x), cvRound(r2->pt.y+object->height)), colors[8] );
		}

		cvShowImage( "Object Correspond", correspond );
		for( i = 0; i < objectKeypoints->total; i++ )
		{
			CvSURFPoint* r = (CvSURFPoint*)cvGetSeqElem( objectKeypoints, i );
			CvPoint center;
			int radius;
			center.x = cvRound(r->pt.x);
			center.y = cvRound(r->pt.y);
			radius = cvRound(r->size*1.2/9.*2);
			cvCircle( object_color, center, radius, colors[0], 1, 8, 0 );
		}
		cvShowImage( "Object", object_color );

		cvReleaseMemStorage(&storage);

		key = cvWaitKey(1);
		if (key == 0x1b)
		{
			break;
		}
	}

	cvReleaseCapture (&capture);
    cvDestroyWindow("Object");
    cvDestroyWindow("Object SURF");
    cvDestroyWindow("Object Correspond");

    return 0;
}

–追記—
SURFを使ってAR的なことをしてる人がいた。
これいいアイディアだなー。

–さらに追記–
vector <int>ptpairs;

vector ptpairs;
になっていたので修正しました。
<>はそのままだとタグ扱いになって表示されないのが原因。
うっかりミスでした、すみません。

2 comments on “OpenCV 1.1を導入&SURFを動画で”

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です