[連結]Final Report & Slide 下載

Slide(rar):

http://0rz.tw/665qO

Report(pdf):

http://0rz.tw/185oO

寒假快樂:)

[報告]大綱

Cast Indexing for Talk Show Videos by Face, Cloth, and Background
0.Abstract
1.Introduction
2.Video & Frame Processing (done)
　　　　2-1.Shot Detection
　　　　2-2.Face Detection
　　　　2-3.Key Frame/Face Selection
3.Features (done)
　　　　3-1.Face Feature
　　　　3-2.Cloth Feature
　　　　3-3.Background Feature
4.Clustering (done)
5.Experimental Results
6.Conclusion
7.Reference

[進度]測資處理進度

11/20: face_info, face_desc, face_desc_reduce, cloth_desc, background_desc (done)
11/21: face_info, face_desc, face_desc_reduce, cloth_desc, background_desc (done)
11/27: 正在跑face_info(需要13 hrs)
12/01: face_info, face_desc, face_desc_reduce, cloth_desc, background_desc (done)
12/02: face_info, face_desc, face_desc_reduce, cloth_desc, background_desc (done)
12/03: face_info, face_desc, face_desc_reduce, cloth_desc, background_desc (done)

[進度] Clustering (Cont.)

以臉為單位

只分成"有1~2face"跟"沒有或太多face"兩群

對"有1~2face"這群做K_means

feature = shot + cloth

嘗試了k = 15~27

其中只有k = 20,25兩組結果不錯

其它都至少會有兩個以上cluster會有混雜的情形


然後大概看一下，很少有"兩個人的相同shot"被分在不同cluster的情形(還是有)

接著可能要把cloth feature換用face feature試試看？


2008的倒數第二天了...

[進度] Clustering

目前由FindAllFace找出一集中所有shot的featrure(跑一次好像要13小時~"~)

以及找出每個shot中代表臉/最對稱臉的cloth feature


由於直接對所有shot做K means效果好像沒那麼好

所以採取"先分類再K means"的方式

並打算以cloth feature作為輔助

目前都先以12/01的<康熙來了>前500個shot做測試


第一種分類方式是由face的scale來分成三群(<25,>25,no face/too many faces)

但是結果並沒有很好，而且有可能造成相同鏡頭但是臉scale有差的被分到不同群

總之結果沒有想像中的好


第二種分類方式是由face的數量來分成三群(1,2,0/>3)

第一群的結果一直都沒有很好，僅僅在k=17~20之間會得到"還可以接受"的結果(至少都有兩cluster會發生錯誤)，猜測是因為有很多只抓到一張臉的情況實際上都不只一張

第二群的結果還不錯，k=5,6,9,10都可以得到不錯的結果(一個左右的cluster錯誤)，但k>=9會發生單個cluster內容是差不多shot沒錯，但可能出現有兩個cluster的shot其實是應該擺在一起的狀況


本來要用衣服做輔助，將衣服feature接在shot feature後面再跑K_means

但是在第一種分類方式，臉數不同會造成freature長度不相同，所以沒辦法

第二種分類方式仍不確定


昨天有想到個想法是說，把現在"以shot為單位"的做法

改成"以face為單位"，就是feature = shot feature + face feature + cloth feature

然後有detect到的face全部去做K_means

相同shot的話shot feature會相同，所以理論上會被分在一起

但是相同shot中不同人，也會因face feature + cloth feature而有影響力

不知道可行度如何，待實驗


應該要再想想跟實驗看看吧...

還有要想跨年要去哪邊 :)

[進度] K-means

Gina想到說用K-means來對shot做clustering

把相同攝影機/鏡頭角度的shot都找出來(相同角度找到的應該都會是同一個人)


http://www.mathworks.com/matlabcentral/fileexchange/19344

從這個網站找到別人寫好的matlab code，直接拿來用

嘗試把一整集每個shot取一張key frame的feature points(16 bin*3 colorspace*4 block)

丟進去做clustering

出來的結果(base on 我手邊幾個frame用觀察得到的ground truth，沒有全部)

在K = 30的時候其實已經算準了(btw，我容忍度頗高，看文字檔覺得差不多了，可是還是等看實際shot再說)


應該再配合上利用shot中face的scale先簡單做個分類

再拿來做clustering，會得到更加準確的結果


Merry Christmas :)

一個shot中代表的臉

找可以用來代表這個shot的臉

之前已經利用face detection找出各frame的臉，並利用臉中心的距離分辨出哪些是屬於同一個人的臉

把出現次數過少的當作是error排除，只留下出現次數多(超過一半frame數)的臉

接著要從這些臉中找出"一張"代表用的臉

既然是要代表用的，那應該找"盡量正面"的臉

正面=>臉的對稱性高

所以把detect到的face分為左右兩半做比較


嘗試了兩個做法：

一是比對左右臉的histogram，另一是把臉灰階化之後對稱的pixel相減

用在只有一個人臉部特寫，有臉部轉動的shot中

效果都不是很好~"~


想別的方法中