Youtube'un Video Ýndeksleme Sistemini Anlamak Ýlk Aþama

[sonbhulut]

merhaba arkadaþlar, sürekli olarak ünlem, eþleþen,dünya engeli nasýl geçeriz diye sorular gelip duruyor bunun için adým adým makaleleri toparlýyorum ki video üzerinde ne tarz iþlemler yaparsak Youtube bizim videomuzu anlayamaz bunu görelim.

bu ilk adýmda anlamamýz gereken en önemli þeyler keyframe mantýðýdýr.

Kaynak : Sevgili Misafir. Üye olmadan linkleri göremezsin Üye olmak için týklayýnýz

Video indeksleme, video‘nun içeriðini ifade eden etiketleme iþlemidir. Elde edilen etiketlerle video’daki anlamlý veriler sýnýflandýrýlabilmektedir. Böylece bir kelime, ses veya görüntü ile ilgili video’nun araþtýrýlýp bulunmasý kolaylýk kazanmaktadýr. Elimizdeki birçok video’nun özetlenmesi de video indekslenmesi ile gerçekleþtirilmektedir.

Video indeksleme, günümüzde tam anlamýyla gerçekleþtirilemese de daha verimli sonuçlar elde edilebilmesi için çeþitli yöntemler geliþtirilmektedir. Ayrýca video indekslemenin geliþimi, görüntü ve ses algoritmalarýnýn geliþimiyle doðru orantýlýdýr.Dünyada her yýl kaðýt, film, optik ve manyetik ortamlarda saklanmak üzere yaklaþýk olarak 1.5 milyar GB bilgi üretilmektedir. Bilginin video’lar ile kaydýnýn tutulmasý ise ilerleyen teknolojiyle beraber gün geçtikçe yaygýnlaþmakta ve bu yaygýnlaþma istenilen bilgiye ulaþmayý, arama uzayýný geniþlettiðinden dolayý zora sokmaktadýr. Bu noktada ihtiyaçlarý karþýlamak için video indeksleme (etiketleme) ve özetleme sistemleri uzman sistemler olarak geliþtirilmiþlerdir. Siyasi bir lider hakkýnda televizyonda geçen haberleri toplayacak olan bir gazeteci düþünelim. Bu gazeteci, televizyon kanallarýnýn haber bültenleri arþivlerinde uzun vakitler geçirerek istediði video’larý veya video’larýn parçalarýný seçerek çok zaman kaybedecektir. Oysa bu iþi otomatik olarak video indeksleme sistemlerinin yapmasý ciddi manada iþi kolaylaþtýrýp zaman kazancý saðlayacaktýr.Günümüzde video indeksleme sistemleri tam anlamýyla istenileni saðlayamasa da, ses ve görüntü algoritmalarýnýn geliþmesiyle doðru orantýlý olarak geliþmektedir. Video’da yer alan nesne, ses, þekil, renk ve hareketlerin algýlanmasýnda hareketli nesne takibi (moving object tracking), desen tanýma (pattern recognition), yüz tanýma (face recognition), þekil tanýma (shape recognition) gibi görüntü iþleme algoritmalarýnýn yanýnda konuþma tanýma (speech recognition), konuþmacý tanýma (speaker recognition) gibi ses üzerine kurulu algoritmalar kullanýlmaktadýr. Ayrýca etiketleme anlamlý video parçalarýnýn yazýya dönüþtürülmesi olduðu için konuþmalarda da konuþmanýn metine çevrilmesi (speech to text conversion) iþlemine ihtiyaç duyulmaktadýr.

Video Yapýsý?
Video indeksleme mantýðýný anlayabilmek için öncelikle video yapýsýný bilmek gerekir. Video’nun temel yapýtaþý frame(çerçeve)’lerdir. Frame’ler iki boyutlu resimlerdir. Görsel olarak benzer frame’ler shot(fotoðraf, kare)’larý oluþturur. Benzer shot’lar birleþerek sahneleri oluþturur. Sahneler de birleþerek video’yu oluþturmaktadýr.

Video Sorgulama
Etiketlere ayýrmaya çalýþtýðýmýz video’nun baþlangýç ve bitiþ noktalarýnýn belirlenmesinde, belirli bir özellik þartý saðlayan kýsýmlarýnýn sorgulanmasýnda durumu sisteme anlatmakta zorluk yaþamaktayýz. Bazý sorgulamalar þu þekilde olabilir:• Özellik kombinasyonlarýyla: Yukarý doðru hareket ve %30 mavi• Renk bileþenleriyle: %80 kýrmýzý, %10 yeþil, %10 mavi• Nesne etkileþimli: Gün batýmýný seyreden bir kýz• Özel bir nesne adýyla: Bill Clinton, Taç Mahal• Nesne ve olay: Bayram, patlama

Video Özetleme
Video’larýn iþlenmesi zor ve kapladýklarý yerlerin büyük olmasýndan dolayý saklanmasý arþivlerde özetlenerek yapýlýr. Video özetleme en basit anlamýyla video’daki olaylarý anlatan bir metin, video’yu ifade eden genel bir resim veya key-frame(shot içerisinde yer alan frame dizisizinden seçilen anahtar çerçeve)’lerden oluþan frame’ler dizisidir. Alttaki þekildeki iki örnekte de shot’larýn içindeki olaylar tek bir resimde ifade edilmiþtir. Ancak bu yöntem büyük video’lar için anlamlý olmayacaktýr. Çünkü büyük video’larda shot’lardan çok sahneler önem kazanmakta ve video birbirinden baðýmsýz sahneler içerdiðinden dolayý tek resime baþarýlý bir þekilde indirgenemeyecektir.

Video Ýndekslemede Kullanýlan Özellikler
Video’lar içlerinde bulunan frame’lerin özelliklerine göre indekslenirler. Bu frame’lerin veya eðer key-frame’ler dikkate alýnýyorsa key-frame’lerin özellikleri þunlardýr:• Renk bilgileri- Renk uzayý- Renk bileþenleri- Baskýn renk• Doku bilgileri• Þekil bilgileri• Kamera/nesne hareket bilgileri• Ses bilgileri• Yazý bilgileriSistemde yapýlacak olan sorguya göre hangi özelliklerin dikkate alýncaðý belirlenir.

Key-Frame Analizi
Key-frame shot içindeki frame dizisinde o diziyi en iyi temsil eden frame olarak belirlenir. Çerçeve dizisinin anahtar çerçevesidir. Ardýþýk frame’ler arasýndaki uzanlýk belirli bir eþik deðerini aþýyorsa bu frame’ler de baþlangýç veya bitiþ frame’leridir. Bu ölçüm için iki metot vardýr. Birincisi renk histogramlarýna bakýlarak belirgin fark aranýr. Diðer metot ise korelasyondur. Bu metotta frame’ler önce bloklara bölünür. i. frame’in j. bloðu ile i+1. frame’in j. bloðu arasýndaki korelasyon hesaplanýr. Tüm bloklar için bu iþlem yapýlýr ve ortalama deðeri bulunur. Eðer ortalamasý belirli bir eþik deðerinden küçükse (bu az iliþkiyi/farklýlýðý gösterir) burada bir shot sýnýrý vardýr denir.

Sevgili Misafir. Üye olmadan linkleri göremezsin Üye olmak için týklayýnýz

Þekilde üç frame’in gri seviyede renk histogramlarý verilmiþtir. Üçüncü frame’deki farklýlýk kolay bir þekilde görülmektedir.

Uygulamalar

Video’nun Metine Çevrilmesi:
• Öncelikle video içerisinde yer alan kiþiler tespit edilmeye çalýþýlmaktadýr. Bunu yüz için geometrik özelliklerle ve vücut bölgesi için renk daðýlýmý özellikleriyle yapmaktadýr.• Haraket bilgilerinin tutulduðu veri tabaný sayesinde bir karar aðacý oluþturularak kiþinin yaptýðý hareketler bulunmaya çalýþýlmaktadýr.

Shot Gruplama:
Karþýlýklý diyalog halinde geçen konuþmalarda örnek olarak birinci kiþi için video indekslemesi yapýlýyorsa birinci kiþinin bulunduðu karelerin(shot) bir gruba, ikinci kiþinin bulunduðu karelerin bir gruba alýnmasý ile yapýlýr. Birbirine yakýn olan karaler ayný grup içine alýnmaktadýr.Shot’lar arasýnda benzerlik olup olmadýðý yine bir eþik deðeriyle karþýlaþtýrýlmaktadýr.

Haber Bülteni Analizi:
Shot’larýn sýnýflandýrýlmasý ve haber sýnýflarýnýn belirlenmesi amaçlanmýþtýr. Her sýnýf için bir frame seçilmiþtir.Bir test frame’ini bir kategoriye yerleþtireceðimizi düþünürsek, öncelikle frame’in renk özelliðine bakarýz. Hava durumlarýnýn ve ekonomi haberlerinin renk durumunun yoðun olduðunu varsayarsak bu frame’in hava durumu mu yoksa ekonomi haberi mi olduðunu renk histogramý ile kolayca anlarýz. Eðer ikisinin de olmadýðý çýkarsa ayýrt edici baþka özellikler ararýz. Þunlar örnek olarak verilebilir:• Shot’ta yer alan sesin türü (konuþma, sessizlik, müzik, gürültü, konuþma ve gürültü, konuþma ve müzik)• Shot’taki hareketin yoðunluðu (az, orta, çok)• Shot’ýn süresi (kýsa, orta, uzun)• Shot’ýn key-frame’indeki yüz sayýsý• Kamera yakýnlýðý (çok yakýn, orta, uzak, bilinmiyor)• Ekrandaki satýr sayýsý• Yazýnýn ekranýn ortasýnda olup olmadýðý

Bu özellikler kullanýlarak bir karar aðacý oluþturulur, haber sýnýrlarý bulunmuþ olur ve shot sýnýflarýnda hatalar varsa düzeltilir.Sonuç olarak, büyüyen görsel bilginin verimli kullanýlabilirliði açýsýndan video indeksleme ve özetleme sistemleri büyük öneme sahiptir ve gün geçtikçe de dünyadaki artan bilgiyle paralel olarak önemini artýrmaktadýr. Ancak video indeksleme sistemleri þu an için uygulanabilir olmasa da üzerinde araþtýrýlmakta ve ilerlenmektedir.Video indeksleme sistemlerinin geliþimleri için ses ve görüntü üzerine yapýlan algoritmalarýnda çok geliþmiþ olmasý gerekmektedir. Bunun dýþýnda görüntü ve ses gürültüsü, kamera hareketi, ýþýk durumu, konum belirleme gibi faktörler de sistemin çalýþmasýný olumsuz etkileyecek faktörlerdir.

[Zeki KAYNAK]

benim gibi çalýþanlar arkadaþlar için önemli bir kaynak ellerine saðlýk @Sevgili Misafir. Üye olmadan linkleri göremezsin Üye olmak için týklayýnýz.. Þuan için ancak baþlýklara bir göz gezdirecek zamaným var ancak haftasonu detaylý inceleyeceðim.. tekrar saðol

[sonbhulut]

benim gibi çalýþanlar arkadaþlar için önemli bir kaynak ellerine saðlýk @Sevgili Misafir. Üye olmadan linkleri göremezsin Üye olmak için týklayýnýz.. Þuan için ancak baþlýklara bir göz gezdirecek zamaným var ancak haftasonu detaylý inceleyeceðim.. tekrar saðol

rica ederim daha detaylý anlatýmlarý kendim de yapacaðým inþallah.