Metode komputerisasi untuk Pencocokan Gambar dalam Foto, Lukisan, Sketsa

Metode komputerisasi untuk Pencocokan Gambar dalam Foto, Lukisan, Menciptakan Sketsa

Jurnalsecience - Komputer dapat meniru kemampuan manusia untuk menemukan gambar-gambar visual yang mirip, seperti foto-foto air mancur di musim panas dan di musim dingin, atau foto dan lukisan dari katedral yang sama, dengan menggunakan teknik yang menganalisa keunikan gambar, kata peneliti di Carnegie Mellon University School of Computer Science.

Tim peneliti, yang dipimpin oleh Alexei Efros, profesor ilmu komputer dan robotika, dan Abhinav Gupta, asisten peneliti profesor robotika, menemukan bahwa teknik mereka sangat sederhana dilakukan baik pada sejumlah tugas visual yang biasanya komputer tunggul, termasuk sketsa pencocokan mobil dengan foto-foto mobil.

Tim dari Institut Robotika dan Departemen Ilmu Komputer akan mempresentasikan temuannya pada "data-driven keunikan" pada 14 Desember di SIGGRAPH Asia, konferensi  komputer grafis dan teknik interaktif di Hong Kong.

Sebagian besar metode pencocokan komputerisasi untuk gambar - berbeda dengan pencarian gambar berdasarkan kata kunci - fokus pada kesamaan dalam bentuk, warna dan komposisi. Bahwa pendekatan telah terbukti efektif untuk menemukan gambar yang tepat sesuai atau sangat dekat dan aplikasi yang sukses diaktifkan seperti Google Goggles.

Tapi metode-metode bisa gagal total jika diterapkan di domain yang berbeda - foto yang diambil di musim yang berbeda atau di bawah kondisi pencahayaan yang berbeda, atau dalam media yang berbeda, seperti foto, lukisan warna atau hitam-putih sketsa.

"Bahasa lukisan berbeda dari bahasa foto," jelas Efros. "Kebanyakan metode komputer latch ke bahasa, bukan pada apa yang dikatakan."

Satu masalah, kata Gupta, adalah bahwa banyak gambar memiliki elemen yang kuat, seperti langit yang dipenuhi awan, yang mungkin memiliki kesamaan superfisial terhadap gambar lainnya, tapi benar-benar hanya mengalihkan perhatian dari apa yang membuat gambar menarik untuk orang. Dia dan rekan-rekannya hipotesis bahwa itu adalah bukan aspek yang unik dari suatu gambar, dalam kaitannya dengan gambar lain yang dianalisis, yang membedakannya dan itu adalah elemen-elemen yang harus digunakan untuk mencocokkan dengan gambar yang sama.

Pada tingkat piksel, foto patung taman di musim panas atau musim gugur akan terlihat sangat berbeda dari patung yang sama difoto di musim dingin, kata Abhinav Shrivastava, yang memiliki gelar mahasiswa master di bidang robotika dan penulis pertama dari makalah penelitian. Tetapi aspek unik dari patung akan terbawa dari gambar musim panas ke musim dingin gambar, atau dari sebuah foto warna sketsa.

Memperkirakan Keunikan bukanlah tugas yang sederhana. Tim menghitung Keunikan didasarkan pada data yang sangat besar set gambar yang dipilih secara acak. Fitur yang unik adalah mereka yang membedakan satu gambar terbaik dari sisa gambar acak. Dalam sebuah foto seseorang di depan Arc de Triomphe di Paris, misalnya, orang tersebut mungkin adalah sama dengan orang dalam foto lain dan dengan demikian akan diberikan sedikit berat dalam menghitung keunikan. Arc itu sendiri, bagaimanapun, akan diberikan bobot yang lebih besar karena beberapa foto termasuk hal seperti itu.

"Kami tidak mengharapkan pendekatan ini untuk bekerja serta hal itu," diakui Efros. "Kami tidak tahu apakah ini adalah sesuatu seperti bagaimana manusia membandingkan gambar, tapi pendekatan terbaik yang kita telah mampu mencapai."

Selain pencarian gambar otomatis, teknik ini memiliki aplikasi untuk rephotography komputasi - kombinasi dari foto-foto bersejarah dengan zaman modern foto yang diambil dari perspektif yang sama. Dengan menggunakan teknik baru, dimungkinkan dalam banyak kasus untuk menghilangkan kebutuhan untuk rephotography dengan hanya mencocokkan foto bersejarah dengan foto online yang ada yang sesuai dengan perspektif. Demikian pula, teknik ini dapat dikombinasikan dengan GPS koleksi besar-tag foto untuk menentukan lokasi di mana sebuah lukisan tertentu.

Teknik ini juga dapat digunakan untuk merakit sebuah "visual memex" - sebuah kumpulan data yang menggali kesamaan visual dan konteks dari serangkaian foto. Sebagai contoh, para peneliti download 200 gambar Fountain Medici di Paris - lukisan, foto-foto bersejarah dan snapshot terbaru dari berbagai musim dan diambil dari berbagai jarak dan sudut - dan dirakit mereka ke dalam grafik, serta video YouTube yang menunjukkan jalan tertentu melalui data.

Pekerjaan di masa depan termasuk menggunakan teknik ini untuk meningkatkan deteksi obyek untuk visi komputer dan menyelidiki cara untuk mempercepat proses pencocokan komputasi intensif.

Tomasz Malisiewicz, Ph.D. mantan mahasiswa yang sekarang menjadi rekan post-doktoral di MIT, juga adalah anggota tim peneliti. Karya ini didukung oleh Center for Computational Thinking, Kantor Naval Research dan Google.

Sumber: Carnegie Mellon University.