Apa itu aplikasi lip sync AI?
Aplikasi lip sync AI mencocokkan mulut seseorang atau sebuah karakter dengan trek audio. Anda beri video dan suaranya, lalu model membentuk ulang bibir frame demi frame. Hasilnya, pembicara terlihat memang sedang mengucapkan kata-kata yang baru. Kategorinya terbagi dua. Ada alat yang berangkat dari rekaman asli untuk membetulkan sinkronisasi orang sungguhan. Ada juga alat avatar yang membuat wajah berbicara hanya dari satu foto atau ilustrasi. Bagi kreator di Indonesia, keduanya sama-sama sering dipakai: klip TikTok yang butuh versi bahasa lain, atau presenter avatar untuk promosi toko online.
Kualitasnya ditentukan oleh akurasi dan kealamian. Sinkronisasi yang cuma kena bentuk besarnya tapi melewatkan gerak halus mulut akan langsung terasa janggal. Avatar yang bibirnya bergerak sementara sisa wajahnya membeku juga terlihat mati. Alat yang kuat menjaga mulutnya meyakinkan sekaligus wajah di sekitarnya tetap wajar. Karena itu pilihan yang tepat bergantung pada bahan Anda: rekaman orang sungguhan, atau karakter hasil generate.
Lip sync AI vs dubbing manual dan syuting ulang
Mencocokkan mulut dengan audio baru secara tradisional berarti mengulang syuting baris itu. Pilihan lainnya animasi manual dan rotoscoping di tahap pasca produksi. Keduanya menuntut waktu dan keahlian khusus. Lip sync AI memadatkannya jadi satu unggahan. Anda sediakan rekaman dan audionya, lalu mulutnya disesuaikan dalam hitungan menit. Kalau ada revisi, audionya tinggal ditukar, bukan jadwal syutingnya yang diatur ulang.
Yang Anda tukar adalah kontrol presisi dengan kecepatan. Close-up di film besar tetap lebih baik digarap manual atau diulang syutingnya. Untuk dubbing, lokalisasi, avatar presenter jualan, dan perbaikan cepat pada satu baris yang berubah setelah syuting, lip sync AI sudah sangat mendekati. Pengiriman versi banyak bahasa pun jadi masuk akal untuk dikerjakan. Banyak tim sekarang memakai sinkronisasi AI untuk pekerjaan harian, lalu menyisakan tenaga manual untuk shot andalan.
Cara kerja aplikasi lip sync AI
Model lip sync menganalisis audio untuk mengenali bunyi yang diucapkan. Dari situ model memperkirakan bentuk mulut yang menghasilkan bunyi tersebut, lalu membentuk ulang bibir di setiap frame video agar cocok. Rahang, gigi, dan wajah di sekitarnya dijaga tetap konsisten, jadi sambungan hasil suntingannya tidak kentara. Model yang berbasis rekaman menyunting video asli langsung di tempatnya. Model avatar bekerja sebaliknya: dari satu gambar diam dan satu trek audio, ia membangun wajah yang berbicara, lengkap dengan ekspresi dan gerak kepala, bukan cuma bibirnya.
Di dalam Morphic, Lip Sync tinggal di satu workspace video multi-model. Masukkan klipnya, buat atau suarakan ulang audio yang ingin diucapkan, lalu terapkan Lip Sync supaya mulutnya cocok. Karena model suara dan terjemahan ada di tempat yang sama, satu klip bisa disuarakan ulang ke bahasa lain tanpa kehilangan pembawaannya, baru kemudian mulutnya disinkronkan. Potongan akhirnya dirapikan di Compose, timeline bawaan Morphic, tanpa perlu ekspor ke aplikasi lip sync terpisah.