ByteDance Bernini: yapay zeka video düzenleme ve prompt rehberi

ByteDance Bernini: yapay zeka video düzenleme ve prompt rehberi

ByteDance'in açık kaynaklı yapay zeka video modeli Bernini için eksiksiz rehber: ne işe yaradığı, teknik özellikleri, promptu nasıl okuduğu, temiz düzenlemelerin arkasındaki tutarlılık kilidi ve göreve göre prompt yapısı.

Bernini neler yapabilir? Düzenleme, özneden videoya ve üretim

YetenekNe yaparEn iyi kullanım alanı
Tutarlılık kilitli düzenlemeBir klipte öğe ekler, kaldırır ya da değiştirirken dokunulmayan alanları sabit tutarNesne ekleme/kaldırma, temiz rötuşlar
Referans güdümlü düzenlemeBir referans görseli veya ikinci bir klibi kaynak videoya uygularKıyafet değişimi, ürün veya ekran ekleme
Özneden videoyaReferans görsellerden bir kişiyi veya karakteri yeni bir sahneye yerleştirirAvatarlar, karakter işleri, seri içerik
Hareket düzenlemeBir öznenin klip içinde ne yaptığını değiştirirYeniden çekim yapmadan bir eylemi yeniden konumlandırma
Birleşik görsel + videoTek bir model metinden görsele, görsel düzenlemeye, metinden videoya ve video düzenlemeye yayılırTek bir prompt diliyle sabit kareler ve hareket

Tutarlılık kilitli düzenleme

Planlayıcı, render motoru boyamadan önce anlamı netleştirdiği için Bernini, değiştirmenizi istemediğiniz klip bölümlerini sabit tutar. Önce neyin değişeceğini, sonra neyin sabit kalacağını belirtin; dokunulmayan alanlar videonun tamamında titremeden ve kaymadan sabit kalır. Bu, modelin en güçlü düzenleme özelliğidir.

Referans güdümlü düzenleme

Bir referans görsel ya da ikinci bir klip verin, Bernini bunu kaynak videoya uygular. Tek bir sabit kareden hareket eden bir öznenin üzerindeki kıyafeti değiştirin ya da orijinal görüntüyü izleyecek şekilde ekrana bir ürün veya video ekleyin. Kaynak klibin geri kalanı değişikliğin etrafında bozulmadan kalır.

Özneden videoya

Referans görselleri yükleyin ve prompt içinde her birine sırayla atıfta bulunun (image0, image1), hangi öznenin ya da özelliğin hangi görselden geldiğini belirtin. Bernini, özneyi hareket ederken yüzü tanınabilir kalacak şekilde yeni bir sahneye taşır; bu, ByteDance'in özneden videoya değerlendirmelerindeki en öne çıkan sonucudur.

Hareket düzenleme

Mevcut bir klipte bir öznenin ne yaptığını değiştirin, örneğin bir kişi eğilmek yerine çömelsin, kimliği, kadrajı, ışığı ve arka planı sabit kalırken. Model, çekimi yeniden yapmadan bir eylemi yeniden bloklar.

Birleşik görsel + video

Tek bir model metinden görsele, görsel düzenlemeye, metinden videoya ve video düzenlemeye yayılır; böylece bir sabit kare ile hareketli bir düzenleme aynı prompt dilinden gelir. Onu talimatlandırmayı bir kez öğrenir, her iki formatta da uygularsınız.

Bernini kullanım alanları

Çektiğiniz görüntüyü temizleyin

Yeniden çekim yapmadan bir dikkat dağıtıcıyı kaldırın, eksik bir öğe ekleyin ya da bir detayı gerçek bir klipte yeniden tasarlayın. Tutarlılık kilidi, çekimin geri kalanını aynı tutar.

Öncesi ve sonrası: sahnenin geri kalanı değişmeden bir göl kenarı klibinden kaldırılan bir dikkat dağıtıcı

Tekrar eden bir karakter oluşturun

Bölümler, reklamlar veya bir avatar serisi boyunca aynı yüzü koruyun. Özneden videoya, bir kişinin kimliğini birkaç referans görselden yeni sahnelere taşır.

Üç farklı sahne ve kıyafette gösterilen tutarlı yüzlü aynı karakter

Deneme kıyafeti ve ürün yerleştirme

Bir referans görselden hareket eden bir öznenin üzerindeki kıyafeti değiştirin ya da kaynak klip bozulmadan bir sahneye ürün veya ekran videosu ekleyin.

Öncesi ve sonrası: poz, ışık ve arka plan aynı kalırken bir modelin tişörtünün özel dikim bir ceketle değiştirilmesi

Bir performansı değiştirin

Yeniden çekim yapmak yerine bir çekimde eylemi yeniden bloklayın ya da öznenin hareketini ayarlayın; kimlik, kadraj ve ışık sabit kalır.

Öncesi ve sonrası: sahne, kadraj ve ışık aynı kalırken öznenin pozunun eğilmekten çömelmeye değişmesi

Bernini'ye nasıl prompt yazılır

Bernini'de kaliteyi belirleyen iki alışkanlık var.

  • Sadece bir tarif değil, bir talimat yazın. Düzenlemelerde mevcut bir klibi değiştiriyorsunuz, bu yüzden prompt bir yönergedir: neyin eklenip kaldırılacağı ya da değiştirileceği ve nerede. Üretimde (metinden videoya, metinden görsele) sahnenin tamamını her zamanki gibi tarif edersiniz.
  • Önce neyin değiştiğini, sonra neyin sabit kaldığını belirtin. Render motoru herhangi bir bölgeye dokunabilir, bu yüzden en güvenilir düzenlemeler değişikliği belirtip ardından hareket etmemesi gereken her şeyi sabitler. Bu ikinci alışkanlık, sıradaki başlıkta ele alınan tutarlılık kilididir.

Ayrıntılı ve yapılandırılmış bir talimat, kısa bir talimattan daha iyi sonuç verir. Bernini'nin planlayıcısı; boyutu, yerleşimi, malzemeleri ve yeni öğenin ışığının sahneyle nasıl eşleştiğini tek satırlık bir ifadeye güvenmek yerine ayrıntılı belirttiğinizde daha iyi çalışır.

Tutarlılık kilidi: bir şeyi düzenleyin, gerisini koruyun

Render motoru, dokunulmayan alanları iyi korur, ama yalnızca prompt onlara ne olduğunu söylerse. Kalıp, düzenlemeyi net biçimde belirtip ardından "değişmeden" ile biten, sabit kalması gereken her şeyi listelemektir. Kaldırma işlemleri de aynı şekilde çalışır: doldurulacak alanı tarif edin, ardından çevresini kilitleyin.

DüzenlemeZayıfGüçlü
Nesne eklemeVideoya bir kardan adam koyKöpeğin yanındaki orta sağ zemine üç toplu bir kardan adam ekle, havuç burun ve kömür düğmelerle, kapalı havanın ışığı ve yumuşak gölgelerle eşleşsin. Köpeği, yolu ve ağaçları değişmeden bırak.
Kıyafet değişimiGömleği değiştirDış gömleği referans görseldekiyle değiştir, gerçekçi bir drapeyle giyilmiş. Pozu, kamerayı, ışığı, arka planı ve hareketi tam olarak olduğu gibi koru.
Özneden videoyaBu referansları bir plaj videosunda kullanimage0'daki heykel, image3'teki şortla, image4'teki günbatımı bankta, müzikle hafifçe sallanıyor. image0'daki heykelin taş bedenini ve image4'teki plaj sahnesini değişmeden koru.

Kilidi atlarsanız model arka planı yeniden çizmekte serbest kalır. Buna bir cümle ayırırsanız düzenleme orijinal çekime ait gibi okunur.

Sık yapılan Bernini prompt hataları (ve düzeltme yolları)

  • Kilit yok: sabit kalacak şeyleri belirtin, yoksa düzenleme karenin geri kalanına sızar.
  • Kısa bir talimat: yeni öğeyi boyutu, yerleşimi, malzemeleri ve ışığıyla tam olarak tarif edin, üç kelimelik bir komut yerine.
  • Belirsiz referanslar: özneden videoya için her görsele sırayla atıfta bulunun (image0, image1) ve hangi özelliğin hangisinden geldiğini belirtin, "bu referansları kullan" demek yerine.
  • Kimliği kaydıran hareket düzenlemeleri: hareketi değiştirirken kişiyi, kıyafeti, konumu ve kamerayı sabitleyin ki yalnızca eylem değişsin.
  • 4K beklemek: varsayılan render, düzenleme sadakatini çözünürlükten öne koyarak 16 fps'de 480p'dir. Modeli, dokunulmayan alanları ne kadar temiz koruduğuna göre değerlendirin.

Bernini teknik özellikleri ve mimarisi

ÖzellikBernini
SağlayıcıByteDance
MimariMLLM planlayıcı (Qwen2.5-VL) + 14B DiT render motoru (Wan2.2)
ModlarMetinden görsele, görsel düzenleme, metinden videoya, video düzenleme, hareket düzenleme, referans düzenleme, özneden videoya
Çözünürlük480p (varsayılan)
Kare hızı16 fps
LisansApache 2.0, açık ağırlıklar

SSS

Bernini'den en iyi sonuçları nasıl alırım?

Değişikliği tam olarak belirtin, ardından sabit kalması gereken her şeyi açıkça kilitleyin: özne, kamera, ışık, arka plan ve gölgeler. Kısa bir ifade yerine ayrıntı yazın ve geçiş başına tek bir düzenleme yapın.

Tutarlılık kilidi nedir?

Bernini'nin düzenleme yeteneğini öne çıkaran ifade alışkanlığıdır. Düzenlemeyi tarif ettikten sonra, dokunulmayan alanları değişmeden olarak sabitlersiniz. Bernini bu alanları iyi korur, ama yalnızca prompt onlara ne olduğunu söylerse.

Özneden videoya için görselleri nasıl referans alırım?

Birkaç referans görsel verin ve prompt içinde her birine sırayla atıfta bulunun (image0, image1, image2). Hangi öznenin ya da özelliğin hangi görselden geldiğini belirtin, ardından yeni sahneyi ve hareketi tarif edin.

Bernini hangi girdileri kabul eder?

Üretim için yalnızca metin, düzenleme ve hareket düzenleme için video artı metin, referans güdümlü düzenlemeler için video artı bir referans görsel veya klip, özneden videoya için ise bir dizi referans görsel artı metin.

Bernini hangi çözünürlük ve kare hızında çıktı veriyor?

Varsayılan render ayarı 16 fps'de 480p'dir. Bu sürüm, maksimum çözünürlük yerine düzenleme sadakatini ve tutarlılığı önceliklendirir; daha yüksek ayarlar daha fazla işlem gücü karşılığında mümkündür.