Deforum

Deforum은 AI가 생성하는 영상에서 키프레임 기반 애니메이션과 카메라 무빙 제어를 가능하게 하는 Stable Diffusion용 오픈소스 확장 도구입니다. 점진적으로 조정된 파라미터로 각 프레임을 개별 생성하여 Stable Diffusion 이미지 생성 파이프라인으로부터 애니메이션 시퀀스를 만들어 냅니다.

Deforum은 각 영상 프레임을 별도의 Stable Diffusion 이미지로 생성하면서, 사용자가 정의한 키프레임 스케줄에 따라 줌, 회전, 이동, 프롬프트 변화를 포함한 점진적 변환을 프레임 사이에 적용합니다. 그 결과 프레임들이 하나의 영상 시퀀스로 컴파일됩니다.

프롬프트 스케줄링은 생성을 안내하는 텍스트 프롬프트가 애니메이션 전반의 지정된 키프레임 지점에서 변화할 수 있게 하여, 이미지 콘텐츠가 시퀀스 진행 동안 서로 다른 피사체나 미학 사이를 변모하도록 합니다.

특정 용도에 대해서는 그렇습니다. Deforum은 전용 영상 모델이 제공하지 않는 애니메이션 스케줄에 대한 세밀한 파라미터 수준의 제어를 제공하며, 특유의 흐르고 변모하는 미감은 독특하고 실험적·예술적 맥락에서 가치를 인정받습니다. Stable Diffusion 생태계 내에서 작업하는 크리에이터들에게 여전히 유의미합니다.

2D 모드는 변환을 평면 이미지 조작으로 적용하여 생성된 프레임을 직접 줌, 회전, 또는 이동합니다. 3D 모드는 심도 추정을 사용해 원근감이 올바른 카메라 무빙 시뮬레이션을 적용함으로써 3차원 공간 속을 이동하는 보다 설득력 있는 감각을 만들어 냅니다.

Deforum은 카메라가 생성적 시각 형상의 안팎이나 주위를 이동하는 것처럼 보이는 가운데 이미지 콘텐츠가 끊임없이 변화하고 이동하는 특유의 흐르고 변모하는 애니메이션 스타일을 만들어 냅니다. 이 미감은 초기 디퓨전 모델 시대에 AI 영상 아트의 한 장르로 인식되었습니다.

Deforum은 그래픽 사용자 인터페이스를 갖춘 Automatic1111 또는 다른 Stable Diffusion 인터페이스를 통해 접근할 수 있어 직접적인 코드 작업의 필요성을 줄여 줍니다. 다만 프롬프트 스케줄링과 커스텀 파라미터의 고급 활용에는 기저의 파라미터 구조에 대한 친숙함이 도움이 됩니다.

네. Deforum의 영상 입력 모드는 기존 영상을 프레임 초기화로 사용하여 원본 푸티지 위에 Stable Diffusion 양식화를 프레임 단위로 적용합니다. 이는 선택한 모델과 프롬프트의 미감으로 렌더링된 원본 영상 콘텐츠의 양식화된 버전을 만들어 냅니다.