노이즈 / 디노이징

AI 이미지 및 영상 생성의 맥락에서 노이즈는 무작위 또는 준무작위 데이터를 가리킵니다. 일반적으로 가우시안(종 모양 곡선) 분포를 가진 무작위 값의 텐서이며, 디퓨전 모델에서 생성 프로세스의 시작점 역할을 합니다. 디퓨전 모델은 무에서 이미지를 구성하는 법을 학습하는 대신 파괴 프로세스의 역을 학습합니다. 일관된 이미지가 노이즈 추가에 의해 점진적으로 손상되는 방식을 관찰하여 훈련된 후, 그 손상을 단계별로 역전시키는 법을 학습합니다. 완전히 노이즈가 추가된 이미지는 통계적으로 순수 무작위 노이즈와 구별할 수 없으며, 완전히 디노이징된 이미지는 일관된 시각 출력입니다.

디노이징은 훈련된 디퓨전 모델이 이 초기 노이즈를 의미 있는 이미지나 영상 프레임으로 변환하는 반복적 프로세스입니다. 추론의 각 단계에서, 모델은 그 단계에서 추가된 노이즈가 무엇이었는지 예측하고 그것을 빼내며, 혼돈으로부터 점진적으로 일관된 이미지를 해결해 나갑니다. 디노이징 단계의 수는 핵심 매개변수입니다. 더 많은 단계는 일반적으로 더 높은 품질과 더 일관된 결과를 만들어 내지만 계산하는 데 더 오래 걸립니다. 가이던스 메커니즘(예: 분류기-프리 가이던스)은 텍스트 프롬프트나 참조 이미지가 디노이징 궤적을 조종할 수 있게 하여, 출력을 원하는 피사체나 스타일로 끌어당깁니다.

AI 생성에서 노이즈의 개념은 신호 처리와 사진의 오랜 역사에 기반을 두고 있으며, 노이즈는 신호나 이미지에서 원치 않는 무작위 변동을 의미합니다. 필름 그레인, 디지털 카메라의 센서 노이즈, 오디오 히스는 모두 전통적 의미에서 노이즈의 형태입니다. AI에서 노이즈는 제거되어야 할 것에서 생성의 원재료 자체로 용도가 변경되었습니다. 이는 디퓨전 모델 패러다임을 탄생시킨 심오한 개념적 역전입니다.

생성형 AI를 넘어, 디노이징은 전통적 이미지 및 영상 처리에서도 여전히 중요합니다. DaVinci Resolve, Topaz Video AI, Neat Video와 같은 도구에서 발견되는 AI 기반 디노이징 도구는 훈련된 신경망을 사용하여 푸티지에서 센서 노이즈, 필름 그레인, 압축 아티팩트를 제거합니다. 이 도구들은 많은 예제에 걸쳐 노이즈가 어떻게 보이는지 학습하고 진짜 디테일을 보존하면서 이미지에서 그것을 빼내며, 어려운 자료에서 전통적 시간적, 공간적 필터링 접근 방식을 훨씬 능가합니다.