AI 이미지 및 영상 생성, 특히 디퓨전 모델의 맥락에서 노이즈는 이미지 데이터에 추가되거나 존재하는 무작위 통계적 변동을 가리키며, 수학적으로 조정되지 않은 아날로그 텔레비전의 시각적 스태틱이나 노출 부족 필름의 그레인과 유사합니다. 디퓨전 모델에서 노이즈는 생성 프로세스에서 특정하고 중심적인 역할을 합니다. 모델은 노이즈 추가 프로세스를 역전시키도록 훈련되어, 깨끗하고 인식 가능한 이미지가 나타날 때까지 노이즈가 있는 이미지에서 노이즈를 점진적으로 제거하는 법을 학습합니다. 생성은 순수 노이즈, 즉 타겟 이미지와 동일한 차원을 가진 무작위 값의 텐서로 시작하며, 모델은 텍스트 프롬프트나 기타 컨디셔닝 신호에 의해 안내되어 일련의 단계에 걸쳐 이 노이즈의 구성 요소를 반복적으로 예측하고 제거하여, 완전한 무작위성으로 시작한 것에서 구조적이고 일관된 이미지가 만들어집니다. 이 디노이징 프로세스의 어느 지점에서든 노이즈 레벨은 얼마나 많은 노이즈가 남아 있는지를 나타내며, 초기 단계는 최대 노이즈이고 최종 단계는 완전히 해결된 이미지입니다.

노이즈 레벨은 여러 맥락에서 사용자가 제어할 수 있는 매개변수가 됩니다. 순수 노이즈가 아닌 시작 이미지로부터 생성할 때(이미지-투-이미지 생성), 노이즈 레벨(흔히 디노이징 강도 또는 img2img 강도라고 함)은 디노이징 프로세스가 시작되기 전에 입력 이미지에 얼마나 많은 노이즈가 추가되는지를 제어합니다. 높은 노이즈 레벨은 더 많은 노이즈가 추가됨을 의미하며, 재구성에서 모델이 원본 이미지에서 벗어날 더 많은 자유를 부여합니다. 본질적으로 입력의 더 강한 변환입니다. 낮은 노이즈 레벨은 더 적은 노이즈가 추가됨을 의미하며, 모델의 출력을 원본 이미지에 가깝게 유지합니다. 더 보수적인 변환입니다. 이 매개변수는 이미지-투-이미지 워크플로의 기본입니다. 입력 이미지의 구조 보존과 모델이 프롬프트에 따라 재해석할 수 있도록 허용하는 것 사이의 균형을 결정합니다. 매우 낮은 노이즈 레벨에서는 출력이 입력의 구성과 구조를 밀접하게 반영합니다. 매우 높은 노이즈 레벨에서는 출력이 입력을 느슨한 참조로만 사용하며, 프롬프트 가이던스가 우선시됩니다.

노이즈 레벨은 생성 프로세스의 단계 수와도 상호작용합니다. 더 많은 디노이징 단계는 모델이 노이즈를 제거할 때 더 미세하고 점진적인 조정을 할 수 있게 하며, 일반적으로 더 높은 품질과 더 상세한 출력을 만들어 냅니다. 그러나 더 많은 계산 시간이 대가입니다. 더 적은 단계는 미세한 디테일이 부족하거나 거친 디노이징 해상도로 인한 가시적 아티팩트를 보일 수 있는 더 빠른 결과를 만들어 냅니다. 노이즈 스케줄, 즉 모델이 디노이징 단계에 걸쳐 높은 노이즈에서 낮은 노이즈로 얼마나 빠르게 또는 점진적으로 전환하는지는 생성 품질과 스타일에 영향을 미치는 또 다른 매개변수이며, 생성을 위해 선택된 샘플러 알고리즘에 의해 관리됩니다. 이 맥락에서 노이즈와 노이즈 레벨을 이해하면 사용자가 특정 생성 동작이 왜 발생하는지 이해하는 데 도움이 됩니다. 높은 강도에서 이미지-투-이미지 변환이 왜 입력에서 그렇게 극적으로 벗어나는지, 더 많은 단계가 왜 미세한 디테일을 향상시키는 경향이 있는지, 동일한 프롬프트가 무작위 시작 노이즈(시드)에 따라 의미 있게 다른 결과를 만들어 낼 수 있는지를 이해할 수 있습니다.