GAN 의 기본 원칙은 대항적 교육을 통해 잠재적 공간에서 실제 데이터로의 비선형 매핑을 학습하는 것입니다. 일반적으로 잠재적 공간과 의미 속성 간의 관계는 알 수 없습니다. 예를 들어, 잠재적 인 코드는 생성 된 헤어 스타일 속성을 어떻게 결정합니까? 대상 속성과 대상이 아닌 속성을 어떻게 구별합니까? 따라서 잠재적 코드 추정 및 의미 편집은 잠재적 공간과 의미 속성의 알 수 없는 관계를 해결하는 열쇠입니다. 여기서 연구원들은 두 모듈의 원리를 상세히 설명했다. < P > 먼저 입력 이미지를 사전 훈련된 오차 네트워크로 보내 잠재적 코드 추정을 수행한 다음 생성된 추정치를 생성기에 보냅니다. 원래 입력 이미지에 대한 예비 추측이 완료되었습니다. 이 이미지의 경우 입력 이미지에 대해 동일한 피쳐 추출을 수행하는 동안 미리 훈련된 이미지 분류기를 피쳐 추출에 적용할 수 있습니다. < P > 다음으로 피쳐 공간에서 그라데이션 감소를 수행하고 피쳐 벡터 L2 손실을 최소화하고 잠재 코드 추정 (빨간색 화살표) 을 업데이트합니다. 픽셀 공간에서 직접 L2 최적화를 사용하면 좋지 않은 로컬 최적에 빠질 수 있기 때문에 픽셀 손실에 그라데이션 감소를 사용하는 방법보다 의미 피쳐 벡터에서 그라데이션 감소를 수행하는 것이 더 유리합니다. < P > 잠재적 코드 추정 생성 < P > 의미 편집이란 다른 모든 정보를 유지하면서 대상 속성이 있는 이미지를 편집하는 것을 말합니다. 여기서 대상 속성은 머리카락입니다.
편집하기 전에 잠재적 공간에서 이진 속성을 분리할 수 있는 특정 경계를 찾아야 합니다. 각 경계는 머리카락 속성에 해당합니다. 헤어 스타일, 색상, 헤어 라인 높이, 얼굴 머리카락 등
모든 이진 속성의 경우 동일한 측면의 모든 샘플이 동일한 속성을 갖도록 잠재 공간에 초평면이 있으므로 각 속성을 담당하는 독립 선형 SVM 을 훈련시킬 수 있습니다. 따라서 StyleGAN 의 512 차원 잠재 공간에서 초평면을 찾아야 합니다.
하이퍼평면을 찾으려면 쌍을 이루는 잠재적 코드 데이터와 이 속성의 점수가 필요합니다. 최종 연구원들은 대형 데이터 세트 (CelebA) 에서 훈련된 사전 훈련 분류기를 사용하여 머리카락 속성을 얻기로 했다. 1 개의 속성이 일치하는 1 개의 분류자는 약 2k 개의 잠재적 코드와 점수 그룹을 생성합니다. 이러한 페어링의 잠재적 코드는 머리카락 속성에서 독립적인 선형 SVM 을 훈련시켜 검증 평가를 통해 정확도가 8% 에 이릅니다. < P > 각 입력 이미지에 대해 먼저 스타일 간 잠재 공간에서 특정 위치를 찾은 다음 특정 방향으로 이동하고 의미 편집을 수행합니다. < P > 위 그림에서 연구원들은 스타일 간 공간에서 젊은 레오나르도 디카프리오 (Leonardo DiCaprio) 이미지의 잠수코드를 발견하고 앞머리 초평면에 직각인 방향을 그려 그 방향으로 잠수코드의 위치를 이동했다. 결국 앞머리 상태가 다른 레오나르도를 만들었다. 다음은 최종 동적 렌더링입니다. < P > 조건부 경계에 대해 연구원들은 많은 속성이 서로 결합되어 있다고 말합니다. 예를 들어 헤어라인의 높낮이는 나이와 관련이 있으며, 헤어스타일이 긴 것은 보통 여성이고, 남성의 수염과 귀밑머리는 더욱 두드러진다. 따라서 대상 속성을 관련 속성과 분리하는 것이 중요합니다. < P > 이 때문에 초평면 경계를 찾아 얼굴 속성을 편집하는 방법에는 몇 가지 단점이 있습니다. 한 속성을 사용하여 얼굴을 편집할 때 일부 다른 속성도 종속성으로 인해 변경될 수 있습니다. 또한 이 모델은 트랜스젠더 얼굴 교환을 완료할 수 없습니다. 연구원들은 아마도 더 많은 분류기와 특수한 데이터 세트 훈련을 통해 이러한 문제를 해결할 수 있을 것이라고 말했다. < P > 마지막으로, MarsLUL 은 자신이 이 대머리생성기를 만들었다고 고백했다. 이는 탈모를 막기 위해 합리적인 휴식을 취하는 것을 경계하기 위한 것이다! 저는 완전한 동영상 링크를 드리며, 모두가 숱이 많은 절차유인원이 되기를 바랍니다. (뇌봉망 뇌봉망)
빌비리 주소: /video/BV1ot4y197MG? From=search& Seid = 64653268836445242
/swlh/hairstyle-transfer-semantic-editing-gan-latent-code