프롬프트 실패 사례 모음 #1

AI로 영상을 만들다 보면 가장 많이 듣는 말이 있습니다.

"프롬프트만 잘 쓰면 원하는 결과가 나온다."

하지만 실제로는 그렇지 않았습니다. 수많은 영상을 만들면서 가장 많은 시간을 쓴 건 새로운 장면을 만드는 일이 아니라, AI가 프롬프트를 제대로 이해하도록 수정하는 작업이었습니다.

이번 글에서는 실제 제작 과정에서 겪었던 실패 사례 몇 가지를 정리해 보려고 합니다.

1. "인물은 가만히"라고 했는데 계속 움직인다

전경에 서 있는 캐릭터는 움직이지 않고, 카메라만 빠르게 이동하는 장면을 만들고 싶었습니다.

그래서 "The character remains completely still."이라는 문장을 넣었지만, 결과에서는 캐릭터가 함께 떠오르거나 카메라를 따라 움직이는 경우가 계속 발생했습니다.

문장을 하나 추가하는 것만으로는 부족했습니다.

인물의 상태를 먼저 설명하고, 그다음 카메라의 움직임을 순서대로 작성했을 때 훨씬 안정적인 결과를 얻을 수 있었습니다.

AI는 단순히 내용을 읽는 것이 아니라, 어떤 순서로 정보를 받는지도 중요하게 반영하는 것 같았습니다.

2. 카메라만 움직이라고 했는데 인물이 날아간다

높은 곳에서 도시를 내려다보는 장면을 만들기 위해 카메라가 빠르게 상승하는 연출을 요청했습니다. 하지만 결과는 예상과 달랐습니다. 카메라는 그대로 있고, 인물만 하늘로 떠오르거나 함께 상승하는 영상이 반복해서 생성되었습니다.

'Camera moves upward'라는 표현만으로는 AI가 카메라와 피사체를 명확히 구분하지 못하는 경우가 많았습니다.

결국 프롬프트를 수정해 인물은 완전히 정지한 상태임을 먼저 명시하고, 카메라의 이동 경로를 단계적으로 설명하는 방식으로 바꾸자 원하는 결과에 가까워졌습니다.

3. 애니메이션을 만들고 싶은데 계속 실사처럼 변한다

처음에는 애니메이션 스타일 이미지를 사용했음에도 영상으로 생성하면 점점 피부 질감이 사실적으로 변하거나 영화 같은 분위기가 강해지는 문제가 있었습니다.

단순히 "anime style"이라는 키워드만으로는 부족했습니다.

선화, 셀 셰이딩, 2D animation, hand-drawn look, stylized rendering처럼 원하는 표현 방식을 반복해서 강조하고, 실사 느낌을 유도하는 표현은 최대한 제거하면서 스타일이 훨씬 안정적으로 유지되었습니다.

4. 많이 쓰는 것보다 덜 쓰는 게 나을 때도 있었다

처음에는 원하는 결과를 한번에 얻기 위해 프롬프트를 길게 작성했습니다.

하지만 문장이 길어질수록 일부 요소는 사라지고, 예상하지 못한 부분이 강조되는 경우가 많았습니다.

그래서 중요한 요소만 남기고 불필요한 수식어를 줄여보았습니다.

오히려 핵심 정보만 남긴 프롬프트가 더 안정적인 결과를 만들어 주는 경우가 많았습니다.

5. 부정문이 생각보다 안 통한다

수많은 영상을 생성하면서 의외였던 점 중 하나는, "하지 마"라는 지시가 생각보다 잘 통하지 않는다는 것이었습니다.

처음에는 원하지 않는 요소가 나타나면 단순히 부정문을 추가하면 해결될 것이라고 생각했습니다. 예를 들어 캐릭터가 움직이지 않기를 원할 때는 "The character does not move."와 같은 문장을 넣었고, 비가 내리지 않는 장면을 만들고 싶을 때는 "No rain."이라는 표현을 사용했습니다.

하지만 결과는 기대와 달랐습니다. 캐릭터는 여전히 움직였고, 원하지 않았던 요소도 종종 그대로 등장했습니다. 처음에는 모델의 성능 문제라고 생각했지만, 여러 프롬프트를 비교하며 테스트해 보니 다른 패턴이 보였습니다.

부정문으로 '하지 말 것'을 나열하는 것보다, AI가 최종적으로 어떤 장면을 만들어야 하는지를 긍정적으로 설명하는 편이 훨씬 안정적인 결과를 얻을 수 있었습니다.

예를 들어,

• The character does not move.

보다

• The character stands perfectly still, maintaining the exact same pose throughout the entire shot.

처럼 원하는 상태를 구체적으로 설명했을 때 인물의 움직임이 훨씬 줄어드는 경우가 많았습니다.

물론 모든 모델이 동일하게 동작하는 것은 아니지만, 적어도 제가 여러 영상을 제작하며 반복적으로 확인한 패턴 중 하나였습니다. 이후에는 부정문을 추가하기보다 원하는 결과를 구체적으로 묘사하는 방식으로 프롬프트를 작성했고, 시행착오를 줄이는 데 많은 도움이 되었습니다.

---

앞으로도 제작 과정에서 겪는 다양한 실패 사례와 수정 과정을 계속 기록해 보려고 합니다. 누군가에게는 시행착오를 줄이는 작은 참고 자료가 되었으면 좋겠습니다.