뭐 어때 제작기 — AI 뮤직비디오

01

시작

노래를 만들어놨고 그에 맞는 스토리로 뮤직비디오를 만들건데... 내가 생각한 구성 적어둘테니 정리해줘봐.
— 펄린, 첫 요청

시작은 수노로 만든 노래 한 곡과 메모 몇 줄이었다. 사람 많은 서울 지하철, 여섯 명, 가사에 맞춘 각자의 일상, 마지막엔 한강 다리 위로 나가며 밝아지는 열차. 이 메모가 콘티 세 번을 거치며 '2호선에서 웹툰을 보는 사람의 휴대폰 속 이야기가 노래 전체'라는 액자 구조가 됐다.

02

쌓인 순서

위에서부터 한 층씩. 실패 전환 완성

10/31 15:00
전환
노래 한 곡과 메모 몇 줄
지하철·여섯 명·분할 화면·한강 다리. 이게 전부였다.
15:41 → 16:00
전환
콘티가 세 번 자람
분할 화면이 '웹툰 칸'이 되고, 칸 수 = 부르는 사람 수라는 규칙이 생기고, 7번째 인물 '독자'와 366화 예고 반전이 붙었다.
16:12
실패
캐릭터 1차, 전원 반려
"너무 못 생겼고 늙게 나왔어.... ." 12장, 33크레딧.
19:00
완성
일곱 명 확정
톤 시험 1장씩 거쳐 2차 시트에서 7명 확정. 같은 얼굴을 끝까지 기준 이미지로 썼다.
19:40
실패
음원 결정을 뒤집음
AI 조수가 '조회수형'으로 B 버전을 골랐는데, 가사를 붙여 보니 콘티는 처음부터 A 기준이었다.
21:06
완성
v1 · 모션 웹툰 4분 21초
AI 스틸 61장 + 편집 코드로 하룻밤에 한 편.
21:10
실패
"아니 전체 영상으로 만들 내 의도를 이해 못했니?"
원한 건 처음부터 '진짜 움직이는 영상'이었다. 스틸 61장은 버리지 않고 영상의 첫 장면으로 다시 썼다.
21:35
전환
"정직하게 딱 칸을 나눠놨네"
반듯한 격자를 버리고 사선 칸·날아드는 칸·튕기는 칸으로 다시 짰다.
23:53
완성
v2 · 영상 클립 50컷
두 서비스에 나눠 돌림. 싼 쪽은 느리고, 빠른 쪽은 비쌌다.
11/1 00:00
전환
"한국 지하철에 대한 공부 필요"
2호선 좌석 배치와 임산부석을 조사하다가 결말이 생겼다. 독자는 초기 임산부, 마지막 컷은 '내일의 주인공을 위한 자리입니다'.
02:35
실패
새벽, 그림 9장이 70분씩 멈춤
같은 플랫폼 안 다른 모델과 내 챗GPT로 우회. 챗GPT는 1분이면 됐다.
09:45
실패
렌더가 세 번 죽음
클립이 100개를 넘자 편집 프로그램이 메모리로 다운. 다섯 토막으로 나눠 뽑고 소리는 따로 합쳤다.
15:00
실패
"임산부석은 분홍색이 한 자리야"
AI가 벤치 전체를 분홍으로 칠했다. 숫자로 다시 말했다.
16:36
완성
v3.3 최종본
그림으로 남은 컷 0개. 4분 27초.
11/1 밤
실패
유튜브 공개, 그리고 쇼츠 소리 사고
쇼츠 12편 전부 소리가 1초뿐이었다. 전부 내리고 고쳐서 다시 올렸다.

03

비포 · 애프터

"현실적으로" 해 달랬더니

사람이 말하는 '현실적'은 결점이 아니라 '화보 같지 않은 호감형 평범함'이었다. AI한테는 결점 대신 톤을 말해야 한다.

같은 지시, 남자만 주연급

여자 인물은 평범하게 나와도 남자 인물은 미남으로 튀는 경향이 있었다. 남자 배역은 평범한 개성을 하나하나 써 줘야 한다.

임산부석은 한 자리

고증은 단어가 아니라 개수와 폭으로 말해야 한다. 처음 조사 때 '한 자리만'을 프롬프트에 안 박은 게 원인이었다.

반듯한 칸 → 웹툰 칸

웹툰의 기본 문법은 격자가 아니라 사선·겹침·튀어나옴이었다. 이건 크레딧 0, 편집 코드만 바꿨다.

04

실패 노트

이번 작업에서 남긴 실패 13개. 전부 다음 작업의 체크리스트가 됐어요.

01

"현실적으로"가 늙고 거칠게 나옴

왜: 극사실 키워드(documentary, pores, dark circles…)로 지시
이렇게: '시트콤 조연 배우' 톤 문구로 바꾸고 1~2장 시험 후 대량 생성
다음엔: 대량 생성 전에 꼭 1~2장. 1차 실패 수업료 33크레딧

02

남자 인물만 배우급 미남

왜: 같은 지시에도 남자 배역은 주연급으로 튐
이렇게: 작은 눈·둥근 볼 같은 평범한 특징 + 'not a handsome actor'
다음엔: 남자 배역은 개성을 직접 쓴다

03

AI 조수가 음원 버전을 잘못 고름

왜: 길이·태그만 보고 가사 구조를 대조하지 않음
이렇게: 펄린이 두 버전 가사를 붙여 넣자 바로 잡힘 → A로 뒤집음
다음엔: AI에게 맡겨도 근거 확인은 사람이 한 번

04

수노가 [Intro]·[Harmonica Solo]를 무시

왜: 가사 지시가 음원에 다 반영되지 않음
이렇게: 음원을 받아쓰기(Whisper)로 단어 단위 실측 → 큐시트를 다시 맞춤
다음엔: 콘티 시간은 음원 받은 뒤 실측으로

05

'추천은 하는데…'를 승인으로 오해

왜: 질문으로 끝난 답을 OK로 받아들임
이렇게: 모션 웹툰 v1의 스틸 61장을 영상 첫 장면으로 재활용해 전체 영상으로 전환
다음엔: 방식이 바뀌는 결정은 버튼으로 한 번 더 확인

06

새벽에 그림이 70분씩 시간 초과

왜: 생성 서비스 대기열 정체
이렇게: 같은 플랫폼의 다른 모델 + 내 챗GPT에 동시에 걸고 먼저 온 것 사용
다음엔: 마감 날엔 처음 써 보는 경로를 메인으로 두지 않는다

07

영상 11개 중 9개 '알 수 없는 오류'

왜: 영상 모델 쪽 장애
이렇게: 같은 서비스 안의 다른 영상 모델로 바로 재생성 → 9개 전부 성공
다음엔: 한 모델에 올인하지 않는다

08

노을 컷 준석이 두 명

왜: 여러 인물 레퍼런스를 넣으면 사람이 복제되기도 함
이렇게: 'ONLY ONE PERSON'으로 재생성
다음엔: 여러 사람 컷은 머릿수부터 센다

09

이어지는 컷에서 옷이 바뀜

왜: 소파 다이브 컷과 누운 컷을 따로 생성
이렇게: 앞 영상의 한 장면을 참고 이미지로 넣어 다시 생성
다음엔: 이어지는 컷은 앞 컷 마지막 장면을 레퍼런스로

10

렌더가 세 번 다운

왜: 영상 클립 약 100개, 한 화면에 영상 8개 동시 재생
이렇게: 다섯 토막 렌더 → 이어 붙이기, 소리는 따로 합성
다음엔: 클립 많은 영상은 처음부터 토막으로

11

임산부석이 분홍 벤치

왜: '한 자리만'을 프롬프트에 안 씀
이렇게: '분홍은 딱 한 자리'를 숫자로 다시 지시
다음엔: 고증은 개수·폭까지 숫자로

12

웹툰 칸이 반듯한 격자

왜: 칸을 표처럼 나눔
이렇게: 사선 칸·날아드는 칸·튕김·카메라 이동
다음엔: 웹툰 문법은 사선·겹침·튀어나옴

13

쇼츠 12편 소리가 1초

왜: 화면·소리를 한 번에 이어 붙이다 소리가 깨짐. 화면만 보고 올림
이렇게: 화면·소리 따로 뽑아 합치고, 12편 소리 길이 = 영상 길이 전수 확인 후 재업로드
다음엔: 올리기 전에 소리까지 끝까지

05

장면들

06

도구와 비용

도구	어디에	비용
Suno	작사·작곡 (자작곡)	유료 플랜
Claude Code · AI 조수 클랄라	콘티 정리, 결정 근거, 편집 코드, 생성 대기열 관리, 제작 일지	구독
Higgsfield · GPT Image 2.5	캐릭터 시트 26장, 웹툰 스틸 61장	약 140크레딧
Higgsfield · Kling 3.0	빨리 필요한 영상 클립	약 120크레딧
뉴테이크 · Kling O3·O1 / Nano Banana Pro 광고	영상 클립 대부분, 그림 편집	월 정액 크레딧
ChatGPT 이미지	급할 때 인물 없는 컷·그림 편집 (장당 약 1분)	구독
Remotion	웹툰 칸·이름 카드·노래방 가사·댓글 팝업 편집	무료(코드)
Whisper	노래 받아쓰기 → 단어 단위 큐시트 (35초)	무료
rembg	예린 91프레임 누끼	무료
ffmpeg	효과음 합성, 토막 렌더 이어 붙이기, 소리 크기 맞춤	무료

[광고] 갓진주는 뉴테이크 꿈나무 크리에이터로 활동하며 리워드를 받아요. 뉴테이크 써 보기 ↗

07

따라 해 보기

이 작업을 다시 한다면 이 순서로 해요. 그대로 복사해 쓰셔도 돼요.

노래 먼저, 콘티는 '규칙'으로

장면을 나열하기 전에 영상 전체의 규칙부터 정했다. 규칙이 있으면 컷이 100개가 돼도 흔들리지 않는다.

규칙 1. 들리는 목소리의 주인이 칸에 나온다
규칙 2. 합창은 칸 수 = 부르는 사람 수
규칙 3. 현실은 핸드헬드, 웹툰은 삼각대 고정
규칙 4. 개그 순간엔 프리즈 캡션·카메라 응시·효과음 글자

캐릭터는 1~2장 시험하고 대량으로

'현실적으로'를 결점 목록으로 쓰면 10살은 늙는다. 우리가 확정한 꼬리 문구는 이렇다.

likable everyday face like a supporting actor in a Korean sitcom, looks youthful for age
Avoid: aged look, wrinkles, haggard, heavy dark circles, model or K-pop idol glamour

음원을 받으면 받아쓰기부터
수노는 가사 지시를 다 지키지 않는다. Whisper로 단어마다 시간을 뽑아 큐시트를 만들고, 그 시간표에 컷을 얹었다.
스틸 먼저, 영상은 그 스틸에서
확정 얼굴로 스틸을 뽑고, 그 스틸을 영상의 첫 장면으로 넣으면 컷이 바뀌어도 얼굴이 유지된다. 이어지는 컷은 앞 영상의 마지막 장면을 참고 이미지로.
대기열은 두 군데에
싸고 느린 엔진에 먼저 넣고, 늦게 들어간 컷만 빠른 엔진에도 중복으로. 먼저 오는 쪽을 쓴다. 급한 그림 편집은 두 서비스에 동시에.
고증은 숫자로 말하기
'임산부석'이라고만 하면 분홍 벤치가 나온다. 실제로 고친 지시는 이랬다.
```
그대로 두고 좌석만 — 분홍은 딱 한 자리, 나머지는 2호선 남색 좌석
```
올리기 전에 소리 길이 재기
썸네일만 보고 올렸다가 쇼츠 12편을 다시 올렸다. 소리 길이와 영상 길이가 같은지 숫자로 확인한다.
```
ffprobe -v error -show_entries stream=codec_type,duration -of csv=p=0 내영상.mp4
```

만든 사람 갓진주 · 김트 · 클랄라(AI 조수)

뭐 어때

시작

쌓인 순서

노래 한 곡과 메모 몇 줄

콘티가 세 번 자람

캐릭터 1차, 전원 반려

일곱 명 확정

음원 결정을 뒤집음

v1 · 모션 웹툰 4분 21초

"아니 전체 영상으로 만들 내 의도를 이해 못했니?"

"정직하게 딱 칸을 나눠놨네"

v2 · 영상 클립 50컷

"한국 지하철에 대한 공부 필요"

새벽, 그림 9장이 70분씩 멈춤

렌더가 세 번 죽음

"임산부석은 분홍색이 한 자리야"

v3.3 최종본

유튜브 공개, 그리고 쇼츠 소리 사고

비포 · 애프터

"현실적으로" 해 달랬더니

같은 지시, 남자만 주연급

임산부석은 한 자리

반듯한 칸 → 웹툰 칸

실패 노트

장면들

도구와 비용

따라 해 보기

노래 먼저, 콘티는 '규칙'으로

캐릭터는 1~2장 시험하고 대량으로

음원을 받으면 받아쓰기부터

스틸 먼저, 영상은 그 스틸에서

대기열은 두 군데에

고증은 숫자로 말하기

올리기 전에 소리 길이 재기

이런 거, 같이 만들어요

튜토리얼은 영상으로 먼저 나와요