성장하는 AI기술, 웹툰 창작은 어디까지 왔을까?

1. 웹툰 제작에 효과적인 AI 기술이 등장했다.

AI의 발전이 심상치 않다. 바야흐로 AI 창작 시대가 도래한 것만 같다. 2024년 말 Sora가 출시된 이후 AI 동영상 제작 접근성이 높아지며, 유튜브 및 SNS 등 다양한 커뮤니티에 수많은 영상 및 창작물들이 제작되고 있다. 예로, 트럼프와 일론 머스크가 한국의 주점에 앉아 소주를 마시며 대화하는 장면, 진돗개가 김치찌개를 요리하는 장면, 유명 만화, 게임 캐릭터를 실사화한 장면 등 유머러스하거나 신기한 영상이 우후죽순 제작되고 있다.

<그림 1> AI 제작 영상

2025년 3월부터는 ChatGPT-4o에 이미지 생성 기능이 업그레이드되면서 지브리풍 이미지 제작이 전 세계적인 유행을 일으켰고, 일주일 만에 만들어진 이미지가 약 7억 장을 넘기기도 했다. 업그레이드된 기능 덕분에 과거에는 구현하기 어려웠던 복잡한 요청이 가능해졌으며 유사한 이미지를 활용한 스타일 변환도 매우 용이해졌다. 또한, 이미지에 텍스트를 삽입하는 능력이 비약적으로 향상되면서 만화 및 웹툰 제작의 가능성을 보여주기도 했다. 특히 사용자의 그림 스타일을 유사하게 도출하는 방식은 웹툰 창작자들이 주로 사용하는 제작 툴인 클립스튜디오 내 데생인형과 좋은 시너지를 낼 수 있게 되면서 창작 효용성 증대에 기대를 걸 수 있게 되었다. 

<그림 2> 학생이 그린 캐릭터(왼쪽)와 데생 인형(가운데)을 활용하여 만들어낸 이미지(오른쪽)

<그림 3> 그림2의 캐릭터를 활용해 ChatGPT-4o로 만든 만화

이는 필자가 언급했던 AI 활용 웹툰 창작의 가장 현실적인 방법인 3D 기능을 활용하는 것에 대한 대중적인 방식이라 볼 수 있겠다(백종성, 인공지능을 활용한 웹툰 제작 기술은 어디까지 왔을까?, 지금, 만화, 2023 / AI시대 작가는 어떻게 준비해야 하는가? 디지털규장각, 2024 / AI환경 무엇을 준비할 것인가?, 비코프 컨퍼런스, 2024). 당시 원고에서는 캐릭터를 3D로 제작하여 표정, 포즈 등을 잡고 직접 배치한 후 최종적으로 스테이블디퓨전을 통해 보정하여 연재한 작품에 대한 가능성과 한계, 연출의 문제점을 극복할 수 있는 방식으로 3D 모델을 활용하는 방안 및 네이버 웹툰의 AI 기술인 Shaper, Constella의 가능성(이세인, 웹툰 시작 속 AI 기술 현재와 미래, 만화규장각, 2024)에 대해 언급했다. 스테이블디퓨전의 인페인트, 오픈포즈 등 프롬프트만으로 이미지를 생성하는 것에 대한 제약을 해결하기 위한 다양한 시도들이 있었는데 ChatGPT-4o에 탑재된 이미지 생성 기능이 3D를 활용할 수 있게 되면서 이미지 생성형 AI의 한계를 넘을 수 있는 도약이 시작된 셈이다. 클립스튜디오의 데생 인형도 기능이 꾸준히 업데이트되면서 사용성이 개선되어 포즈를 만드는 게 용이해졌기 때문에 좋은 시너지가 될 것으로 보인다.

2. 다른 AI 기술들은 어떠한 진척이 있었을까?

웹툰 생태계는 독자들의 AI에 대한 거부감 때문에 다른 영역보다는 AI 활용에 대해 소극적이었다. 유튜브 등에 공개되는 AI 영상처럼 출처를 남기기에 부담스러운 상황이었기에 AI를 활용한 작품을 분석하는 것에 한계가 있었다. 그럼에도 불구하고 기업들은 꾸준히 AI 기술에 관심을 갖고 개발하고 있었다. 2024년 주목을 받았던 라이언로켓의 경우 AI 솔루션인 ‘젠버스’를 통해 B2B서비스를 성공적으로 론칭했다고 밝혔으며 2025년 5월 일반인을 대상으로 한 B2C 서비스인 ‘젠버스 라이트’를 출시했다. 서비스를 시작한 지 얼마 되지 않아 사용자 평가를 확인하기 어려우나 직접 사용해 본 결과 그동안 나왔던 여타 도구들에 비해 개선이 이루어진 것을 확인할 수 있었다. ChatGPT-4o의 데생 인형을 활용하는 것과 같은 방식으로 캐릭터를 학습한 후 3D로 제작된 포즈에 적용시키는 방식이다. ChatGPT-4o의 경우 클립스튜디오나 여타 툴을 활용하여 원하는 포즈를 만든 후 이미지를 캡쳐-업로드 하는 방식으로, 일반 이용자의 접근이 어렵지만 전공자가 원하는 포즈를 제한 없이 만들어 낼 수 있다. 반면 젠버스 라이트의 경우 홈페이지에 업로드가 된 포즈만 적용할 수 있어 접근성은 높지만 제약이 있다. 지정된 포즈가 많지 않은 것은 아쉬운 지점이다. 마찬가지로 일찍이 AI 시장에 뛰어든 툰스퀘어도 2025년 ‘투닝 플러스’를 출시하며 세종대, 홍익대, 배재대, 부천대 등 다양한 대학과 학점 연계 수업에 활용하고 있다. 한 대학 관계자에 따르면 작년에 비해 사용성 및 결과물이 많이 개선되었다고 한다.

AI는 작화 등 시각 요소를 위한 분야뿐 아니라 아이디어 발상, 기획, 자료조사, 등장인물 설정, 성격 묘사, 대사 작성 등 기획 및 스토리, 플롯을 구성하는 데에도 활용된다. 대표적인 대화형 AI인 ChatGPT를 기본으로 Sudowrite, Jasper, Writesonic, Lewis 등 스토리 제작에 도움을 주는 도구들이 있다. 생성형 AI와 비슷한 측면에서 메인으로 활용되기보다는 자료조사, 브레인스토밍, 기획, 대사 등의 과정에서 강점을 보인다. 그러나 성적, 가학적, 반사회적 묘사 등이 불가능한 점은 대화형 AI가 표현 및 구성의 과정에서 가지는 한계로 지적된다.

이러한 흐름 안에서 생성형 AI를 활용한 연재 웹툰도 추가로 등장했다. 2024년 12월, ‘AI 타임스’에서 연재된 <인생큐레이터>, 2025년 1월부터 연재된 <사주> 등의 작품이다. 또한 구체적인 제작 방법도 공개했는데, 시각 콘텐츠의 약 70%, 스토리 초안 작성의 약 50%를 AI가 담당했으며 독자 개발한 '아니마 디퓨전' 모델 기반 웹툰 창작 서비스 '투툰'과 스토리 창작 도구 '페뷸레이터' 등을 이용해 AI 콘텐츠 포맷을 수립, 전례 없는 스토리텔링을 전달하겠다는 포부를 밝혔다. 아이디어도출→스토리기획→플롯 구성의 과정에서 페뷸레이터를 활용해 플롯 초안을 완성 및 스토리보드 제작, 투툰 아니마 및 엠포리얼을 활용한 캐릭터 및 배경 제작, 클립스튜디오를 활용한 편집 및 후보정 작업으로 진행이 되며 아이디어부터 작화 완성 단계까지 약 30컷을 만드는데 9~10시간이 소요된다고 밝혔다.

<그림 4> AI로 제작한 웹툰 ‘인생큐레이터’의 단독 컷 중심 연출

위 두 작품을 분석해 본 결과 약 90%가 단독 컷, 설정 컷, 인서트 컷으로 구성되어 있고 인물들이 의미 있는 상호작용 장면은 5~10%의 비중을 보였다. 이는 필자가 약 2년 전에 분석했던 해외 AI 코믹스 작품의 단점을 그대로 보여준다(백종성, 인공지능에 대한 창작자들의 목소리들, 만화규장각, 2023). 웹툰 예비 창작자들, 학생들의 콘티에서 자주 나타나는 지양해야 할 부분, 단독 컷 중심, 미디엄-클로즈업 중심의 컷들이 너무 많다. 지금까지 연재했던 대부분의 AI 작품들은 모두 이 문제를 갖고 있다. 생성형 AI에 대한 의존도를 줄이고 다른 웹툰 작품과 경쟁할 수 있는 방식으로 장면을 구성할 필요가 있다.

3. 나가며

2~3년 전 AI 초창기에는 ‘누구나 웹툰을 만들 수 있다’, ‘클릭 한 번으로 웹툰 작가보다 좋은 작품을 만들 수 있다.’라는 자극적인 캐치프레이즈를 내세우며 창작자들을 혼돈에 빠뜨렸다. 개인적으로 이러한 표현을 좋아하지 않는다. 지속적으로 주장해 왔듯, 웹툰은 연속적인 이미지에 의한 몰입도를 기반으로 하는 연출 중심의 콘텐츠이지, 한두 장의 단순한 이미지의 완성도로 평가받는 게 아니기 때문이다. AI 기술이 하루가 다르게 발전하면서 웹툰 창작계에도 유용한 기능들이 업데이트되고 있는 현재 상황에서도, 생성형 AI에만 기대서는 몰입도 높은 웹툰을 연출하기 어렵다고 본다. 여전히 1~2명의 인물을 표현하는 것에는 강점이 있지만 여러 인물이 등장하는 상호작용 장면, 마스터 컷 및 상황을 설명해 줄 수 있는 설정컷 등에는 제한이 있기 때문이다. 류기운, 문정후의 <아수라>같은 작품에 등장하는 설정컷이나 마스터 컷 등 전체적인 상황을 조망하는 장면들이 있어야 전반적인 내용을 독자들이 이해하기 쉽고, 작품에 몰입할 수 있다. 웹툰 작화와 연출의 대가인 문정후의 작품을 비교하는 것에 대해 다소 기준이 높을 순 있겠지만, 어찌 됐건 웹툰에서 빼놓을 수 없는 중요한 요소 중 하나는 상호작용이다. 이를 깨닫지 못하고 AI가 만들어내기 편한 이미지들 중심으로 제작한다면 기존 웹툰 작품들과의 경쟁에서 뒤처질 것으로 예측된다.

<그림 5> ‘아수라’, 네이버 웹툰, 문정후 작가 특유의 버티컬 앵글을 활용한 마스터 컷

상술했던 예시는 ‘클릭 한 번으로 웹툰 작가보다 좋은 작품을 만들 수 있다.’라는 자극적인 캐치프레이즈에 대한 반박일 뿐, AI를 활용한 웹툰 제작 기술은 하루가 다르게 발전하고 있다. ChatGPT-4o를 활용한 사용자 스타일 캐릭터에 포즈를 적용하는 것은 단독 컷 및 상호작용 장면에도 충분히 적용이 가능하다. 엑스트라, 조연 등 비교적 중요도가 떨어지는 인물이나 상황을 묘사할 때도 적극적으로 사용이 가능할 것으로 보인다. ChatGPT-4o로 제작한 후 어색한 표정이나 얼굴 생김새의 불일치 등은 클립스튜디오 등을 활용해 수정하면 된다. 예시로 든 <아수라>와 같은 마스터 컷은 한 화에 등장하는 비중이 적기 때문에 해당 장면들은 직접 그리고, 단독 컷 혹은 적은 인물이 등장하는 장면들은 AI의 도움을 받아 작업 효용성이 증진될 수 있을 것으로 예측된다. 개성이 강한 그림을 표현하지 못하는 단점은 극복해야 할 부분이다.

효용성 높은 새로운 AI 기술이 이제 막 등장했다. AI에 관심이 있는 웹툰 작가 및 예비 창작자들은 해당 기능에 대한 많은 실험을 진행하고 있으며 작품에 적용하고 있는 경우도 적지 않다. 1년 전에 비해 대중적으로 손쉽게 적용할 수 있는 기술이 개발되었으니, 앞으로 다양한 시도가 있을 것으로 예측된다. 창작자들의 작업 부담을 덜되 창의력을 훼손하지 않는 방향으로 진행되길 바라며 1년 후를 기대해 본다.

<참고문헌>

백종성, 인공지능에 대한 창작자들의 목소리들, 만화규장각, 2023
백종성, 인공지능을 활용한 웹툰 제작 기술은 어디까지 왔을까?, 지금, 만화, 2023
백종성, AI시대 작가는 어떻게 준비해야 하는가? 디지털규장각, 2024
백종성, AI환경 무엇을 준비할 것인가?, 비코프 컨퍼런스, 2024
이세인, 웹툰 시작 속 AI 기술 현재와 미래, 만화규장각, 2024
이내권, 예시 캐릭터 제작, 국립목포대학교 학생, 그림 2