Watashi Games
그럴듯한 것과 옳은 것은 다릅니다
어떤 범용 이미지 모델이든 만화 페이지를 채색할 수 있습니다. 하나 붙여 넣으면 1분도 안 되어 결과가 돌아오고, 언뜻 보면 괜찮아 보입니다. 문제는 2페이지부터 시작됩니다. 같은 인물이 다른 머리색으로 돌아오죠. 그다음엔 말풍선의 글자가 미묘하게 다시 그려져 돌아옵니다. 그다음엔 순수한 검정 여백이 지어낸 그림으로 채워져 돌아옵니다.
이것은 모델이 그림을 못 그린다는 뜻이 아닙니다. 모델은 훈련받은 대로 그럴듯한 한 장의 이미지를 만들고 있을 뿐입니다. 만화 페이지는 한 장의 이미지가 아닙니다. 같은 배역을 공유하고, 실제 텍스트가 인쇄되어 있으며, 구조적 검정으로 나뉘고, 이전 화와 맞아야 하는 챕터에 속한 칸의 연속입니다. 페이지 단위의 그럴듯함은 잘못된 목표이며, 프롬프트를 아무리 다듬어도 목표 자체는 바뀌지 않습니다.
Watashi Colorizer는 바로 그 차이를 중심으로 만들어졌습니다. 아래는 거기서 도출된 여섯 가지 엔지니어링 결정입니다. 특별할 것은 없지만, 하나하나가 그것 없이 무언가 무너지는 것을 직접 봤기 때문에 존재합니다.
흑백
컬러1. 보도자료가 아니라 비교 테스트로 고른 가중치
대부분의 채색 도구는 얇은 껍데기입니다. 사용자 이미지를 공개 API로 보내고 채색된 이미지를 받아 옵니다. 그러면 그 껍데기는 API 공급자가 이번 분기에 내놓은 수준을 넘지 못하고, 그 공급자의 모든 사각지대를 그대로 물려받습니다. 손대기를 거부하는 콘텐츠까지 포함해서요.
우리는 자체 GPU에서 자체 가중치를 돌리고, 평판이 아니라 테스트로 고릅니다. 새 후보 모델은 같은 실제 페이지에서 운영 중인 모델과 직접 맞붙고, 사람이 결과를 나란히 놓고 비교합니다. 대부분의 후보는 집니다. 이기는 모델은 증거로 이기며, 진 기록도 남겨 같은 막다른 길을 두 번 탐색하지 않습니다.
현재 엔진은 범용 기성 모델이 아니라 채색에 특화된 파인튜닝 가중치입니다. 피부가 피부로 읽히고 배경이 회색으로 남지 않고 마무리되는 가장 큰 이유가 이것입니다.
2. 한 문장씩 검증한 지시문
매 페이지와 함께 보내는 지시문은 한 번에 쓴 것이 아닙니다. 각 문장을 따로 시험하고, 결과를 측정 가능하게 바꾼 것만 남겨 조립했습니다.
이 원칙이 중요한 이유는 프롬프트 작성이 직관과 반대되는 사례로 가득하기 때문입니다. 우리 작업에서 가장 명확했던 예: 피부가 절대 가지면 안 되는 색을 나열한 문장이, 정확히 그 색의 피부가 나오는 페이지를 만들어냈습니다. 원하지 않는 것을 지목하면 가능성이 줄어드는 게 아니라 늘어납니다. 해법은 올바른 결과가 어떤 모습인지만 서술하는 것이었습니다. 머리로 추론해서는 결코 찾지 못했을 겁니다. 한 문장을 시험하고 결과를 봤기에 찾았습니다.
그래서 실제 사용하는 세트는 짧고, 각 부분이 자리를 얻어냈습니다. 피부 톤을 확정할 것, 모든 배경을 마무리할 것, 해부학적 형태를 그려진 그대로 둘 것, 선화와 텍스트를 정확히 보존할 것. 이 중 하나만 빼도 특정한 실패가 되돌아옵니다.
3. 모델에 페이지를 더 많이 보내기
이미지 모델은 고정된 내부 크기에서 작동합니다. 큰 스캔을 보내면 모델이 보기도 전에 축소되고, 그 페이지의 작은 것들, 원경 속 얼굴, 배경 간판의 글자, 가는 해칭이 전부 뭉개져 도착합니다. 그러면 모델은 그 뭉개진 것을 채색합니다. 받은 게 그것뿐이니까요.
우리는 프롬프트를 아무리 손봐도 반응하지 않는 채색 버그를 쫓다가 이것을 힘들게 배웠습니다. 같은 영역을 잘라내 단독으로 보내면 매번 예외 없이 올바르게 돌아왔습니다. 모델은 늘 답을 알고 있었습니다. 다만 질문을 볼 수 없었을 뿐입니다.
그래서 페이지는 편의상의 기본값이 아니라 엔진이 실제로 활용할 수 있는 최대 크기로 입력되며, 출력은 업로드한 파일과 정확히 같은 치수로 반환됩니다.
흑백
컬러4. 페이지를 직사각형이 아니라 칸으로 읽기
만화 페이지에는 범용 모델이 신경 쓸 이유가 없는 구조가 있습니다. 칸 테두리, 칸 사이 여백, 그리고 순수한 검정으로 남아야 하는 구분선입니다. 직사각형으로 채색하면 그 구조는 질감으로 취급됩니다. 칸 사이 여백이 지어낸 풍경으로 채워지는 이유가 이것입니다.
우리 파이프라인은 무엇을 채색하기 전에 칸 경계와 작화 띠를 먼저 감지하고, 실제 경계에서만 분할합니다. 칸 중간을 자르는 것은 자르지 않는 것보다 나쁩니다. 두 조각이 따로 채색되어 결코 일치하지 않기 때문입니다. 그래서 분할기는 추측하는 대신 거부합니다.
- 칸 인식 분할로 각 영역이 모델의 온전한 주의를 받도록
- 여백과 검정 레벨 보존으로 구조적 검정이 구조로 남도록
- 팔레트 앵커링으로 반복 등장 인물의 머리, 눈, 의상이 같게 유지되도록
- 텍스트와 선화 보존으로 대사가 채색을 견뎌내도록
인물의 색을 다시 추측하지 않고 고정하는 팔레트 앵커링과 결합하면, 배역이 한 페이지 안에서도 한 챕터 전체에서도 설정을 유지하며 페이지마다 한 톤씩 흘러가지 않습니다.
5. 아무도 다루지 않는 페이지를 위한 모드
일본 인쇄 검열은 신체 위에 단단한 흑백 바를 얹습니다. 채색 모델에게 이것은 진짜로 모호합니다. 바 아래에는 참고할 피부 정보가 없으니 무언가를 지어내고, 시도할 때마다 다른 것을 지어냅니다. 우리 테스트에서는 같은 모델을 네 번 돌린 결과 같은 페이지가 갈색, 회색, 주황, 분홍을 내놓았습니다.
이 실패는 샘플링으로 해결되지 않습니다. 입력에 없는 정보를 평균 내서 얻을 수는 없기 때문입니다. 바가 무엇이고 그 아래에 무엇이 있는지 모델에 명시적으로 알려줘야 합니다. 그래서 검열 처리는 필요한 페이지에서 켜는 전용 모드입니다.
선택 사항으로 둔 이유는 분명히 말할 가치가 있습니다. 검열 바를 보고 있지 않은 모델에게 검열 바를 설명하면, 모델이 하나를 그려 넣습니다. 이 지시는 강력하고, 바로 그렇기 때문에 모든 작업에 걸지 않고 해당되는 페이지로 범위를 좁혔습니다.
6. 대기 시간을 제품의 일부로 다루기
자체 GPU를 운영한다는 것은 비용을 낸다는 뜻이고, 곧 유휴 상태에서는 재운다는 뜻이며, 곧 조용한 시간 뒤 첫 요청은 하드웨어가 깨어나기를 기다린다는 뜻입니다. 이는 껍데기가 아니기에 치르는 실제 비용이며, 아닌 척하는 것이야말로 작업 도중에 사람을 잃는 지름길입니다.
그래서 엔진은 모델을 고르는 순간부터, 파일 선택이 끝나기도 전에 예열을 시작합니다. 덕분에 대부분의 작업에서는 대기가 아예 사라집니다. 대기를 피할 수 없을 때는, 지키지 못할 카운트다운을 보여주는 대신 진행 화면이 평이한 말로 그 사실을 알립니다.
만료되고 다시 시작하는 타이머는 타이머가 없느니만 못합니다. 느린 작업을 거짓말처럼 보이게 만들기 때문입니다. 예상 시간을 넘기면 추정을 멈추고 설명과 함께 정직한 경과 시간으로 전환하며, 알림을 켜두면 탭을 떠나도 안전합니다.
이 중 마법은 하나도 없습니다
위의 모든 항목은 화려하지 않습니다. 마케팅을 믿는 대신 후보를 시험할 것. 지시문을 하나씩 검증할 것. 모델에 충분한 픽셀을 줄 것. 페이지의 구조를 존중할 것. 어려운 사례를 위한 모드를 만들 것. 기다림에 대해 정직할 것.
차이를 만드는 것은 어떤 단일 기법이 아니라, 입력부터 내보내기까지 만화 페이지를 만화 페이지로 다룬다는 사실입니다. 그럴듯한 것과 실제로 낼 수 있는 것 사이의 간격은 전부 거기에 있습니다.
도구는 무료로 사용해볼 수 있으며, 이 모든 것을 평가하는 가장 빠른 방법은 이미 잘 아는 페이지를 돌려보고 당신이 그린 그 페이지로 돌아오는지 확인하는 것입니다.