ToonFlow

- 멀티모달 AI 기술을 활용한 웹툰 현지화 자동화 SaaS 솔루션

- 텍스트 추출, 인식, 번역, 식자(디자인) 과정을 End-to-End로 자동화하는 서비스.

- 단순 기계 번역을 넘어 캐릭터의 페르소나와 상황, 이미지를 종합적으로 이해하는

감성 번역 제공 및 배경 글씨 및 필기체 인식(STR)과 일본어 세로쓰기 등 고난도 텍스트 스타일링까지 구현.

- 글로벌 진출을 목표로 하는 국내외 웹툰 제작사 및 대형 플랫폼(탑툰, 북극여우, 테라핀, 투믹스, 스토리위즈, 펀길드 등), 그리고 개별 웹툰 작가들이 주요 타겟.

*차별성

- 단순 텍스트 번역을 넘어 이미지 내 캐릭터의 성격, 장르, 장면 상황을 종합하여 원작의 뉘앙스를 보존하는 감성 현지화 구현

- 경쟁사: 기존 인력 중심의 번역 에이전시(S사, V사 등) 및 부분 솔루션(식자 불가, 번역만 제공) 제공업체.

- 100TB 이상의 웹툰 특화 데이터셋을 기반한 필기체, 캘리그라피, 휘어진 효과음 및 배경 문자를 정밀 인식(STR)

- 텍스트 제거 후 비어있는 배경을 원본 화풍 그대로 복원하며, 일본어 세로쓰기(타데카키) 등 국가별 문화적 맥락에 맞춘 자동 식자 기술 제공

​

주요 기능 및 특징

* CLIP 모델 구조 기반 *STR(Scene Text Recognition)

- CLIP 모델의 구조 사용, 화면 내 다양한 글씨 인식 정확도 향상

- Transformer 구조의 Text Encoder와 CNN 구조 기반의 Image Encoder 사용

- 다양한 텍스트와 문맥적인 이해를 통해 높은 유연성을 확보

* Transformer 구조 기반 현지화

- Cross Attention 모듈 사용, 출발 및 도착 문화간 정보의 Attention을 계산하여 상호 정보를 반영

* Difussion 모델 구조 기반 식자

- Difussion 모델 구조 사용, 원본과 가장 유사한 이미지 생성

- Inpaintion 기법 사용, 원본 이미지를 최대한 보존

- 노이즈를 추가&제거하는 과정을 통해 데이터 구조 이해, Inpainting 기법을 통해 Forward Step과 Reverse Step에 대한 Mask 생성 및 사용

* 페르소나 감지 기반 번역과 이미지 생성 및 합성 기술

- 페르소나 감지 기반 번역으로 상황 인식 모듈, 텍스트 인식 모듈을 결합한 멀티모달 모델 사용

- Vision Transformer 구조 기반의 상황 인식 모델 사용으로 캐릭터의 표정, 화면의 상황을 인식한 자연스러운 번역 제공

- Transformer encoder 기반의 텍스트 인식 모델을 사용하여 원문의 뉘앙스를 파악

- YOLO 기반의 모델을 사용하여 이미지에서 특정 객체 감지

- Diffusion 기반 기술로 감지된 객체를 다른 문화권 객체로 생성

- CLIP4STR 멀티모달 모델을 사용하여 의성어/의태어 인식 정확도 향상