음성을 텍스트로 변환하여 자동으로 자막을 생성해주는 AI Auto Subtitles 기능으로, 작업 시간을 1/5로 마법처럼 단축시키는 AI Video Editor의 필수 기능
Question.
Answer 1.
Genny의 사용자들 중 대부분이 음성 중심의 콘텐츠를 만들기 때문에
수동으로 자막을 추가할 경우 영상 길이의 5~10배 시간이 소요되지만, Speech to Text 기술을 활용하면 작업 시간을 1/5로 단축할 수 있습니다. 이를 통해 음성이 중심인 콘텐츠를 주로 제작하는 Genny 사용자들의 작업 효율을 크게 향상시킬 수 있습니다.
Answer 2.
사용자들로부터 AI Voice로 생성한 스크립트나 자막 파일을 export할 수 있는 기능에 대한 요구가 지속적으로 있었습니다. 또한 자막은 영상 작업이 완료된 후에 생성되는 경우가 많아, AI Auto Subtitles 기능을 제공함으로써 Genny가 사용자 워크플로우의 End Point 역할을 할 수 있다고 판단했고, 이를 통해 Retention을 높이는 효과적인 비즈니스 모델로 자리 잡을 수 있을 것으로 기대했습니다.
Tech
① 가장 적합한 Speech to Text Provider 선정
개발팀과 함께 다양한 Speech to Text API를 비교 분석하여 가장 적합한 Provider를 선정했습니다. "가장 적합한 Provider"란, 우리의 타겟 사용자와 제품의 목적에 부합하는 서비스를 제공할 수 있는 Provider로, 여러 선정 기준을 따라 결정됐습니다.
선정 기준:
Provider 별 Speech to Text 정확도
다양한 언어를 일정한 수준의 정확도로 처리
사용자들이 감내할 수 있는 처리 속도
Provider 별 Cost, Rate Limit 등
Logic
② Subtitle의 황금 타이밍 설계
STT의 안정적인 정확도를 확인한 후, 자막의 정확한 타이밍과 적절한 길이에 대해 고민했습니다. 실제로 영상 작업 시간을 1/5로 줄이기 위해서는 정확한 음성 인식뿐만 아니라, 시청자가 인지할 수 있는 적절한 길이로 자막을 분할하는 것이 필수적이라고 생각해, 다양한 리서치를 통해 최적의 Split 로직을 설계했습니다.
Split 로직:
문맥 유지: 문장의 흐름을 해치지 않기 위해 구두점(Punctuation)을 기준으로 분할
적절한 길이: 문장이 너무 길 경우, 한 화면에서 사용자가 쉽게 읽을 수 있는 글자수인 40~80 글자의 평균값인 60글자로 분할.
Feature #1
Subtitles Editor
Subtitle의 내용, 타임스탬프, Style까지 한눈에 확인할 수 있는 Subtitle Editor UI 제공.
또한, 번거로울 수 있는 자막 재생성 과정을 버튼 하나로 간소화.
Feature #2
Customize Subtitles Style
사용자가 한 영상 안에서도 다양한 스타일의 자막을 사용할 수 있도록 개별 Subtitle Style 지정 기능을 제공,
이를 통해 다른 프로덕트와 차별화를 구현.
Feature #3
Auto Subtitles Flow
AI Auto Subtitles 기능 리서치에서 많은 사용자가 Auto Subtitles만 필요로 한다는 사실을 발견.
이를 바탕으로, Auto Subtitles만 필요한 사용자들을 위해
기존의 [프로젝트 생성 > 미디어 업로드 > Auto Subtitles > 자막 생성]의 번거로운 과정을
미디어 업로드 후 프로젝트 생성과 동시에 자막이 자동으로 생성되는 Auto Subtitles Flow로 단순화.
이 프로젝트는 회사에서 근무하며 가장 많은 애정을 쏟았던 프로젝트 중 하나다. 회사의 프로세스가 변화하는 과정에서 팀원들과 함께 적응하며 빠듯한 기한을 맞추기 위해 새벽까지 디자인 작업과 QA를 진행한 기억이 있습니다. 이러한 노력 덕분에 이 프로젝트에 더욱 애착이 생겼다. 이 프로젝트는 회사 대표 프로덕트의 방향성을 새롭게 정립하는 중요한 시작점이었다. 기능 기획과 디자인을 통해 많은 경험을 쌓고 배울 수 있었으며, 특히 제게는 첫 AI 생성 기능을 다뤘던 프로젝트로, 다양한 시행착오를 통해 큰 전환점이 되었다.
AI 기능 개발은 기획, 디자인, QA 과정에서 여러 변수를 동반하기 때문에 초기에는 이를 조정하며 대응하는 것이 쉽지 않았다. PoC 단계에서 API를 확인한 결과 기능 구현이 불가능해지거나, 촉박한 일정으로 일부 기능을 제외하며 기획을 수정해야 하는 상황도 발생했습니다. 이러한 변수에 맞춰 대응하는 과정은 도전적이었지만, AI의 역할을 극대화하고 사용자 경험을 고려한 UX 설계를 완성하는 데 집중하며 많은 성장을 이루었다.
이 프로젝트를 통해 AI 생성 기능 기획에 대한 이해도가 크게 향상되었고, 앞선 관점을 가지고 다양한 케이스를 고려하며 작업할 수 있는 역량을 갖추게 되었다. 더불어 단순히 기획과 디자인 능력의 성장뿐 아니라 팀원들과 함께 소통하고 협업하며 하나의 팀으로 일하는 법을 배우는 계기도 되었어서 특별히 애정이 가는 프로젝트이다.
