navi-subs
歌詞合わせに、何時間溶かしてきましたか。
その面倒、私も同じでした。だからAIに任せる、動画に字幕を焼き込むツールを、自分で作りました。
歌詞モード
歌詞を貼るだけで、タイミングが揃う。
歌詞テキストを貼り付けるだけ。AIがボーカルだけを聴き分け（Demucs）、Whisperで音声とのタイミングを自動解析します。スペースキーを叩き続ける作業は、もう必要ありません。自動生成はあくまで下書きです。合わなかった行だけ、編集画面で直せば十分です。
翻訳字幕モード
聞き取れない海外の動画も、字幕付きで。
Whisperで文字起こしし、Gemini APIで日本語に翻訳。原文・訳文をワンクリックで切り替えながら、行の結合・分割・タイムシフトで仕上げられます。
なぜ作ったか
2018年頃、RhythmicaLyricsという歌詞タイムタグエディタを使っていました。曲のリズムに合わせてスペースキーを押し、タイミングを手作業で打っていく方式です。保存できるのは専用形式のみで、動画に焼き込むための字幕（ASS形式）を作るには、有志が配布する変換スクリプトを別途導入する必要がありました。
工程のたびに別のアプリを経由する手間。当時はYouTubeの自動翻訳もまだ心もとなく、海外の動画から情報を拾うにも一苦労でした。そして、車の中でカラオケ練習用に、歌詞字幕付きの動画を流したいという個人的な欲もありました。
その時は、まさか自分でこれを作るなんて考えもしませんでした。でも今は、AIがなんとかしてくれる時代です。海外動画の翻訳字幕なら、無料の動画編集ツールも増えました。それでも、歌詞のタイミング合わせは今も手動が定番のままです。「歌詞のタイミング合わせ」と「海外動画の翻訳字幕」。一見バラバラなこの2つの困りごとは、実は同じ一本のツールで解決できます。AIに自動下書きを任せ、仕上げだけ人間が微調整する、動画に字幕を焼き込むツールを、自分で作りました。
正直に書きます
このアプリは、正直に言うと軽くありません。配布は292MB、初回起動時にはAIモデルを追加でダウンロードします（歌詞モードならWhisper large-v3とDemucsで合計約3GB、翻訳字幕モードのみなら約1.5GB）。
歌詞モードの解析にも時間がかかります。4分の楽曲1本で、GPUなしの環境で実測約4分半。お渡しするのはCPU専用版なので、この時間がそのまま実際にかかる時間です。
軽さより、賢さを選びました。そして、自動生成はあくまで下書きです。うまく合わなかった箇所は、編集画面でご自身の手で微調整してください。歌詞テキストはご自身でご用意いただく前提で、私的利用の範囲でお使いください。
操作イメージ
画面はこんな感じです。
画像をクリックすると拡大表示できます
行の結合・分割・タイムシフトといった編集から、字幕を焼き込んだmp4への書き出し（エンコード）まで、この1本のアプリで完結します。別のアプリを行き来する必要はありません。
買い切り・追加課金なし
¥3,980
Gemini APIの利用は無料枠の範囲で完結します（navi-subs側からの課金はありません）。無料お試し版（透かしあり）もあります。
よくある質問
Q. Windows以外でも使えますか？
A. Windows 10/11専用です（64bit）。Windows 10のみ、初回起動時に画面が真っ白になる場合がありますが、無料のWebView2ランタイムを入れれば解決します。
Q. 無料で試せますか？
A. お試し版なら、機能制限なしで全部試せます。違いは書き出した動画に透かしが入るかどうかだけです。気に入ったら購入版に切り替えてください。
Q. Gemini APIキーって必須ですか？お金かかりますか？
A. 翻訳字幕モードを使う場合だけ必要です。無料枠の範囲で使えるので、navi-subs側からの課金は発生しません（歌詞モードだけならAPIキーは不要です）。
Q. 歌詞モードの解析、正直どれくらい待ちますか？
A. お渡しするのはCPU専用版なので、4分の曲で約4分半かかります。決して速くはありません。それでも、スペースキーを叩き続けるより速いと思って作りました。
Q. 対応している動画形式は？書き出し後の解像度は？
A. 入力はmp4・mkv・mov・avi・webmに対応。書き出しは「汎用性の高い」mp4 (H.264) 形式です。解像度は「元のまま／1080p／720p」から選べます（元動画より大きくはなりません）。
Q. 音量にバラツキはありませんか？
A. 動画ごとに音量を自動で揃える機能（音量ノーマライズ）がデフォルトでオンになっています。-14 LUFS基準で2回解析してから正規化するので、曲の途中で不自然に音量が動くこともありません。複数の動画をカーナビで連続再生しても、音量差を感じにくくなっています。