歌詞合わせに何時間溶かしたか。カーナビ用の字幕焼き込みツールを作った話
note.comでも読む
車の中で、歌詞付きの動画を流しながらドライブしたい。海外の動画を、字幕付きでのんびり見たい。そんな地味な欲求のために、スペースキーを何百回も叩いて字幕のタイミングを手作業で合わせていた時期が私にはあります。
今でも決定版と呼べるアプリが見当たらなかったので、自分で作ることにしました。その面倒くささを、AIに任せる形で解消しようと自作ツールを作り、思い切ってBOOTHで販売してみました。今日はその経緯と、詳しい使い方を書いていきます。
歌詞合わせに、何時間溶かしてきましたか
2018年頃、RhythmicaLyricsという歌詞タイムタグエディタを使っていました（今も使っている方はいるかもしれません）。曲のリズムに合わせてスペースキーを押し、歌詞のタイミングを1行ずつ手作業で打っていく方式のソフトです。
保存できるのは専用形式のみ。動画に字幕として焼き込むには、有志が配布している変換スクリプトを別途探して導入する必要がありました。工程のたびに別のアプリを経由する手間があり、当時はYouTubeの自動翻訳もまだ心もとなくて、海外の動画から情報を拾うのも一苦労でした。
そして、車の中でカラオケ練習用に、歌詞字幕付きの動画を流したいという個人的な欲もずっとありました。
その頃は、まさか自分でこれを作るなんて考えもしませんでした。
「完全自動を完璧にするのは原理的に難しい」とAIに言われて、設計が決まった
時代が変わり、AIが音声とテキストのタイミングを自動で解析できるようになりました。「これなら手作業の字幕合わせから解放されるのでは」と思い、自動化を試してみたのですが、ここで一つの壁にぶつかりました。
開発の途中、AIモデル同士に相互レビューをさせて設計を詰める工程を挟んだのですが、そこで返ってきた結論が「歌詞や会話の自動タイミング合わせを100%の精度で行うのは、原理的に難しい」というものでした。似た歌詞が繰り返される曲では機械もどこの箇所かを間違えることがありますし、話し言葉には無音区間の揺れもあります。ゼロから完璧を目指すと、いつまで経っても完成しません。
そこで方針を変えました。AIには「たたき台」を全力で作らせ、合わなかった行だけを人間が編集画面で直す。この分業にしてから、一気に現実的なツールになりました。「歌詞のタイミング合わせ」と「海外動画の翻訳字幕」。一見バラバラなこの2つの困りごとは、実は同じ一本のツールで解決できます。そうして生まれたのが、動画に字幕を焼き込むツール「navi-subs」です。
navi-subsでできること——2枚看板です
navi-subsは、動画に字幕を編集して焼き込み、書き出すところまでを1本で行うWindowsデスクトップアプリです。「歌詞モード」と「翻訳字幕モード」の2つの機能を持っています。
歌詞モード：歌詞を貼るだけで、ある程度タイミングが揃う
歌詞のテキストを貼り付けるだけで、AIが音の波形からボーカル成分を取り出し（Demucsという技術です）、Whisperという音声認識AIで音声とのタイミングを自動解析します。スペースキーを叩き続ける作業は、大きく減らせます。
翻訳字幕モード：聞き取れない海外の動画も、字幕付きで
Whisperで文字起こしをし、Gemini APIで日本語に翻訳します。原文・訳文をワンクリックで切り替えながら仕上げられます。
どちらのモードも、自動生成はあくまで「下書き」です。合わなかった行だけ、次に紹介する編集画面で直せば十分です。
価格は¥3,980（買い切り）、無料お試し版（透かしあり）も用意しています。詳しい使い方をこのまま見ていきます。
使い方①：動画を読み込むと、自動で下書きができる
動画ファイル（mp4・mkv・mov・avi・webmに対応）をドラッグ＆ドロップすると、そのまま編集画面に進みます。歌詞モードなら歌詞テキストを貼り付け、翻訳字幕モードならそのまま解析を始めるだけです。
実際にどれくらいの精度が出るのか、手元で試した実測値を載せておきます。
- 4分06秒の曲：要確認マーク（自動で怪しいと判定された行）が50行中0行
- 4分32秒の別の曲（初見）：要確認マークが23行中4行、解析時間は約4分
解析には数分かかります（お渡ししているのはCPU専用版です）。速くはありませんが、スペースキーを叩き続けるよりずっと楽になったと感じています。要確認マークが付いた行を中心に見直せば、下書きはほぼそのまま使えるくらいの精度でした。
使い方②：行の編集は、ボタンとキー操作でサクサク進む
自動下書きができたら、編集画面で仕上げます。各行には次のボタンが並んでいます。
- 結合↓：次の行と結合して2行表示にする
- 分割：この行を2つに分割する（本文欄でカーソルを置いた位置で分割されます）
- ＋挿入：この行の下に空行を挿入する
- ✕削除：この行を削除する
- 今→開始／今→終了：動画を再生しながら「ここで表示したい」と思った瞬間に「今→開始」、「ここで消したい」と思った瞬間に「今→終了」を押すと、そのときの再生位置がそのまま時刻としてセットされます
この「今→開始／今→終了」は、私が2018年にRhythmicaLyricsでやっていた「曲を聴きながらスペースキーを叩いてタイミングを打つ」操作感を、そのまま再現したものです。自動下書きに頼らず、耳で聞きながら1行ずつ自分の手で打っていきたいときにも使えます。
時刻の微調整は、時刻欄にカーソルを合わせてマウスホイールを回すか、↑↓キーで行えます。カーソルを分の位置に置けば1分単位、秒の位置なら1秒単位（Shiftキーを押しながらだと5秒単位）、小数点以下なら0.05秒単位（Shiftキーで0.5秒単位）と、合わせたい細かさに応じて刻みが自動で変わる仕組みです。
複数行まとめてタイミングをずらしたいときは、行を選択すると直下に一括タイムシフトのバーが表示され、そこから下の行をまとめて前後にずらせます。
動画のプレビューでは、コマ送り・コマ戻しボタン（約1/30秒刻み）と←→キーで細かい位置合わせができ、スペースキーで再生・一時停止も可能です。前後の字幕行の頭に一気にジャンプするボタンもあるので、マウスとキーボードを行き来しながらテンポよく調整できます。
使い方③：好みのスタイルは、名前を付けて保存できる
これは取扱説明書にもあまり詳しく書いていない、個人的に気に入っている機能です。
字幕のフォント・サイズ・色・縁取りなどを一度好みに調整したら、「スタイル名を入力してください」というダイアログから名前を付けて保存できます。次回起動時も、保存したスタイルをプルダウンから呼び出すだけで同じ見た目にできるので、動画ごとに毎回設定し直す必要がありません。複数のスタイルを保存しておいて、動画の雰囲気に応じて使い分けることもできます。
フォントは、パソコンにインストール済みのフォントがすべて、五十音・アルファベット順に並んだドロップダウンから選べます。「あのフォント、何ていう名前だったっけ」と探し回らずに済むのは地味に助かるポイントです。
カーナビや車載モニターで歌詞入り動画や海外動画を流したい人には向いています。逆に、すでに満足のいく字幕ワークフローがある人や、Mac専用の環境では、乗り換えるメリットは薄いかもしれません。
使い方④：画面からはみ出さない・時刻が重ならないようにする仕組み
日本語の字幕は、単語の間にスペースがないぶん、自動の折り返し処理だと思わぬところで改行されて画面からはみ出してしまうことがあります。navi-subsは、編集画面のプレビューで計算した折り返し位置を、書き出し時にもそのまま使う仕組みになっていて、プレビューで見えている通りの見た目で動画に焼き込まれます。
また、字幕の表示時間が前の行と重なっていたり、開始時刻が終了時刻より後になっていたりする行があると、その行が赤く表示され、修正するまで書き出しボタンが押せない仕組みになっています。2重表示や時刻の逆転に気づかないまま書き出してしまう事故を防ぐための安全装置です。
書き出せば、あとはカーナビで流すだけ
編集が終わったら、書き出しボタンを押すだけです。解像度は「元のまま／1080p／720p」から選べて、縦型や正方形の動画は自動で16:9の黒帯付きに変換されてから字幕が焼き込まれます。カーナビでの再生を想定した仕様です。音量がバラついている動画も、音量を自動で揃える機能がデフォルトでオンになっているので、複数の動画を連続再生しても差を感じにくくなっています。
書き出されるのは字幕込みのmp4ファイル1本。あとはこれをカーナビに読み込ませて再生すれば完了です。実際にKENWOODのカーナビ実機で再生し、字幕がぴったり合っていることを確認しています。
BOOTHで販売してみて
navi-subsは¥3,980（買い切り・追加課金なし）でBOOTHにて販売中です。まず試してみたい方向けに、無料お試し版もあります。機能制限はなく、書き出した動画に透かしが入るだけの違いです。気に入ったら購入版に切り替えていただく形にしています。
正直に書くと、このアプリは軽くありません。配布は約290MB、初回起動時にはAIモデルを追加でダウンロードします（歌詞モードは合計約3GB、翻訳字幕モードだけなら約1.5GB）。歌詞モードの解析にも数分かかります。軽さより、賢さを選んだ結果です。
「こんな小さなツール、お金をもらっていいのだろうか」という迷いは正直ありました。それでも、完璧を待っていたらいつまでも出せません。自分の困りごとを解決するために作ったものが、同じ悩みを持つ誰かの役にも立つかもしれない。そう思って、公開することにしました。
まとめ
- カーナビで歌詞字幕や翻訳字幕を流したい人向けに、動画に字幕を焼き込むツール「navi-subs」を作りBOOTHで販売した
- 「完全自動のタイミング合わせを完璧にするのは原理的に難しい」という結論から、AIが下書きを作り人間が仕上げるという設計にした
- 歌詞モード（Demucs＋Whisperで自動下書き）と翻訳字幕モード（Whisper＋Gemini翻訳）の2枚看板
- 行の結合・分割・挿入・削除、時刻のホイール/キー調整、一括タイムシフト、スタイルの名前付き保存など、細かい編集機能を備えている
- 価格は¥3,980（買い切り）。無料お試し版（透かしあり）も用意している
気になった方は、まず無料お試し版で使用感を確かめてみてください。
この記事が参考になった方は、ぜひフォローしてください。非エンジニアが自分の困りごとをAIと一緒に解決していく話を、これからも書いていきます。
navi-subsはこちらから: https://suzumin.booth.pm/items/8642465