スクショに赤ペンでAIに指示したら、1回で外した話
note.comでも読む
「もう少し大きく」「もうちょっと上」。AIに修正を頼むとき、この往復が何回続いたことがあるでしょうか。私は先日、この往復を減らせると言われている方法を試しました。言葉をやめて、スクリーンショットに赤ペンで描いて渡す。結果は、1回では決まりませんでした。しかも外し方が予想外でした。
前回の記事では、「おしゃれな感じで」という形容詞をやめて情景に言い換える話を書きました。あれは言葉の精度を上げる話です。今回はその逆で、言葉を全部やめてみたら何が起きたかの記録です。
画像を見せているのに、往復が減らない
AIに画像を見せて指示しているのに意図が伝わらず、修正のやり取りが何往復も続いてしまう。そういう声をよく見かけます。私も同じでした。
画面のスクリーンショットを貼って「ここをこうしたい」と書く。返ってくるものが少し違う。言い直す。また少し違う。3往復目くらいで、自分で直したほうが早かったのでは、という気持ちがよぎります。
そんなときに、あるやり方を見かけました。言葉で往復するのをやめて、完成イメージを雑に作ってスクリーンショットで渡すというものです。細かい言い方を工夫するのではなく、絵で見せてしまえばいい。理屈としては、とても筋が通って聞こえました。
AIは画像を読めます。だったら、赤ペンで「ここ」と描いてやれば、言葉より速く正確に伝わるはずです。私はそう考えて、実際に試してみることにしました。
言葉を全部やめて、赤ペンだけで渡してみた
題材は、私がYouTubeで公開している講座動画の1シーンです。44秒ほどのシーンで、その途中に、画面下の字幕枠を指す手描き風の矢印が出てきます。この矢印の位置が、前から少し気になっていました。
やったことは単純です。
書き出し済みのシーン動画から、22.6秒の地点の1フレームを画像として抜き出す。その画像に、赤い枠と赤い矢印を描き込む。そして言葉を一切添えずにAIへ渡す。それだけです。
描き込みに使ったのはWindows標準の「切り取り＆スケッチ」です。デザインツールは使っていません。ここは非エンジニアにとって大事なところで、この方法自体に特別な道具はいりません。スクリーンショットが撮れて、その上に線が引ければ足ります。
なお、公開済みの動画本体はコピーして温存してあります。この検証で公開中のものには手を触れていません。
こちらが変更前です。矢印がゆるいS字を描いていて、指している先も字幕枠の左に寄っています。
こちらが私の描いた赤入れです。文字は一つもありません。この1枚だけを渡しました。
1回目。位置は合ったのに、意図は外れた
返ってきた実装は、こうでした。
矢印の軌道が変わりました。S字カーブがほぼ垂直になり、位置も左から中央寄りへ動いています。座標でいうと、横380px・縦540pxだったものが、横640px・縦535pxになりました。
たしかに、私が赤で描いた線に近い形です。それなのに、見た瞬間に「これじゃない」と思いました。
理由は、矢印の先端です。矢尻と字幕枠のあいだが22px空いていました。 私が伝えたかったのは「この枠のことだよ」という指差しです。指の先が対象に触れていないと、指差しになりません。届いていない矢印は、ただ下を向いているだけの線に見えます。
軌道は合っている。位置も近い。なのに、伝えたいことは伝わっていない。この「惜しい」の感じが、いちばん厄介でした。どこが違うのかを説明するのに、また言葉が必要になるからです。
同じ絵から、私とAIは違うものを読んでいた
なぜ外れたのかを考えて、答えが出ました。
同じ絵を見て、私とAIは違うものを読んでいたのです。
私が見ていたのは、矢尻と字幕枠の距離でした。くっつけて「このことだよ」と示したかった。一方で返ってきた実装を見る限り、AIが優先したのは矢印の軌道のようでした。どこからどこへ線を引くか、という情報です。中で何を考えたかまでは分かりませんが、出てきたものはそう読めます。
改めて自分の描いた赤い矢印を見ると、たしかにどちらにも読めます。「まっすぐ下を向いている線」とも読めるし、「枠に届いている線」とも読める。私にとっては後者が当たり前でしたが、それは私がなぜその矢印を描いたかを知っているからでした。
ここから引き出せることが1つあります。
赤入れは「どこ」を伝えますが、「何のため」は伝えません。
矢印は場所を指せます。でも、その場所をどうしたいのか、なぜそうしたいのかは、線の形には入りません。私は「言葉をやめれば速くなる」と思っていましたが、やめた言葉の中に、いちばん渡すべき情報が混ざっていたわけです。
ちなみにこれは、私の描き方が下手だったという話だけでもなさそうです。上下・左右・接しているといった位置関係の理解は、画像を扱えるAIが苦手とする領域だと報告されています。ACL 2025で発表された評価では、そうした位置関係を問う課題の正答率が、対象となったモデルのうち最も成績の良いもので48.14%、人間は98.40%でした。
https://aclanthology.org/2025.acl-long.31/
だから「AIは位置がわからない」と決めつける必要はありません。ただ、位置関係だけは絵に任せきらないほうが安全、という程度には知っておくと役に立ちます。
正解は「画像＋一言」だった
2回目は、赤入れした画像に一言だけ足しました。
「矢尻を枠に接触させたい」
これだけです。返ってきたものが、こちらです。
矢尻の先端が、字幕枠の上端の9px手前まで来ました。厳密に言えば、頼んだ「接触」には届いていません。それでも1回目の22pxが9pxになっただけで、画面の印象はまったく変わりました。今度はきちんと指差しに見えます。私が欲しかったのは接触という数値ではなく、指差しに見える状態だったのだと、ここで分かりました。
一言足すのに、かかった時間は5秒ほどです。
ここで、引っかかっていたことを確かめたくなりました。そもそもこのやり方を知ったとき、実際に使ったという指示の中身も一緒に紹介されていたはずです。もう一度そこを読み直してみました。
見出しの代わりに大きな文字を置く。ボタンを2つ並べて、説明文の上に動かす。前面の画像を下げて、その大きな文字が隠れないようにする。要素どうしの関係が、そうやって順番に言葉で指定されていました。そのうえで最後に、「だいたい画像と同じ位置にして」と添えてありました。
画像だけを渡してはいなかったのです。
言葉が土台にあって、画像はその位置合わせに使われていました。つまりこの手法は、言葉を捨てる話ではありません。「もう少し大きく」のような曖昧な副詞をやめて、画像と、関係を説明する一文をセットで渡すという話だったのです。言葉を全部やめた私のやり方のほうが、そもそも間違っていました。
同じような話は他でも見かけます。スクリーンショット1枚に「余白と文言の癖だけ抜き出して」と指示したら、手戻りが3回から0回になったという例がありました。これも画像だけではなく、画像から何を読み取ってほしいかを一言で指定している点が同じです。
「それなら最初から言葉だけでいいのでは」への答え
ここまで読んで、こう思った方がいるかもしれません。結局テキストで説明し直すことになるなら、最初から画像を渡す意味はなかったのではないか、と。
これはもっともな疑問なので、正直に答えます。画像か言葉かの二択ではありません。 役割が違います。
言葉だけで場所を伝えようとすると、こうなります。「画面下の字幕の枠、その上端の中央あたりを指すように」。書けなくはないですが、書くのに時間がかかるうえ、読み手が同じ場所を思い浮かべる保証がありません。ここは絵のほうが圧倒的に速いです。
一方で、「なぜそうしたいのか」を絵で描くことはできません。矢印を太くしても、色を変えても、意図は線には乗りません。ここは言葉のほうが速いです。
まとめると、こうなります。
場所は絵で、目的は言葉で。
この配分にした瞬間に、往復は1回で止まりました。どちらか一方に寄せようとするから、足りない側を埋めるための往復が発生していたわけです。
明日から試すなら、足すのはこの一言
特別な道具はいりません。手順は3つです。
その1｜直したい画面のスクリーンショットを撮る
Windowsなら「切り取り＆スケッチ」、Macなら標準のスクリーンショット機能で十分です。動画の場合は、気になる場面で一時停止して撮れば足ります。
その2｜赤ペンで「どこ」を描く
枠で囲む、矢印で指す、それだけです。きれいに描く必要はありません。私の赤入れも、線がよれています。それでも場所は伝わりました。
その3｜「何のために」を一言だけ添える
ここが今回の記事でいちばん言いたいところです。長い説明はいりません。「くっつけたい」「揃えたい」「同じ高さにしたい」「ここだけ目立たせたい」。この程度の短さで足ります。
コツは、形容詞ではなく、要素どうしの関係で言うことです。「もっといい感じに」ではなく「矢尻を枠に接触させたい」。前回の記事で書いた「形容詞をやめて情景で言う」と、同じ方向の話です。伝わる指示は、だいたい関係を名指ししているのだと思います。
まとめ
スクリーンショットに赤ペンで指示を描いてAIに渡した実験から、学んだことをまとめます。
赤入れは「どこ」を伝えますが、「何のため」は伝えません。線の形に意図は乗らないからです。
同じ絵を見ても、人間とAIが読み取るものは違います。私は矢尻と枠の距離を見ていて、AIは矢印の軌道を見ていました。どちらも間違っていません。
そして、答えは画像か言葉かの二択ではありませんでした。場所は絵で、目的は言葉で。この配分にしたら、5秒の一言で往復が止まりました。
同じところでつまずいた方がいたら、コメントで教えてください。次に書くことのヒントになります。フォローしておくと、この続きが届きます。