動画からPowerPointへの変換でスライドが抜ける理由と、結果の確かめ方
このページの内容
要点： スライドの抜けは、何秒ごとに1枚見るか、どれだけ変われば次の1枚とみなすか、切り替わりが終わるのを待つか、画面の中に動き続けるものがあるか、そして最後の重複除去——この5つのどこかで起きます。どこで起きたのか分からないうちは、「AIの精度」という言い方では原因にたどり着けません。
私はVideo2Anyと、オープンソースのvideo-slide-extractorを開発・保守しています。この記事は実装した側の記録であって、第三者による製品比較ではありません。どこでどう失敗するのかを、読んだ方が自分で確かめられるようにするのが目的です。
製品名ではなく、症状から確かめる
| 起きていること | 疑わしい工程 | 最初に見る項目 |
|---|---|---|
| 短時間しか映らなかった1枚が丸ごとない | 解析の間隔 | 何秒ごとに1枚を解析しているか |
| 箇条書きが1行増えただけの変更を見落とす | 変化の判定 | 感度の設定と切り抜き範囲 |
| 切り替わり途中の半透明な画像が入る | 1枚の選び方 | 変化を見つけてから撮るまでの待ち時間 |
| カーソルやカメラ映像のせいでページが増える | 動きの扱い | 切り抜き範囲と、動く部分を除外できるか |
| もう一度映したスライドが消える | 重複除去 | 時系列を残したいのか、重複のない1部が欲しいのか |
1. 何秒ごとに1枚見るかが、拾える上限を決めます
多くのツールは動画の全フレームを比べるのではなく、数秒ごとに1枚だけ取り出して調べます。処理は速くなりますが、あるスライドが表示されてから消えるまでが2回の解析のあいだにすっぽり収まってしまうと、後の工程はそのスライドの存在を知りません。ここで取り込まなかった画面は、感度を下げても戻ってきません。
これはVideo2Anyだけの話ではなく、一定間隔で取り出す方式に共通する制約です。FFmpegの公式文書にも、目標のフレームレートに合わせてフレームを捨てたり複製したりすると書かれています。ツールごとに取り出し方も間隔も違うので、比べる前に、実際に何秒ごとなのかを確かめてください。 FFmpeg fpsフィルターの文書
Video2Anyは動画の長さからこの間隔を自動で決めます。ふつうは1〜6秒で、極端に長い動画では端末が苦しくならないよう間隔を広げます。編集画面から間隔を詰めてやり直せるようにしてあるのは、「まず全体をざっと見る」設定と「1枚も落としたくない」設定が、もともと別物だからです。
2. 「どれだけ変われば次の1枚か」の線引きには、必ず代償があります
検出する側は、2枚が違うかどうかを判断する基準を持っている必要があります。基準を厳しくすると、圧縮によるノイズやカーソルの動きは無視できますが、箇条書きが1行増えただけの変更も一緒に無視されます。緩くすると小さな変更を拾える代わりに、発表者が動いただけで新しい1枚と判定されることがあります。
Video2Anyは画面を縮小してからブロックに分け、ブロックごとに色の変化を測り、変化したブロックがどれだけあるかを数えます。この割合は、渡された動画に合わせて自分で調整します。別の指標を使う製品もあります。PySceneDetectの文書には、固定のしきい値と、カメラが動いたときの誤検出を減らすための適応型の検出器の両方が載っています。これは線引きの難しさが共通の課題であることを示す例であって、どの製品もPySceneDetectを使っているという意味ではありません。 PySceneDetectの検出器ドキュメント
3. 変化を見つけることと、使える1枚を選ぶことは別です
時刻は合っているのに画像が使えない、ということが起こります。フェード、ワイプ、箇条書きが順に出てくる演出では、前のスライドと次のスライドが混ざった途中の画像が生まれます。「ここで変わった」という判定自体は正しくても、表示はまだ落ち着いていません。
後の工程で、次の解析点まで進めたり、変化を見つけてから少し待って撮ったりできます。半透明の画像は確かに減りますが、瞬時の切り替えと2秒のフェードと長い箇条書きの演出を、同じ待ち時間で扱うことはできません。集計するときは、使えない画像の数と、見つけられなかった時刻の数を分けて数えてください。
4. 画面の中で何かが動き続けると、「違う」の意味が変わります
ワイプ、カーソル、その場で書くコード、動くグラフ、手持ちのカメラ——どれもスライドが1枚も進んでいないのに画面を変え続けます。いちばん確実なのは、スライドが映っている落ち着いた範囲だけを切り抜くことです。切り抜けない場合は、毎回変化しているブロックを比較の対象から外せます。
厄介なのは、動きが主役の動画では、動く部分を外すと見るべきものまで外れてしまう点です。そのためVideo2Anyは、外した後に残る画面がまだスライドらしく振る舞う場合にだけ、この除外を残します。誤検出は減りますが、どんな録画でも大丈夫という保証ではありません。
5. 重複除去が、意味のある再表示まで消すことがあります
隣どうしの比較が答えるのは「この1枚は直前の1枚と違うか」です。重複除去が答えるのは「この1枚は、すでに残したどれかと似ていないか」です。問いが違うので、答える工程も別になります。
講師が途中で目次に戻ったとき、要点をまとめた資料なら1枚あれば足ります。授業の流れをそのまま残す記録なら、2回とも残したいはずです。つまり「重複」は似ている度合いだけで決まらず、何を作りたいかで決まります。書き出したファイルを、自分の用途で一度見てください。
全部を処理する前に、5分だけ確かめる
- 実際の切り替わりが10〜20回あり、切り替え演出が1回と、箇条書きが1行増えるような小さな変更が1回入っている、2〜5分の区間を選びます。
- 各スライドが映り始めた時刻を書き出します。簡単なCSVで構いません。これが答え合わせの基準になります。
- 実行する前に、使ったバージョン、解析の間隔、感度、切り抜き範囲、出力サイズを控えておきます。
- 答え合わせでは、まず許容する時間のずれを決め、1つの検出結果が対応してよい切り替わりを1回までにします。複数の結果が同じ1枚を取り合わないようにします。
- 抜けた枚数、余分に出た枚数、重複した枚数、使えなかった切り替わり途中の画像——この4つを分けて記録します。
数字で比べたいときは3つ使います。precisionは検出したうち本当に切り替わりだった割合、recallは実際の切り替わりのうち見つけられた割合、F1はその2つの釣り合いです。オープンソースのパッケージには、答え合わせの規則と報告する項目まで決めた、再現できる手順が入っています。 再現できる評価手順
私ならまずここを変えます
- 短時間の1枚だけが抜ける： その区間の解析間隔を詰めます。
- 小さな追加変更が拾えない： 感度を上げ、そのうえでカーソルや圧縮ノイズが余分な検出を生んでいないか確かめます。
- 余分なページが大量に出る： 全体の感度をいじる前に、カメラ映像や動く操作パネルを切り抜きで外します。
- 半透明の画像が入る： 落ち着いた後の1枚を選び、時刻の正しさと画像が使えるかどうかを1つの点数にまとめません。
- 再表示したページが消える： 重複除去を使う前に、重複のない資料と時系列の記録のどちらが必要かを決めます。
よくある質問
動画からPowerPointへ変換したとき、1枚だけ抜けるのはなぜですか？
多いのは解析の間隔が原因です。表示されていた時間が2回の解析のあいだに収まってしまうと、検出する側はその画面を一度も受け取りません。もう一つは判定の基準が厳しい場合で、箇条書きが1行増えた程度の変更が「変わっていない」と扱われます。
解析の間隔を短くすれば、すべてのスライドを復元できますか？
短いスライドに気づく確率は上がりますが、きれいな結果になるとは限りません。間隔を詰めるほど処理は重くなり、切り替わり途中の候補も、動きによる余分な検出も、後で取り除く重複も増えます。
書き出したPPTXに半透明のスライドが入るのはなぜですか？
フェードやワイプ、箇条書きの演出が終わる前に変化を見つけたからです。切り替わりに気づくことと、落ち着いた1枚を選ぶことは別の問題なので、対策も別に立てます。
同じスライドが何枚も出るのはなぜですか？
カーソルの動き、ワイプ、小さなアニメーションが新しい1枚と判定されることがあります。講師が前のスライドに戻る場合もあります。重複を取り除く工程は、隣どうしの比較とは別に動いています。
一度も解析されなかったスライドをAIで復元できますか？
音声や前後の画面から、それらしいページを作ることはできます。ただしそれは新しい資料を作っているのであって、元の画面を取り戻しているわけではありません。別のものとして表示し、別に評価する必要があります。
まとめ
何秒ごとに解析するか、どう答え合わせするか、重複をどう数えるか、画像が使えるかどうか——ここを決めていない検証から、「動画からPowerPointへの変換精度」を1つの数字で正直に出すことはできません。短い区間に正解を付け、どの工程で失敗したかを特定し、設定は1つずつ変えてください。判断の材料になるのは、宣伝文句ではなく書き出されたファイルです。