仕組み
処理の流れをすべて。機能ではなく限界である部分も含めて書きます。
処理の流れ、一段階ずつ
無料の機能はブラウザのタブの中だけで動きます。処理するものをサーバーへ送ることはないので、ドロップしたファイルがあなたの端末から出ることはありません。任意のクラウドモデルだけが例外で、実行前にその旨を表示します。その処理のためにファイルをアップロードし、結果は削除しない限り 30 日間保存されます。
- デコード。動画の場合、コンテナを demux して、エンコードされたサンプルをそのままブラウザの動画デコーダへ 1 フレームずつ渡します。プレーヤー要素は使わず、再生を待つこともありません。画像の場合は、ブラウザがファイルをビットマップにデコードします。
- GPU への転送。各フレームを 8 ビット RGBA のテクスチャとして GPU メモリにコピーします。
- リサンプル。2 回のシェーダーパスでフレームを拡大します。先に横方向、次に縦方向で、Lanczos-3 の窓関数つき sinc フィルタを使います。途中の結果は 16 ビット浮動小数で保持するので、フィルタのオーバーシュートは切り詰められずに残ります。
- シャープ。3 回目のパスで、各画素の近傍の最小値と最大値でクランプしたアンシャープマスクをかけます。コントラストの高い輪郭に沿って縁取りが出るのを防いでいるのは、このクランプです。
- エンコード。動画のフレームは、あなたの端末のハードウェア H.264（または VP9）エンコーダで再エンコードし、メモリ上の新しい MP4 に書き出します。画像は PNG で書き出すので、結果が非可逆圧縮でいきなり劣化することはありません。
ここでいう「AI 高画質化」とは何で、何ではないか
このカテゴリのツールの多くは、拡大処理をひとまとめに「AI」と呼びます。日本語でも「動画 高画質化 AI」という言い方が定着しています。ここではその言葉を借りるかわりに、正確に書きます。上に書いた処理は古典的な信号処理です。高品質な再構成フィルタと、適応的なシャープ処理。ブラウザや動画プレーヤーが既定で行うバイリニア拡大よりは確実に良く、とくに輪郭で差が出ます。モデルのダウンロードが要らないので、即時に始まり、オフラインでも動きます。
これは、元の素材になかったディテールをニューラルネットワークが作り出しているのではありません。学習済みネットワークもその隣に並んではいます。目録にある 27 種類の方式のうち 13 種類がそれで、アニメ（Anime4K、924 KB）から Real-ESRGAN の写真向けモデルまであります。どれも「復元する」ではなく「ディテールを作り出す」と明示していますし、どれも既定ではありません。既定は今も古典的な処理のほうで、だからこのツールは即時に始まり、オフラインでも動きます。
そのため、このサイトではあなたの端末で動くものを「学習済みネットワーク」と呼び、「AI」という語は当サイトのサーバーで実行する有料枠のためにとってあります。その枠はまだ有効になっていません。今ここで動かせるものは、どれもあなたの GPU の上で動きます。
正直な限界
- なかったディテールは戻りません。480p を 4 倍にすれば、きれいな 1920×1080 になります。4K マスターにはなりません。もともとシャープで小さい素材がいちばん良くなり、圧縮の強い素材や被写体ぶれのある素材はいちばん良くなりません。
- 時間を決めるのは出力サイズです。フレームは直接 demux してデコードするため、処理時間はクリップの再生時間には縛られません。ただし出力の横幅が 2 倍になるたびに、仕事量は 4 倍になります。
- WebCodecs がデコードできるコーデックだけです。MP4、WebM、MOV、MKV のコンテナはどれも開きます。問題になるのは中のコーデックです。H.264 と VP9 はどこでも安全で、H.265 と ProRes はたいてい安全ではありません。
- 音声は再エンコードせず、コピーします。エンコード済みの音声は元のコンテナから出力へそのまま移るので、何も失われません。出力コンテナがそのコーデックを収められない場合を除きます。
- HDR は色がずれます。10 ビットの素材は、こちらが受け取る前にブラウザがトーンマッピングしています。
- スマートフォンは制約が厳しいです。モバイル GPU はメモリがはるかに少なく、長いクリップや 4K 出力はよく失敗します。ファイルを選ぶ前に、この端末で何ができるかをページが伝えます。
動作条件
拡大そのものには WebGPU が必要で、動画にはさらに WebCodecs が必要です。デスクトップの Chrome と Edge は今どちらも備えています。Safari 26 には WebGPU があります。Firefox は WebGPU を段階的に展開している最中です。どちらかが欠けているブラウザなら、アップロードを待たされたあとではなく、ファイルを選ぶ前にページがそう伝えます。