超解像技術（ちょうかいぞうぎじゅつ、Super-resolution）とはテレビなどに関わるデジタルでの画像処理技術の一つで、入力信号の解像度を高めて出力信号を作る技術を指し、具体的な製品では入力された動画や静止画の信号を高解像度化して出力したり、高解像度の画像を表示したりするものである。超解像技術は、半導体露光装置や共焦点レーザー顕微鏡などのイメージングレーダーや光学顕微鏡でも使用されている。
概説 「超解像」は主に従来の動画の変換で用いられている「アップコンバート」に近い用語として企業の商品宣伝に使われている。超解像技術は、通常は、入力信号の解像度が表示画面の解像度に満たない場合に、それを補うための解像度補間技術を指し、例えば、標準解像度のビデオソフトやワンセグ放送をフルHDの大画面テレビで観る場合に、超解像技術を備えた映像機器によって足りない画素を補間することでよりリアルな映像を楽しむことができる。また、解像度の低い携帯動画をオリジナルより画素数を増やすことで見やすくする場合にも超解像技術が使われる。
超解像技術は、言葉からも解像度、つまり、画素数のみの増加を示しており、色深度やダイナミックレンジ、動画では時間当たりのフレーム数といった画像の解像感を決めるほかの要素は付加されていない。
歴史 この技術そのものは2000年以前から研究されていたが、2000年代なかごろから始まった平面パネルを持つテレビ画面の大画面化競争とその価格低下や、標準解像度程度の映像ソフト資産の存在、半導体技術の向上などによって、一般消費者が居間の映像機器によって高解像度化処理を行なうことが現実的になった。また、業務用途のものも基本的にリアルタイム処理であり、たとえば手持ちの旧映像を長時間かけて高解像度化するといった非リアルタイム処理についての研究成果は殆ど存在しない。
現状 2009年現在では、日本の家電メーカーのように映像機器を製造している企業が、例えば、DVD映像の720×480画素や日本の地上デジタル放送の1440×1080画素をフルHDの1920×1080画素に高める技術を新製品に搭載して販売している。今後はフルHDの1920×1080画素を4096×2160画素や3840×2160画素にも変換できる製品を開発する予定である。
2020年現在、SONYの「BRAVIA」やPanasonicの「VIERA」など多くの4Kテレビにこの技術が「アップコンバート機能」などと称して搭載されている。
技術 動画の解像度を向上させるには、単純なフレーム内処理と、それをさらに高度化したフレーム間処理の2つの方法がある。2009年前半現在は、映像機器に搭載する演算処理用半導体のコストが考慮されて、演算能力と必要メモリがそれほど求められないフレーム内処理だけが製品化されているが、半導体の抗力向上と価格低下、及び購入者の要望の高まりによって、将来は高性能なフレーム間処理へと使用技術が移って行くことが予想される。
フレーム内処理 フレーム内処理では、静止画での画質向上と同様に、簡単に1フレームごとに輪郭補正やドットノイズ消去といった処理を行ない、動画特有の時間軸方向での演算処理は行なわれない。主に輝度信号での処理を行なう。もっとも、単純に線形フィルタをフレーム内の全画素に当てはめると、得られる高解像度画像は新たな画素が元画素の間で平均化されただけのぼんやりした画質となってしまい真の高解像度とはいえない。このため、例えば、元となる画像を、細部が細かく変化するテクスチャ部、テクスチャ部の輪郭部、画素の変化が乏しい平坦部の3つに分けて、テクスチャ部には何らかの画質改善処理をほどこし、輪郭部はエッジ強調処理を、平坦部はそのままにするという異なる操作を行なうことで遠近感を高める工夫をするようなこともある。
フレーム間処理 フレーム間処理では、処理対象となる1つのフレームが持つ画素情報だけでなくその前後のフレームが持つ画素情報を参照することで、対象フレームに含まれるノイズを効果的に除去しながら対象フレームの輝度情報を大幅に向上出来る。動画であるため、前後フレーム間は複数の対象物が複雑に移動するが、当面のフレーム間処理ではフレーム全体での2軸の移動量のみを考慮するにとどめる。
フレーム間処理は必要な演算処理量が多く、またフレーム保存用のメモリが多く必要になる。こういった処理すべてを、動画映像が流れる実時間内ですべて処理する必要があり、かなり強力な演算能力が求められる。
半導体露光装置における超解像技術 半導体露光装置(ステッパー)では光源の波長によって最小線幅が決まる。この限界を打破するために位相シフトマスクや変形照明などの超解像技術が使用される。 詳しくは超解像フィルタを参照。
イメージングレーダーにおける超解像技術
イメージングレーダの分野では、圧縮センシングに基づくアルゴリズムが有効であると考えられ、ドップラー・レーダーの通常の解像度限界を超える超解像画像を得ることが可能である。 このアプリケーションのために、SAMV (アルゴリズム)などの最近の技術が開発されている。
その他の分野における超解像技術 また、天文学の分野では圧縮センシングによるスパースモデリングが有効と考えられ超長基線電波干渉計(VLBI)の分解能限界を超えた超解像の画像を得られる。核磁気共鳴画像法（MRI）でも同様に非調和解析（Non-harmonic analysis:NHA）による超解像の開発が進められる。
超解像システム 映像超解像度
PCではドライバーレベルで超解像度が実装されている。 AMD Radeon Super Resolution (RSR) - Radeon Settingsから設定可能ほとんどのゲームを超解像化で性能向上させる「Radeon Super Resolution」正式リリース Impress 2022年3月18日「Radeon Software」が「AMD Software Adrenalin Edition」に名称変更。超解像技術「Radeon Super Resolution」を新たに導入 4Gamer.net 2022年3月17日。 NVIDIA Image Scaling (NIS) - WindowsではNVIDIAコントロールパネルやGeForce Experienceから設定可能DLSS非対応のゲームでも使えるアップスケーラー、NVIDIA Image Scaling速報レビュー！ DLSSやFSRとの違いは？ ASCII 2021年11月16日。Linuxではgamescopeから使用可能Valve's Gamescope Compositor Merges NVIDIA Image Scaling Support Phoronix 2022年5月18日。
またゲーム向けでは動きベクトルパスなどを出力して、それをガイドとして使うゲーム統合型の超解像度技術もある（DLSS Super Resolutionなど）NVIDIA DLSS 4.5 Delivers Super Resolution Upgrades and New Dynamic Multi Frame Generation NVIDIA 2026年1月14日。
音声超解像度
音声超解像度の機械学習モデルではメルスペクトログラム拡散モデルの AudioSR、高速なワンステップ拡散モデルを用いた FlashSR、メルスペクトログラムレベルのフローマッチングモデルの FLowHigh、短時間フーリエ変換 (STFT) 表現レベルのフローマッチングモデルの UniverSRなどが存在するA Survey of Advancing Audio Super-Resolution and Bandwidth Extension from Discriminative to Generative Models Ningyuan Yangら 2026年5月15日。
脚注
出典
参考文献 佐伯真也 「美に挑む規格外テレビ」『日経エレクトロニクス』2009年2月9日号、日経BP社。
関連項目 リンギング アップコンバート リマスタリング 画面解像度 ダイナミックレンジ 標準画質映像 高精細度テレビジョン放送 アンチエイリアス 空間周波数 ベイズ推定 スパースモデリング 圧縮センシング SpotOCR Multiple signal classification SAMV (アルゴリズム)