[標準化動向]

<MPEG標準動向レポート>第2回:H.264/AVCの後継規格の新標準名は「HEVC」に

主観評価実験を完了し具体的な符号化ツールの選定段階へ
2010/09/30
(木)

動画像圧縮符号化標準「H.264/AVC」は、国際的にも、放送をはじめBlu-Rayなど映像関連機器にも広く普及している。この「H.264/AVC」は、ITU-Tのビデオ符号化専門家グループ〔Video Coding Experts Group(H.264)〕とISO/IECの動画像符号化専門家グループ〔Moving Picture Experts Group(AVC)〕によって、2003年に策定された国際標準である。
現在、これに続く次世代の「H.265/HVC」という動画像圧縮符号化標準への取り組みが開始され、大きな注目を集めている。ここでは、新しく動き出したMPEG会合について、そのホットトピックを解説していく。
今回は、新たに名称を「HEVC」とした新しい動画像符号化技術の標準化審議状況についてレポートする。

早稲田大学大学国際情報通信研究センター客員研究員 石川 孝明
<MPEG標準動向レポート>第2回:H.264/AVCの後継規格の新標準名は「HEVC」に

第91回のMPEG京都会合(2010年1月に開催、第1回目レポートを参照)に続き、第92回は2010年4月19日から23日まで(第1回となるJCT-VCの会合は、4月15日から23日まで)、ドレスデン(ドイツ)にて開催され、第93回は2010年7月26日から30日まで(JCT-VCは、7月21日から28日まで)、ジュネーブ(スイス)において開催された。

ドレスデン会合(第92回)は、アイスランド南部で発生した火山噴火の影響により飛行機の欠航が相次ぎ、多くの専門家が会合を欠席する事態になった。幸い、JCT-VCにおけるH.264/AVC後継規格の審議に大きな影響を及ぼすことはなかった。

■JCT-VCの初会合が開催:新標準の名称は「HEVC」

MPEG(ISO/IEC:Moving Picture Experts Group)は、第91回MPEG京都会合において、H.264/AVCの後継規格となる新標準の提案募集(CfP:Call for Proposals)をVCEG(ITU-T:Video Coding Experts Group)と共同で発行した。また、JVT(Joint Video Team、共同ビデオ部会)に代わる新たな共同作業部会として、JCT-VC(Joint Collaborative Team on Video Coding、共同研究部会)が設立された。

京都会合では一部未定であったJCT-VCの議長に、VCEGの代表としてゲイリー・サリバン(Gary Sullivan)氏が就任し、すでにMPEGの代表として就任しているジェンズ・ライナー・オーム(Jens-Rainer Ohm)氏を含めた2名の議長によりJCT-VCは運営されている。ドレスデン会合は、JCT-VCの初めての会合となった。

これまでH.265/HVCと呼んでいた新標準の名称は、ドレスデン会合において議論され、HVC(High Performance Video Coding)を含む複数の名称案が候補にあがったが、最終的にHEVC(High Efficiency Video Coding、高効率動画像圧縮符号化)という名称に決定した。

■提案方式の主観評価実験が完了

MPEG京都会合(第91回)で発行したHEVC(H.265/HVC)の提案募集に対して、数多くの団体から新しい動画像符号化方式が提案された。各方式の符号化性能を比較するために主観評価実験が行われ、ドレスデン会合において、専門家による実験結果の検証が実施された。

主観評価実験では、最終的に27件の提案方式が受理された。これらに2種類のアンカー(H.264/AVC High Profile を含む複数の符号化条件が設定されたエンコーダ)が加えられ、全体としては29件の符号化方式について主観評価実験が行われた。

テスト映像の画像解像度(4クラス、最大5シーケンス)、符号化条件(2種類)およびビットレート(5種類)の組み合わせを、全29件の提案方式に適用するため、HEVCの主観評価実験は極めて大規模なものとなった。これは、過去にMPEGで行われた最大規模の実験と比較して、約4倍以上の時間を要する実験であると報告されている。

〔1〕主観評価実験から得られた結論

主観評価実験の具体的な内容および結果の詳細は、ドレスデン会合の出力文書(JCTVC-A204)に記載されている。主観評価実験の結果から、次のような結論が得られたと報告されている。

(1)多くの提案方式が、アンカーの符号化性能を上回っている。

(2)各テスト項目で最もよい符号化性能を示した提案方式は、アンカーと比較して、同じMOS(Mean Opinion Score、主観評価の評点の平均値)を示すビットレートがおおよそ半分である(これは、同じ映像品質を実現するために必要な情報量が、アンカーの半分で表現できることを意味する)。

(3)すべての提案方式が、伝統的なハイブリッドエンコーダの構造をもっていた。

(4)実験に用いた提案方式は、HEVCを標準化するために、議論の起点として利用可能である。

以上の報告を踏まえて、ドレスデン会合では、各符号化方式の提案者から方式の内容について説明があり、また、主観評価実験の結論についてもレビューされた。その結果、HEVCの審議を進めるための多くの手掛りが明らかになった。

〔2〕HEVC審議のための主要項目

主要な項目は以下のとおり。詳細な内容は、出力文書(JCTVC-A200)に記されている。

(1)AVCのアンカーに対して、符号化効率の相当な改善が明示された。

(2)既存の動画像符号化方式の基本構成(表1を参照)を大きく変えずに、相当な効率改善が実現できる。

(3)ブロックサイズの自由度の高い変更は、主要な論点である。

(4)改善された動き補間フィルタとループ内フィルタが、新しい設計の要素になる可能性がある。

(5)並列処理の重要性が高まっている。また、CABAC(Context-based Adaptive Binary Arithmetric Coding、周囲の情報に合せて適応的に行う算術符号化)よりも並列処理に適した新しいエントロピー符号化が採用される可能性がある。

(6)低負荷であっても、品質改善が可能であることが示された。

(7)復号器における洗練された推定アルゴリズムの有効性が示された。ただし、複雑性と効率のトレードオフが重要である。


表1 動画像符号化の要素技術
内容 説明
Block-based 複数の画素で構成されるブロックを単位とした処理
Variable block sizes 可変なブロックサイズの利用
Block motion compensation ブロック単位の動き補償
Fractional-pel motion vectors 小数画素精度の動きベクトル検出
Spatial intra prediction 画面内予測(空間的冗長度の削減)
Spatial transform of residual difference (画像から予測信号を引いて生じる)残差信号の変換処理
Integer-based transform designs 整数精度で行う変換の設計
Arithmetric or VLC-based entropy coding 算術符号化/可変長符号化
In-loop filtering to form final decoded picture 符号化ノイズが低減した復号画像を得るためのループ内フィルタ


■検討中テストモデル(TMuC)の作成を開始

主観評価実験のレビューを踏まえ、JCT-VCは、公式のTM(Test Model、テストモデル)を作成するための準備段階として、TMuC(Test Model under Consideration、検討中テストモデル)の作成を開始した。

このTMuCは、主観評価実験で非常に高い性能を示した7件の提案方式を主軸としている。これらの方式が採用する符号化ツールは、同様のものが他の多くの提案方式においても採用されている。そのため、いくつかの技術領域において個別に符号化ツールを評価し、符号化ツールの有効性を検証することになった。TMuCの解説文書は、ドレスデン会合で最初のドラフトが作成され、続くジュネーブ会合後も継続して加筆修正が行われた。

最終的に、公式のテストモデルに組み込む符号化ツールは、TMuCにおいて十分に評価と検証を行うことが前提とされている。この点は、ジュネーブ会合において再確認されている。なお、JCT-VCにおいてHEVCの標準化のために作成されるソースコードは、比較的制約が少ないBSDライセンス下で公開されることが望ましいと、ジュネーブ会合において議長案が提出されている。

■ツール実験の設定と実施

各符号化ツールの有効性を評価するために、TE(Tool Experiments、符号化ツール実験)と呼ばれる実験が定められた。TEは、複数の技術領域に分類されて独立に検討が行われている。その一方で独立的な検討に加え、TE12(JCTVC-B312に対応)ではすべての符号化ツールを組み合せた統合的な実験も定義されている。表2に検討中の技術領域を示す。表中の文書番号は、ジュネーブ会合の出力文書に対応している。TEは、ドレスデン会合では4種類の領域(JCTVC-B301〜B304)が定義されていたが、ジュネーブ会合において拡張され、12項目が実験対象となっている。


表2 ツール実験(Tool Experiments)
文書番号 技術領域(符号化ツール) 説明
JCTVC-B301 Decoder-Side Motion Vector Derivation (一部の)動きベクトルを符号化せずに復号器側で導出する技術
JCTVC-B302 IBDI and memory compression 内部処理の演算精度を高め演算誤差を低減させる技術(Internal Bit Depth Increase)と効率的なメモリの利用技術
JCTVC-B303 Inter Prediction より効果的な画面間予測と幾何的なブロック分割技術
JCTVC-B304 Variable Length Coding 可変長符号化の改良
JCTVC-B305 Simplification of Unified Intra Prediction 新たに提案された画面内予測手法の統一と簡略化
JCTVC-B306 Intra Prediction Improvement 新しい空間予測および複数手法の組み合わせによる画面内予測の効率改善
JCTVC-B307 MDDT Simplification 事前に定義したパターンを利用する方向性変換技術(Mode-Dependent Directional Transforms)の簡略化
JCTVC-B308 Parallel entropy coding エントロピー符号化の並列化処理
JCTVC-B309 Large Block Structure 符号化に用いるブロックサイズや変換ブロックサイズなどの最適な大きさと組み合わせの導出
JCTVC-B310 In-loop filtering デブロッキングフィルタなどのループ内フィルタの改良
JCTVC-B311 Motion Vector Coding 新たに提案された動きベクトル符号化手法の比較と統一
JCTVC-B312 Evaluation of TMuC Tools HEVCに提案された各符号化ツールの統合的な評価


なお、JCT-VC には、TMuCソフトウェアメンテナンスのためのAHG(Ad-Hoc Group、個別の具体的な検討課題について有志の組織が集り構成されたグループ)を含めて、10のAHGが設立されている。TMuCは、広州(中国)で開催予定の次回会合(2010年10月11日から15日)までに、すべての符号化ツールについて統合的に実験可能な状態にすること、また各TEについても同様に、次会合に合わせて評価実験を終えるようにスケジュールされている。次会合以降、HEVCの符号化効率改善に寄与する具体的なツールが明らかにされると考えられる。

■その他の審議中の項目

〔1〕高解像度テストシーケンスの提供について

京都会合において、NHKから8K映像(水平解像度7680画素×垂直解像度4320本)の提供が提案されている。当初は使用許諾条件についての制約が強く、テストシーケンスとしての採用が見送られていたが、ドレスデン会合では条件が緩和されたため、JCT-VCのテストシーケンスとして採用されることになった。具体的な使用許諾条件やシーケンスの内容については、入力文書(JCTVC-A023)に示されている。

また、ジュネーブ会合では、Testvid(主に映像関連の技術者向けにテスト シーケンスを製作している団体、http://www.testvid.com/)より新たなテストシーケンスの提供の申し出があり、今後、どのシーケンスを利用するかなど、具体的に検討することになった。

〔2〕HTTP ストリーミング

ドレスデン会合では、HTTPを利用したビデオストリームの伝送を実現するための標準について、提案募集(Call For Proposals on HTTP Streaming of MPEG Media)が発行された。これに対して複数の方式提案があり、ジュネーブ会合において、WD(Working Draft、作業草案)が作成された。標準の名称は、DASH〔ISO/IEC 23001-6 Dynamic Adaptive Streaming over HTTP (DASH) 〕である。

〔3〕MMT(MPEGメディア転送プロトコル)

ジュネーブ会合において、提案募集〔Call for Proposals on MPEG Media Transport (MMT)〕が作成された。MMT(MPEG Media Transport)は、HTTP ストリーミングで主に実現されるプログレッシブダウンロード以外の、より広範囲な技術を標準化対象としている。

〔4〕3DV(3次元映像)

3次元映像(3DV:3Dimension Video)の符号化に関する標準化では、FTV(Free-viewpoint TV、自由視点映像)を実現するための複数の調査実験が、京都会合から引き続き行われている。これら実験の詳細について、報告文書が一般に公開される予定であったが、公開の延期が決定された。これは、今後発行を予定している提案募集と内容の差異が生じないようにするためである。ただし、ジュネーブ会合において、提案募集の発行時期は白紙に戻されている。

〔5〕ロイヤリティ・フリー・コーデック

RFCodec(Royal Free Codec、ロイヤリティ・フリー・コーデック。特許料無料コーデック)に関する議論では、インターネット上のビデオ配信での用途において強い要望が出されている。その一方で、標準化組織としては特許料が生じないことを完全に保証することが困難であることや、特許に関連して生じる諸問題に対して責任をもつことはできないという現実的な問題がある。そのため、統一的な結論を得にくい状況にあった。そこで、標準化プロセスに入るために必要な5カ国のサポートが得られなければ、議論を終えることを示したうえで、各NB(National Body、国ごとに構成される専門家集団)からのコメントを募集することをドレスデン会合において決定した。そして、続くジュネーブ会合において、最終的に5カ国のサポートが得られたため、Option-1 Licensing Video Codecとして新しい標準の議論を継続することになった。第95回MPEG会合においてNew work item(新たに審議を開始する標準)として承認されることを目標としている。

■標準化スケジュール

 審議中の項目についての今後のスケジュールは、それぞれ次のとおりである。

〔1〕HEVC

引き続き、2012年の標準発行を目標としたスケジュールである(表3)


表3 HEVCの標準化スケジュール
標準化段階 時期
WD 2011年1月
CD 2011年7月
FCD 2012年1月
FDIS 2012年7月


〔2〕HTTP Streaming

ジュネーブ会合で作業草案(WD)を発行し、次会合での委員会草案(CD)発行を目指す(表4)


表4 HTTPストリーミングの標準化スケジュール
標準化段階 時期
CD 2010年10月
FCD 2011年1月
FDIS 2011年7月


〔3〕MMT

MMTは、表5に示すスケジュールで標準化することを目指す。ドレスデン会合では、WD発行を2010年10月としていたが、ジュネーブ会合において2011年1月に延期している。


表5 MMTの標準化スケジュール
標準化段階 時期
方式の評価 2011年1月
WD 2011年1月
CD 2011年7月
FCD 2012年1月
FDIS 2012年10月


≪用語≫
CD:Committe Draft、委員会草案
WD:Working Draft、作業草案
FCD:Final CD、最終委員会草案
FDIS:Final Draft International Standard、国際標準の最終草案


            *     *     *     *     

本レポートでは、JCT-VCにおいて標準化作業が開始されたHEVCの審議状況について述べた。数多くの提案方式で示された新しい符号化ツール群が、TMuCという共通のモデルに集約されつつある。今後、公式のテストモデルが作成されることで、HEVCが更なる性能改善を実現し、H.264/AVCを超える動画像符号化標準として確立されることが期待される。

≪参考サイト≫

「JCT-VC の文書リポジトリ」http://wftp3.itu.int/av-arch/jctvc-site/



プロフィール

石川 孝明(いしかわ たかあき)氏

石川 孝明(いしかわ たかあき)氏

現職:
早稲田大学国際情報通信研究センター客員研究員

【略歴】

2003年、早稲田大学理工学部電子・情報通信学科卒業。2005年、同大学院国際情報通信研究科修士課程修了。同年、同大学院博士後期課程入学。2007年、同大学国際情報通信研究センター助手、現在に至る。
主に、画像符号化に関する研究に従事。現在は、ネットワーク親和性を有する画像符号化技術の研究に従事。IEEE、情報処理学会、電子情報通信学会、画像電子学会、信号処理学会各会員。ISO/IEC JTC1/SC29 WG11 Video小委員会およびWG1小委員会各委員。

連絡先:takaxp@ieee.org


インプレスR&D発行の関連書籍

好評発売中!
IPTV用の新標準「LIME」ハンドブック2010
[BMLを拡張しHTML5のサブセットを目指す汎用仕様]

http://r.impressrd.jp/iil/LIME2010

執筆者:川森雅仁(NTT サイバーソリューション研究所)
ページ数:216P
サイズ・判型:A4判
価格:CD(PDF)版 85,000円(税抜)
   CD(PDF)+冊子版 95,000円(税抜)

〔本書の特徴〕
本書は、国連の組織である、国際電気通信連合(ITU)で勧告化され、国際的にも大きな注目を集めている「H.762」(LIME:ライム)の初めての解説書である。H.762勧告は、正式には'Lightweight interactive multimedia environment(LIME)for IPTV services'と呼ばれるが、身近な表現に言い換えると、「IPTVサービス用のマルチメディア記述言語」といえる。
本書では、LIMEが勧告化(標準化)されるに至った経緯を、既存のBMLとの違いを対比しながら、「デジタル放送の規格であるBMLがなぜIPTV用の勧告の基礎になり得るのか」という点を明確にし、これにより、IPTV用の国際標準であるLIMEと、デジタル放送用規格として普及しているBMLの関係がよりよく理解できるようになっている。また、BMLのもつポジティブな特徴を明確にして再評価することにより、なぜBMLがIPTVという「Webと放送の両方の要素を併せ持つサービス」のためのマルチメディア・コンテンツ・プラットフォームの基礎となり、LIMEへと進化・発展したのかも明らかにし、LIMEが、放送の厳しい要求条件をも満たしながらWeb技術の広がりを併せもち、汎用的な家電製品(テレビ端末など)のうえでリッチ・コンテンツを可能にする内容を、すでに国際的に開発された具体的なLIMEコンテンツ(サンプルプログラム)を提示しながら解説している。また、現在話題となっているHTML5との関連HTML5との関連性も高いところから、HTML5のサブセットとしても検討され、注目されている。


好評発売中
インプレス標準教科書シリーズ 改訂三版 H.264/AVC教科書
=SVC/MVCを追加した最強の画像圧縮技術の決定版!=

監修者:大久保榮
編著者:角野 眞也、菊池 義浩、鈴木 輝彦
ページ数:392ページ
判型:B5判
価格:[本体4,200円+税]、インプレスR&D刊

【本書の内容】
『改訂版 H.264/AVC教科書』(2006年)をさらに刷新した改訂三版。H.264/AVCにおける新しいSVC(スケーラブル映像符号化)規格とMVC(多視点映像符号化)規格を追加しています。
H.264/AVC規格は、ケータイやスマートフォン、ゲーム、Blu-ray、デジタル放送、テレビ会議等に必須の技術で、現在の映像技術の世界では不可欠となってきています。今後、さまざまな映像アプリーケーションにおいて、H.264/AVC規格が採用され、その用途は、ますます広がっていくことが期待されています。
本書は、放送/通信業界の技術者には、必読の一冊です。


好評発売中
インプレス標準教科書シリーズ IPTV時代のデジタル放送教科書
=IPTVの標準化と完全デジタル化される放送の新展開を体系的に解説=

著者:亀山渉〔早稲田大学理工学術院〕、花村剛〔(株)エモヴィス〕
ページ数:400ページ
判型:B5判
価格:4,935円(税込)、インプレスR&D刊

【本書の内容】
IPによるブロードバンド(通信)とデジタル化された放送(TV)が融合したIPTV時代が現実のものとなってきました。このような背景のもと、本書は、既刊書『改訂版デジタル放送教科書』(上)/(下)巻について大幅な見直しを行い、『IPTV時代のデジタル放送教科書』として、装いも新たに発刊するものです。
国際的に進むデジタル放送の日・米・欧・アジア等の歴史と最新動向をとらえながら、MPEG標準とパテント・プール方式や、H.264/AVCにおける新しいプロファイルの解説を追加。さらに、新しく策定されたIPTV標準について、BMLをベースにしてIPTV用に拡張した「勧告 H.762」(LIME)を含めて解説しています。また、アナログ放送終了に伴って浮上してきた、次世代ワンセグとも言われる携帯端末向けマルチメディア放送の3方式や、ますます重要度を増してきたメタデータやコンテンツ保護方式なども盛り込み、次世代に向かうデジタル放送の新しい流れを体系的に整理して解説しています


好評発売中!
改訂版デジタル放送教科書〈上〉
新圧縮方式 H.264/AVCを追加した、進化するデジタル放送の決定版!

監修:亀山 渉・花村 剛
ページ数:400P
サイズ・判型:B5判
価格:3,990円(税込)

〔本書の特徴〕
デジタル放送を支える中核技術としても、広く普及している圧縮符号化技術「MPEG-1、MPEG-2、MPEG- 4」から最新の「H.264 /AVC」までを、体系的にまとめて解説。また、インターネットと放送の融合も視野に入れ、デジタル放送の歴史や変調技術の基礎までを幅広く網羅している、デジタル放送の解説書。「改訂版デジタル放送教科書〈下〉」では、MPEG-7、MPEG-21に加えて、注目されるメタデータや1セグメント放送などを解説。


好評発売中!
改訂版デジタル放送教科書〈下〉
デジタル放送で加速する放送とブロードバンドの融合!=放送革命の最新コア技術を網羅=

監修:亀山 渉・花村 剛
ページ数:344P
サイズ・判型:B5判
価格:3,990円(税込)

〔本書の特徴〕
デジタル放送で注目されているH.264/AVCによるワンセグ放送やモバイル放送からメタデータ、コンテンツ流通、コンテンツ参照IDや著作権管理保護、サーバー型放送に至るまでを多角的な面から解説。さらに、放送業界における新しいビジネス・モデルやなども紹介しながら、精力的に進められているMPEG-7/MPEG-21/TV-Anytimeなど、最新の国際標準化の内容も解説している。なお、「改訂版デジタル放送教科書<上>」では、MPEG-1、MPEG-2、MPEG-4、H.264/AVCを、体系的にまとめている。

関連記事
新刊情報
5G NR(新無線方式)と5Gコアを徹底解説! 本書は2018年9月に出版された『5G教科書』の続編です。5G NR(新無線方式)や5GC(コア・ネットワーク)などの5G技術とネットワークの進化、5...
攻撃者視点によるハッキング体験! 本書は、IoT機器の開発者や品質保証の担当者が、攻撃者の視点に立ってセキュリティ検証を実践するための手法を、事例とともに詳細に解説したものです。実際のサンプル機器に...
本書は、ブロックチェーン技術の電力・エネルギー分野での応用に焦点を当て、その基本的な概念から、世界と日本の応用事例(実証も含む)、法規制や標準化、ビジネスモデルまで、他書では解説されていないアプリケー...