WARC (ファイルフォーマット)

WARC（Web ARChive）とは、複数のデジタル資源を関連情報と共に1つの集合アーカイブファイルに統合する方法を規定するアーカイブフォーマットである。これらの統合された資源はWARCファイルとして保存され、ReplayWeb.pageなどの適切なソフトウェアを使用して再生できたり、ウェイバックマシンなどのアーカイブウェブサイトで使用できる。

WARCフォーマットは従来World Wide Webから収集された「ウェブクロール」をコンテンツブロックのシーケンスとして保存するために使用されていたインターネットアーカイブのARC_IAファイルフォーマットの改訂版である。WARCフォーマットはアーカイビング団体の収集、アクセス、交換の需要をより適切にサポートするために古いフォーマットを一般化したものである。現在記録されている主なコンテンツに加えて、この改訂版では指定されたメタデータ、省略された重複検知イベント、後日の変換記録など関連する二次コンテンツも収容できる。WARCフォーマットはHTTP/1.0ストリームに触発されており、同様のヘッダーとCRLFを区切り文字として使用するので、クローラの実装に非常に適している。

2008年に最初に仕様が規定されたWARCは、現在ではほとんどの国立図書館システムでウェブアーカイビングの標準として認められており、一部の国立図書館システムではWACZも許容できるフォーマットとして挙げられ始めている。

ソフトウェア

ArchiveBox ArchiveWeb.page

har2warc Java製のHeritrixウェブアーカイバ

ReplayWeb.page Scoop

warcit wget（バージョン1.14から） WebsiteArchiver

脚注

注釈

出典

WARC (ファイルフォーマット)

Źródło i licencja