DALL-E

DALL-E（ダリ、DALL·E）は、OpenAIにより開発された深層学習モデル、およびそのシリーズ名。「」と呼ばれる自然言語の記述からデジタル画像（人工知能アート）を生成する。

名称は、ピクサー映画『ウォーリー』の主人公である同名のロボットと、スペインの画家であるサルバドール・ダリのかばん語である。

モデル OpenAIは、いずれのモデルのソースコードも公開していない。

DALL-E 2021年1月、OpenAI公式ブログの投稿により明らかにされ、GPT-3の画像生成のために変更されたバージョンを使用した。2021年1月5日、DALL-Eをリリース。

DALL-E 2 2022年4月6日（米国時間）、OpenAIはDALL-Eの後継モデルとなるDALL-E 2（ダリツー）をリリース。解像度はDALL-Eの4倍に引き上げられ、より写実的な画像を生成できる。OpenAIによれば「コンセプト、アトリビュート、スタイルを組み合わせることができる」とされている。

2022年7月20日（米国時間）、OpenAIはDALL-E 2のベータ版を公開、待機リストに事前登録していたメンバー100万人に招待を開始した。生成画像の商用利用も許可される。基本利用は無料だが、毎月ユーザーに配布するクレジット消費で利用回数を調整し、多く利用したいユーザーはクレジットを追加購入可能。当初は倫理と安全性に関する懸念から、研究プレビューのため事前選択されたユーザーのみにアクセスが制限されていた。

2022年9月28日、DALL-E 2は誰でも利用可能になり、「待機リスト」の要件は撤廃された。

DALL-E 3

2023年9月20日（米国時間）、OpenAIはDALL-E 2の後継モデルとなるDALL-E 3（ダリスリー）をリリース。ChatGPT上で利用でき、有料プラン「ChatGPT Plus」「ChatGPT Enterprise」加入者は同年10月から利用可能となった。DALL-E 2よりも長文プロンプトの理解力を大幅に高めたことで、OpenAIによれば「DALL-E 3は多くのニュアンスと詳細を理解するため、アイデアを非常に正確な画像へ簡単に変換できる」とされている。

API提供 2022年11月初旬、OpenAIはDALL-E 2をAPIとしてリリースし、開発者がモデルを自身のアプリケーションに統合できるよう提供開始した。2023年にはDALL-E 3も同様にAPIとして提供している。

APIは画像ごとのコストで動作し、価格は画像の解像度により異なる。OpenAIのエンタープライズチームと協力している企業は、ボリュームによるディスカウントを使用できる。

マイクロソフトは、Microsoft 365に含まれる「Microsoft Designer」アプリと、Microsoft EdgeおよびBingに含まれるBing AIの画像生成ツール「Bing Image Creator」におけるDALL-E 2の実装を発表した。 CALAとMixtilesは、DALL-E 2 APIを早期に採用した企業の一つである。

技術 GPTモデルは最初、2018年にOpenAIによりTransformerアーキテクチャを使用して開発された。GPTは、2019年にスケールアップされGPT-2が生成された。2020年にはさらにスケールアップされ、1750億のパラメータを有するGPT-3が作成された。DALL-EのモデルはGPT-3のマルチモーダルの実装であり、120億のパラメータを有し、インターネットから取得したテキストと画像のペアで訓練され、「テキストとピクセルを交換する」。DALL-E 2はDALL-Eよりも少ない35億のパラメータを使用する。

DALL-Eは、CLIP (Contrastive Language-Image Pre-training)と合わせて開発され、一般に公開された。CLIPは、インターネットからスクレイピングされたテキストキャプションつきの画像4億組で訓練されたに基づく分離モデルである。その役割は、データセットからランダムに選択された32,768個のキャプションのリスト（そのうち1つが正解）からどのキャプションが画像に最も適しているかを予測することにより、DALL-Eの出力を「理解しランクを付ける」ことである。このモデルは、最も適した出力を選択するために、DALL-Eにより生成された画像の大きい初期リストをフィルタリングするために使用される。

DALL-E 2は、CLIP画像埋め込みを条件とする拡散モデルを使用し、これは、推論中に以前のモデルによるCLIPテキスト埋め込みから生成される。

能力写真のようなリアルな画像、絵画、絵文字など複数のスタイルの画像を生成できる。画像内のオブジェクトを「操作および再配置」することができ、明示的な指示なしにデザイン要素を新たな構成に正しく配置できる。特定のプロンプトがなくても適切な詳細を推測するために「空白を埋める」能力を示し、例えば一般的にお祝いに関連するプロンプトにクリスマスの画像を追加したり、画像に、言及されていない配置に基づく影を付けたりする。

さまざまな視点からさまざまな任意の記述の画像を生成できるが、ほとんど失敗しない。ジョージア工科大学のSchool of Interactive Computingの准教授であるMark Riedlは、DALL-Eが概念（人間の創造性の重要な要素として説明される）を融合できることを見出している。

レーヴン漸進的マトリックス（人間の知性を測定するために行われることが多い視覚的なテスト）を解決するのに十分な視覚的推論能力を有する。

既存の画像が与えられると、DALL-E 2は元の画像に基づいて個々の出力として画像の「バリエーション」を生成し、画像を編集して変更または拡張することができる。DALL-E 2の「」と「」では、画像からのコンテクストを使用し、所与のプロンプトに従い元の画像と一致する媒体を使用して欠けている領域を埋める。これは例えば新しい被写体を画像に挿入したり、元の境界線を超えて画像を拡張したりするために使用できる。OpenAIによると、「Outpaintingは、元の画像のコンテクストを維持するために影、反射、テクスチャなど、画像の既存の視覚要素を考慮する」

倫理的懸念

アルゴリズムバイアス

DALL-E 2が公開データセットに依存していることは、その結果に影響を与え、ジェンダーに言及していない要求に対して女性よりも男性を多く生成するジェンダーバイアスなど、場合によってはアルゴリズムバイアスにつながる。DALL-E 2の訓練データは、暴力的で性的な画像を除去するためにフィルタリングされているが、生成される女性の頻度が減るなど、場合によってはバイアスが増加することが判明している。OpenAIは、これは訓練データにおいて女性の方が性的な扱いが多く、フィルタが結果に影響を与えたと仮説を立てている。2022年9月、OpenAIはザ・ヴァージにDALL-Eが結果のバイアスに対処するため、フレーズを見えない形でユーザープロンプトに挿入することを確認した。例えば「（黒人）」や「（アジア人女性）」が、ジェンダーや人種を特定していないプロンプトに挿入される。

ディープフェイク

DALL-Eおよび、同様の画像生成モデルには、ディープフェイクや、その他の誤報の伝播に利用される可能性があると懸念される。DALL-Eではこれを軽減するため、公人に関するプロンプトや顔を含むアップロードを拒否する。好ましくないコンテンツを含む可能性のあるプロンプトはブロックされ、アップロードされた画像が分析されて攻撃的な内容が検出される。プロンプトに基づくフィルタリングの欠点は、同様の出力を行う代替フレーズを使用して容易に迂回可能なことである。例えば、「（血）」という単語はフィルタリングされるが、「（ケチャップ）」や「（赤い液体）」はフィルタリングされない。

人間の技術的失業

DALL-Eおよび、同様の画像生成モデルに関しては、その精度や人気のため、人間のアーティスト、写真家、グラフィックデザイナーが技術的に失業する可能性が懸念されている。

著作権侵害と模倣

技術的限界 DALL-E 2に対しては「言語理解に限界がある」との指摘がある。DALL-E 2は「（黄色い本と赤い花瓶）」と「（赤い本と黄色い花瓶）」、「（ラテアートを作るパンダ）」と「（パンダのラテアート）」を区別できない場合がある。また、DALL-E 2は「（宇宙飛行士に乗った馬）」のプロンプトを提示すると「馬に乗った宇宙飛行士」の画像を生成する。そのほか、DALL-E 2は様々な状況で正しい画像を生成できない。3つ以上のオブジェクト、否定、数字、および接続された文を要求すると、間違う可能性がある。限界の理由として、テクストの処理や、天文学や医療画像などの科学情報に対処するためには、容量が限られていることが挙げられる。

脚注

DALL-E

Źródło i licencja