分布意味論（ぶんぷいみろん、）は、大規模な言語データのサンプルにおける分布特性に基づいて言語項目間の意味的類似性を定量化・カテゴリ化する理論と方法を開発・研究する研究分野である。分布意味論の基本的な考えは分布仮説に集約される。すなわち、類似した分布を持つ言語項目は類似した意味を持つ。
分布仮説 言語学における分布仮説とは、言語使用の意味の理論から導かれるものであり、同じ文脈で使用・出現する語は類似した意味を持つ傾向があるというものである。
「語はつきあう仲間によって特徴づけられる」という基本的な考えは、1950年代にファースによって広められた。
分布仮説は統計意味論の基礎となっている。分布仮説は言語学に起源を持つが、現在では語の使用文脈に関する認知科学においても注目を集めている。
近年、分布仮説は言語学習における類似性に基づく一般化の理論の基礎となっている。これは子供が類似した語の分布からの一般化によって、ほとんど出会ったことのない語の使い方を理解できるという考えである。
分布仮説は、二つの語が意味的に類似すればするほど、分布的にも類似し、したがって類似した言語的文脈で出現する傾向が強まることを示唆する。
この示唆が成り立つかどうかは、計算モデリングにおけるデータの疎性問題と、比較的貧困なインプット（これはまた刺激の貧困の問題としても知られる）にもかかわらず子供がいかに迅速に言語を学習できるかという問題の双方に重要な意味合いを持つが、これは不明確である。
ベクトル空間における分布意味論のモデリング 分布意味論は計算ツールおよび表現の枠組みとして線形代数の使用を好む。基本的なアプローチは高次元ベクトルに分布情報を収集し、分布的・意味的類似性をベクトルの類似性によって定義することである。 収集するベクトルに使う分布情報の種類によって異なる類の類似性を抽出することができる。言語項目が出現するテキスト領域の情報でベクトルを埋めることでトピック類似性を、語と共起する他の言語項目の情報でベクトルを埋めることで範列的類似性を抽出できる。後者のベクトルは個々のベクトル成分を見ることで連辞的類似性の抽出にも使える。
分布的類似性と意味的類似性の相関という基本的な考えはさまざまな方法で実装できる。分布意味論を実装した計算モデルは多様であり、潜在意味解析（LSA）、言語への超空間的類比（HAL）、構文・依存関係ベースモデル、ランダムインデクシング、意味の折り畳み、およびトピックモデルのさまざまな亜種が含まれる。
分布意味論モデルは主として以下のパラメータに関して異なる。
文脈の種類（テキスト領域 vs. 言語項目） 文脈窓（サイズ、拡張など） 頻度の重み付け（例：エントロピー、点ごとの相互情報量など） 次元削減（例：ランダムインデクシング、特異値分解など） 類似度尺度（例：コサイン類似度、ミンコフスキー距離など）
言語項目を文脈として用いる分布意味論モデルは語空間モデル、またはベクトル空間モデルとも呼ばれる。
語彙意味論を超えて 分布意味論はこれまで語や複合語などの語彙項目に適用されてきたが、これはとりわけ神経的に着想を得た深層学習モデルへの入力層としての適用可能性によるものであり、相当な成功を収めてきた。しかし、語彙意味論、すなわち語の意味は、発話全体の意味の一部しか担わない。「虎はウサギが好きだ」などの節の意味は、それを構成する三つの語彙項目の意味を検討するだけでは部分的にしか理解できない。分布意味論は、瞬間化されていない項目を持つ場合と持たない場合の両方で、より大きな言語項目（構文）をカバーするよう直接的に拡張できるが、モデルの基本的な前提の一部をある程度調整する必要がある。構文文法と語彙-統語的連続体の定式化は、分布意味論モデルにより精緻な構文を組み込む一つのアプローチを提供しており、ランダムインデクシングのアプローチを用いた実験が実装されている。
合成分布意味論モデルは、統語的規則に基づく意味関数を明示的に用いて参加する語彙単位の意味を合成的モデルへと組み合わせることで句または文全体の意味を特徴づける形で、分布意味論モデルを拡張する。この研究は元々、オックスフォード大学のスティーヴン・クラーク、ボブ・クーク、メルノーシュ・サドルザーデが2008年の論文「合成分布意味モデル」において提案したものである。 SemEvalなどの確立されたワークショップでは、神経モデルを含むさまざまな合成アプローチが探求・議論されている。
応用
分布意味論モデルは以下のタスクに対して成功裏に応用されている。 語と複合語の間の意味的類似性の発見 意味的類似性に基づく語のクラスタリング シソーラスと二言語辞書の自動作成 語義曖昧性解消 同義語や関連語を用いた検索要求の拡張 文書のトピックの定義 情報検索のための文書クラスタリング データマイニングと固有表現認識 異なる主題領域の意味マップの作成 言い換え 感情分析 語の選択選好のモデリング
ソフトウェア S-Space SemanticVectors Gensim DISCO Builder Indra
関連項目
概念空間 共起 分布関係型データベース Gensim 連語 ランダムインデクシング 文埋め込み 統計意味論 Word2vec 単語埋め込み
人物 スコット・ディアウェスター スーザン・デュメイス J・R・ファース ジョージ・ファーナス ゼリグ・ハリス トーマス・ランダウアー マグヌス・サールグレン
脚注
参考文献
Reprinted in
外部リンク Zellig S. Harris