領域概要

本研究の目的は、言語研究における合成データの有用性を検証することです。合成データは、大規模言語モデル（Large Language Model; LLM）が生成するテキストやその副産物の内部表現（ベクトル）など、LLMを媒介として得られるデータ全般を指します。具体的には、合成データが、人間が生成したテキスト、言語学的知見、脳活動情報などの実データをどの程度再現できるか検証します。

合成データが実データを一定程度再現できるのであれば、収集が高コストな実データの代わりに低コストな合成データを利用することで、言語研究の加速化が期待されます。具体的には、（1）意味や認知など従来手法では評価が困難だった言語現象の定量的評価、（2）欠損値補完などのデータ拡張、（3）物理的・倫理的制約等により実施が困難な実験の代替、（4）被験者を要する高コストな実験の低コスト化、などのメリットが挙げられます。

上記の目的達成のために、本領域では、コーパス合成学、内在特性測定学、言語シミュレーション学、比較神経表現学の4つの計画研究を設定しました。

計画研究の概要

A01 コーパス合成学

言語について研究をするとき、調査対象となる言語データ（コーパス）が重要になります。コーパスを分析することで、ある表現や単語がどのような文脈でどのくらいの頻度で出現するのか、どのような意味で使われるているのか、書き手やジャンルによってどのような違いがあるのか、など様々な疑問に答えることができます。しかし、コーパスを作ることは非常に大変な作業です。

そこで本計画研究では、LLMを利用して人工的に生成したコーパス、いわば合成コーパス（synthetic corpus）を、実コーパスの代替品として使うことを考え、合成コーパスは実コーパスにどのくらい似ているのか、どうすれば似るようになるのか、などの疑問に答えます。さらに、人間が持つとされている内的概念（例えば、認知言語学でconstrualと呼ばれるものなど）をLLMが有するかなどを調べることで、LLMの言語研究における活用範囲をより広めていきます。さらに、LLMは様々な条件で学習することができるので、学習条件によりLLMと人間の類似性はどのような影響を受けるのか、またLLMの学習は人間の言語獲得や言語変化とどのように類似しているのか、といった疑問にも答えていきます。

A02 内在特性測定学

本計画研究は、言語の裏側に潜む特性を測定するための手法の創出を目的とします。そのような特性のことを我々は言語の内在特性と呼んでいます。例えば、単語の印象や意味の変化など、言語データの表層には明示されない特性の測定です。例えるならば、言語データ用の顕微鏡やレントゲンのようなツールを創り出すことに取り組みます。従来は、主に、言語学者の直観、被験者実験、文章の分析に基づいて内在特性の測定が行われてきました。これらの方法の有効性は疑いようがありませんが、いずれも人を介するため、測定の規模を大きくすることが容易ではありません。また、物理的・倫理的な制約により実施できない実験や分析も存在します。

本研究の主たるアプローチでは、LLMの内部状態を利用します。LLMに言語データを入力すると副次的に内部状態（より正確には言語モデルの隠れ状態）が得られます。内部状態は入力データを反映した数値の組（ベクトル）で表されます。この内部状態に、各種演算を適用することで、内在特性を測定することを可能とします。また、LLMを被験者とみなした内在特性の測定手法の開発にも取り組みます。各計画研究と協力し、言語のどのような内在特性をどこまで測定できるのかを明らかにします。

A03 言語シミュレーション学

本計画研究では、言語研究におけるシミュレータとしてのLLMの可能性を探究します。具体的には、直接的な観測が困難な言語現象（例：言語変化、言語接触）のモデル化や、物理的制約や高コストのために実施が困難な実験（例：多言語の話者を必要とする通言語的実験）の代替として、LLMがどのように、どの程度、活用できるか、その可能性と限界を明らかにします。LLMによるシミュレーション結果が実データや既存の言語学的知見をどの程度再現できるか検証し、モデルの妥当性を評価します。

シミュレーションを通じたデータ拡張により、現実には取得が困難な言語データを補完したり（例：文献上には現れないが実在したと想定される語形の復元）、特定の要因を追加・除去した仮想現実実験により、任意の環境下でのモデルの振る舞いを分析することが可能になると考えています。現象を再現して理解するという構成的手法により、言語の動的様態や普遍性・多様性という言語学上の重要な問いに対して、新たな知見を掘り起こすことを目指します。また、他の計画研究とも連携し、様々な言語現象に対するシミュレータとしてのLLMの可能性と限界を探究します。

A04 比較神経表現学

本計画研究は、LLMを単なる言語処理モデルとしてではなく、ヒト脳における意味情報表現を理解するためのモデルとして捉え、その有効性と限界を検証することを目的とします。近年、LLMの内部表現が言語課題中の脳活動を高精度に予測できることが示されていますが、視覚や感覚などの非言語的情報を含む脳内表現との関係については、まだ十分に明らかになっていません。本研究では、知覚・認識・解釈・言語化に至る一連の情報処理過程を対象に、脳活動とLLM内部表現の関係を体系的に調べることで、言語と非言語をまたぐ汎用的な意味情報表現のあり方を明らかにすることを目指します。

本研究では、LLM内部表現に基づく脳活動生成と脳情報解読を活用し、ヒト脳の情報処理様式をコンピュータ上で調べるインシリコなアプローチを発展させます。任意のテキストから脳活動を予測・生成するモデルを基盤として、既存知見の再現や仮説探索を行うとともに、脳内表現とLLM表現の比較およびその対応関係の評価を進めます。これにより、実測データに依存しない解析と仮説検証を可能にし、脳情報解析の方法論を拡張します。また、本計画研究は、LLMを活用した他の研究班の取り組みに対して神経科学的な基盤を提供し、領域全体の研究推進に貢献することを目指します。