この記事では、因果推論における「自然実験」について、その意味や重要性、自然実験を活用した分析手法を具体例をもとに解説します。
<目次>
「自然実験」とは何か
「実験データ」と「観察データ」
ある対象について分析する際に使用されるデータには、大きく分けて「実験データ」と「観察データ」の2つがあります。
「実験データ」とは、統計分析とその解釈が率直に行えるように、外的要因をうまく揃えて集められたデータのことであり1、自然科学の分野において統計分析を行うためのデータとして広く用いられるものです。
一方、「観察データ」とは、経済学や社会学のような「実験」を行うことが難しい社会科学領域などにおいて、人々の自発的な行動の結果を記録としてデータ化したものを指します。
計量経済学などにおける「実験データ」は、より具体的には、「ランダム化比較試験 (RCT)」 によって得られたデータのことを指します。RCTでは、対象となる集団を「無作為（ランダム）に」2つのグループに分け、そのうちの1つのグループのみに対して処置を行います。
この時、集団を「無作為に」2つのグループに分けたことで、2つのグループは「処置の有無」以外の点においては同等と考えられることから、2つのグループの結果の差をその集団における処置の「因果効果」と考えることが可能となります。
一方、人々の自発的な行動の結果を記録した「観察データ」では、処置を受けるか否かは無作為化されておらず、後述する共変量（交絡因子）などの影響を受けることから、2つのグループの結果の差をそのまま処置の「因果効果」と考えることが出来ません。
「自然実験」の意味
「自然実験 (Natural Experiment)」は、本当の実験のように人工的にコントロールされているわけではないものの、まるで実験が起こったかのような状況がうまく利用できる状態のことを指します。これは、実験データが得られない状況において、制度がもたらす偶然や偶発的な事象などによって、あたかも実験を行ったように因果効果の推定を行うことができることを意味します。
例えば、低所得家庭における子供の進学を支援する政策として、一定以下の所得の家庭を対象に、進学支援金を支給するケースを考えます。この時、自治体の財源による制約から、支援金の支給対象は、申し込みのあった家庭について所得金額や親の就労状況、子供の数などの条件を加味し点数化した上で、点数の高さ順に一定数の家庭に限定すると仮定します。
このケースでは、「進学支援金の支給」という処置の割り当てはRCTのように無作為化されてないため、支援金の対象となった家庭と対象とならなかった家庭における子供の進学率の差を、そのまま支援金支給の因果効果と考えることはできません。
なぜなら、支援金の対象となった家庭とならなかった家庭では、進学率に影響する可能性のある他の要素（家庭の所得金額や親の就労状況、子供の数など）が異なっていたはずであり、この両者の進学率を単純比較することは、支援金の効果を過少に評価する可能性が高いからです。
一方で、この時、「ギリギリで支援金の対象となった家庭」と「ギリギリで支援金の対象とならなかった家庭」は、進学率に影響する可能性のある要素がほぼ同じであり、給付金の対象となったか否かは「運次第」であったと考えることが可能です。
つまり、支援金の対象となるか否かの境界付近においては、処置が無作為に割り当てられており、あたかも実験（RCT）が行われていたと考えることが可能です。
このような制度がもたらす偶然などによって生じた状況を活用し、因果効果の推定を行うアプローチが「自然実験」であり、そのために得られたデータを「自然実験データ」と呼びます。
なお、「自然実験」は「疑似実験 (Quasi Experiment)」と呼ばれることもあり、広く合意された統一的な定義は現時点で存在していません。自然現象や政府、企業など、分析者以外によって処置の無作為な割り当てが行われているケースを「自然実験」、上記の定義が示す状況を「疑似実験」と呼び、両者を区別する考え方もあり2、「自然実験」という言葉がその文脈においてどのような意味で用いられているかに注意する必要があります。
なぜ「自然実験」が重要なのか
信頼性革命
「自然実験」という概念は、1990年頃から経済学の領域で広く注目されるようになりましたが、そのきっかけを作ったのは、LaLonde (1986)3による分析だと言われています。
この分析では、米国で労働者に対して実施された職業訓練の効果について、観察データを用いた非実験的手法による評価結果が、実験データ（RCT)による評価結果と大きく乖離していることが示されました。
その結果、当時主流だった非実験的手法の信頼性に対して疑問が投げかけられるとともに、より実験に近い性質を制度などに関する客観的な情報をよって正当化できる「自然実験」に対する注目が高まりました。この動きは後に、「信頼性革命 (credibility revolution)」2,4と呼ばれるようになりました。
自然実験によるバイアスへの対処
このケースで2つの分析結果に乖離を生じさせていた要因は、「共変量」の分布の違いです。特に、観察データを用いた非実験的手法において、比較する2つのグループの間で結果に影響を与える共変量の分布が揃っていなかったことが、RCTによる評価結果との大きな差を生じさせました。
また、先の進学支援金支給のケースでは、家庭の所得金額や親の就労状況、子供の数といった、処置の割り当て（支援金の支給有無）と結果（進学率）の両方と相関する共変量（交絡因子）が存在するため、処置の有無による結果の差を単純比較することは、支援金の効果の過少評価につながることを述べました。
これらのケースにおいて施策の真の効果を適切に評価できない理由は、因果関係の特定に必要な「正しい比較」ができていないことにあります。因果効果の把握には、「施策の有無以外の点においては全て同じ」2つの対象を比較することが必要ですが、上記のケースでは2つの比較対象が「施策の有無以外の点においても異なっていた」可能性が高く、「正しい比較」ができていません。
このように、「正しい比較」ができていないことで施策の真の効果が適切に捉えられていない状態を、その比較によって得た分析結果に「バイアス（bias＝偏り）がある」と言います。
RCTは、処置割り当ての無作為化を通じてバイアスを制御し、因果効果の推定を可能にする強力な手法です。一方、「自然実験」の強みは、「境界付近における処置割り当ての無作為性」や、「2つのグループの時系列トレンドの平行性」といったデータの持つ特性を利用することで、RCTが実施できない状況においても、適切な因果効果の推定を可能にする点にあります。
「自然実験」を活用した分析手法
操作変数法
「操作変数法」は、結果に影響を与える要因が処置以外にも存在し（未観測の交絡因子）、交絡因子による影響を処置による影響と区別して観測することが難しい場合に、交絡因子とは無関係に発生した「外生的なショック（=操作変数）」を利用して、処置効果を測定する手法です。
偶然発生した出来事が、処置を通じて間接的に結果に影響を与えているようなケースにおいて有効な推定方法です。
代表的な事例には、ベトナム戦争への従軍が退役後の労働所得に与えた影響を分析したものがあり5、この分析は因果効果の推定において自然実験を活用することの有効性を広く認識させるものとなりました。
この分析では、従軍した人としなかった人の所得を単純比較することにより生じるバイアスに対処するため、従軍者の一部が誕生日に基づいたくじ引きにより無作為に決定されていたことを利用し、くじの当たり外れを決める誕生日を操作変数とした自然実験手法により、従軍が所得に与える影響を明らかにしました。
回帰不連続デザイン
ある基準値を境に処置の対象となるか否かが決まる状況で、基準値を僅かに上回った人と僅かに下回った人の結果から、処置効果を推定する方法です。
処置の有無がある基準値（これを「閾値」と呼びます）に基づいて決定されることが分かっている状況において、「その基準値の近辺」では、処置の有無がランダム（無作為）に割り振られていると見なせることを利用して、処置効果の推定を行います。
先の進学支援金の支給に関する自然実験の事例は、この回帰不連続デザインに該当します。
差の差法
同じような特性を持つ2つのグループのうち、一方のグループのみに処置が行われ、もう一方のグループには行われない状況において、2つのグループの時系列データを用いた比較に基づいて処置効果を測定する方法です。
処置を受けたグループ（処置群）と受けなかったグループ（統制群）に関する複数期間のデータを用い、「もし仮に処置がなかった場合、2つのグループの平均的な結果は平行に推移していた」ということを意味する『平行トレンドの仮定』を置いた上で、「処置開始後の両グループの平均値の差」から「処置開始前の両グループの平均値の差」を差し引くことで、処置効果を推定します。
合成コントロール法
「差の差法」の特殊なケースとして、処置を受ける対象が単一または少数であり、処置を受けない対象が複数存在する場合に、処置を受けない対象の時系列データをもとに「処置を受ける対象が、仮に処置を受けなかった場合の結果」を予測し、それを実際の結果と比較して処置効果を測定します。
「差の差法」では、処置を受ける対象、受けない対象がともに一定数以上存在している場合に、両グループのそれぞれの平均的な値をもとに「平行トレンドの仮定」を置いて処置効果の推定を行いました。一方で、「合成コントロール法」は、処置を受ける対象が単一または少数で、「平行トレンドの仮定」が満たされない場合においても、処置効果の推定を可能にする方法です。
ここまで、因果推論における「自然実験」について、その意味や重要性、自然実験を活用した分析手法を解説しました。
本記事に関連するトピックについての詳細は、以下のページをご覧ください。
また、因果推論に関する全ての記事は以下のページからご覧いただけます。
参考文献・注記：
1. 西山慶彦・新谷元嗣・川口大司・奥井亮 (2019) 『計量経済学』有斐閣
2. 川口康平・澤田真行 (2024)『因果推論の計量経済学』日本評論社
3. Robert J. LaLonde. (1986) “Evaluating the Econometric Evaluations of Training Programs with Experimental Data,” The American Economic Review, Vol. 76, No. 4, 604-620
4. Joshua D. Angrist, Jörn-Steffen Pischke. (2010) “The Credibility Revolution in Empirical Economics: How Better Research Design Is Taking the Con out of Econometrics,” Journal of Economic Perspectives, vol. 24, no. 2, 3–30
5. Joshua D. Angrist. (1989) “Using the draft lottery to measure the effect of military service on civilian labor market outcomes,” Research in labor economics, Vol. 10.1989, p. 265-310
