インパクト評価と社会的インパクト評価|それぞれの意味と違い

この記事では、「インパクト評価」と「社会的インパクト評価」の2つの評価について、それぞれの意味と目的、両者の違いと関係性を、具体例をもとに解説します。

2つの評価の意味と目的

社会課題の解決を目指す事業などにおいて、「成果に関する評価」を指す言葉としてよく使われるものに、「インパクト評価」と「社会的インパクト評価」があります。互いによく似た言葉であり、これらが明確に区別されずに使用される場面も多く見られますが、この2つは厳密には別の概念を指す言葉です。

両者の違いを認識することは、自身が行おうとしている評価の性質や位置づけを正しく理解し、アカウンタビリティ向上や事業改善など、評価の目的をより適切に果たす上で重要です。

インパクト評価とは何か

社会課題の解決に向けた取り組み全体を「プログラム」と捉え、体系的な評価を通じて、その取り組みの価値の判断に資する情報や、取り組みの質の改善につながる情報を得る活動を、プログラム評価と呼びます。「インパクト評価」は、プログラム評価における評価の5階層の構成要素の一つに位置付けられるものです。
(※評価の5階層:ニーズ評価、セオリー評価、プロセス評価、アウトカム/インパクト評価、効率性評価)1

インパクト評価は、具体的には以下のように定義されます。

インパクト評価(Impact Evaluation):
プログラムが実施されたことで、社会の状態に生じた変化に対する評価。
プログラムが一定期間実施された後に、プログラムによって生じた変化(効果)が、プログラムの実施によってもたらされたものであるかを検証する。

なお、評価の5階層においては、「アウトカム/インパクト評価」という形で「アウトカム評価」とセットで構成されることが一般的です。しかし、「アウトカム評価」が、プログラムの実施後に期待されるターゲット集団や社会に現れる変化の状態を捉えるものであるのに対して、「インパクト評価」は、事業と成果の間の帰属性を問うことで純効果(net effects)を検証するものである、という違いがあります1

インパクト評価を行う目的の一つは、事業の計画や実施の段階において、事業の改善につながる情報を得ることです。セオリー評価やプロセス評価といった、プログラム評価における他の評価と組み合わせて実施することで、評価結果から客観的・論理的に導かれる結論をもとに、事業改善につながる情報を得ることを目指します。

もう一つの目的は、事業の実施段階・終了時点において、事業に関する説明責任(アカウンタビリティ)を果たすことです。プログラム評価を通じて、社会課題の解消に向けて当初目標とした成果がどの程度達成されたのか、事業に投入された資源の利用は妥当で、正当化できるものであったか、などを明らかにします。

社会的インパクト評価とは何か

一方、「社会的インパクト」と、それを評価する「社会的インパクト評価」は、以下のように定義されるものです2

社会的インパクト(Social Impact)
短期、長期の変化を含め、当該事業や活動の結果として生じた社会的、環境的なアウトカム

社会的インパクト評価(Social Impact Measurement)
社会的インパクトを定量的・定性的に把握し、当該事業や活動について価値判断を加えること

内閣府のガイドライン2では、社会的インパクト評価について「事業や活動についての『価値判断』を行うための評価プロセス全体(①計画、②実行、③分析、④報告・活用)を指すもの」とも表現されており、評価を通じた事業全体のマネジメントの手段として位置づけられています。

社会的インパクト評価は、もともと環境アセスメントに端を発しており、特に社会的投資の領域におけるニーズへの対応として考案された手法であるという点で、民間投資の流れと強い結びつきがあります。

民間の投資家や金融機関による社会的事業への投資が増える中で、投資先事業が生み出す社会的価値を客観的な指標で評価し、投資を通じた社会的価値の創出を最大化する、というニーズに応える一つの手段として導入が拡がりました1

休眠預金を活用して民間公益活動の促進を図る「休眠預金等交付金に係る資金の活用に関する基本方針」(内閣府 2023)3では、事業による成果について「社会的インパクト評価」を実施し、成果の可視化に取り組むことが義務付けられています。ここでは、評価の目的として、

  1. 資金の活用の成果を積極的に情報発信することで、広く国民の理解を得る
  2. 評価結果を資源配分に反映し、民間公益活動を効果的・効率的に行う
  3. 厳正な評価による活動の質向上、独創的・革新的な活動の発掘、民間資金・人材の獲得

の3つが挙げられていますが、これらはそれぞれ「アカウンタビリティ」「資源の適正配分」「活動の改善・刷新」に当たります。評価自体を目的とするのではなく、評価を通じて、社会課題の解決に向けた取り組み全体を改善・強化していくという考え方が強調されています。

2つの評価の違い

上記の定義から、「インパクト評価」と「社会的インパクト評価」は、ともに事業やプログラムによって集団や社会に生じる変化(効果)をその評価対象としている、という点で共通しており、目的についても、「活動・事業の改善」や「アカウンタビリティの確保」など、似た内容が挙げられていることが分かります。

一方で、この両者には、以下に示す2つの重要な違いがあります。

①因果関係に対する厳密さ

両者の最も重要な違いは、「因果関係(=活動・事業と成果の間の帰属性)の評価に対する厳密さ」です。

「インパクト評価」が、事業とその成果の帰属性を考慮し、両者の間の因果関係について厳密な評価を行う一方で、「社会的インパクト評価」は、因果関係に関する厳密な評価を求めないことが一般的です。そのため、因果関係を厳密に評価しない「社会的インパクト評価」における論理構造は、「インパクト評価」に比べると必然的に脆弱なものとなります。

これは、「インパクト評価」が学術的な評価学・評価研究における概念である一方、「社会的インパクト評価」は評価研究から生まれた概念ではなく、海外援助における社会・環境アセスメントをその始まりとしており1、両者の発端における目的が異なることが背景にあると考えられます。

なお、「社会的インパクト評価」において厳密な因果関係の評価が行われない要因には、因果関係の評価に必要となる技術・リソース面における制約も影響しており、「厳密な評価をしたくても実施が難しい」というケースも多いと考えられます。したがって、「社会的インパクト評価には、厳密な因果関係の評価が必要ない」ということを意味するものではないことに注意が必要です。

②評価がどのように行われるか

評価において、因果関係の存在を厳密に問うか否かという違いは、評価がどのように行われるか、という点の違いに繋がります。一般的に、事業と成果の間の因果関係を証明するには、この2つが①共起関係(相関関係)、②方向性(時間的先行)、③特異性(疑似相関の排除)から成る「因果関係の成立条件を満たす必要があります。

「インパクト評価」においては、特に「③特異性(疑似相関の排除)」に関する厳密な検証を行うため、RCT(ランダム化比較試験)に代表される実験手法や、自然実験・疑似実験と呼ばれる状況を活用した手法など、「因果推論」による理論・手法の枠組みに基づく評価が行われます。

一方、「社会的インパクト評価」では、「①共起関係(相関関係)」「②方向性(時間的先行)」に対する検証が中心となり、「③特異性(疑似相関の排除)」に関する検証は行われないか、因果推論の枠組みなどを使わない簡易な形での検証のみとなります。

例として、生活困窮状態にある若年層に対して、SNSを使ったコミュニケーションによるアウトリーチを行うことで、困窮者支援に関する情報の提供や、支援申請手続きのサポート行うプログラムを考えます。このプログラムのロジックモデルが、以下のように設定できるとします。

ロジックモデル事例

作成:Intelligence In Society

このプログラムの成果について評価を行う場合、2つの評価はそれぞれ以下のような形になると考えられます。

インパクト評価:

  1. SNS登録者を、「A. 情報提供のみを行うグループ」「B. 申請手続きのサポートのみを行うグループ」「C. 両方をセットで行うグループ」の3つにランダムに振り分け、各グループに振り分けられた対象者の一定期間後の「生活困窮の度合い」を比べることで、両方をセットで行うことの効果を特定する(ランダム化比較試験)。
  2. プログラムの対象となった地域群(市区町村など)における「若年層の支援受給開始数」の平均的な時系列推移を、対象とならなかった地域群の平均的な推移と比較し、そのトレンド変化の差をプログラムの成果と特定する(差の差法)。

社会的インパクト評価:

  1. SNS登録者に対する情報提供数、申請サポート提供数を、プログラムの成果とする(アウトプットによる評価)
  2. SNS登録者における困窮者支援の受給開始数を、プログラムの成果とする(アウトカム指標の単純集計)
  3. プログラム実施前後における、プログラム対象地域での若年層の支援受給開始数の変化をプログラムの成果とする(事前・事後比較)
  4. SNS登録者の「生活困窮の度合い」を、プログラムによるサービス提供前後で比較し、その差をプログラムの成果とする(事前・事後比較)

これらの評価例におけるポイントは、「インパクト評価」が、事業と成果の関係について疑似相関(見かけ上の相関)の可能性を排除し、因果関係の特定が可能な設計となっているのに対して、「社会的インパクト評価」は、疑似相関の可能性が完全には排除できない設計となっている点です。

このことから、「社会的インパクト評価」においては、対象領域に関する知見・経験に基づく洞察や、活動が成果に繋がるロジックをより詳細に記述する「セオリーオブチェンジ」の作成など、多様な補足情報を通じて「プログラムに実際に効果がある」ことを説得的に示すことが、アカウンタビリティの確保などにおいてより一層重要になることが分かります。

2つの評価の関係性

ここまで、「インパクト評価」と「社会的インパクト評価」の違いについて解説しましたが、最後に両者の関係性を整理しておきます。

近年、社会的インパクト評価においても、プログラム評価の要素を取り入れ、事業の成果に関する評価だけでなく、取組み全体の体系的な評価を行うことで価値の判断につなげる、という考え方が一般的になりつつあります。

先述の通り、社会的インパクトが「短期、長期の変化を含め、当該事業や活動の成果として生じた社会的、環境的なアウトカム」と定義されることから、その評価を行う「社会的インパクト評価」は、中長期的なアウトカムに対する成果の測定を行うプログラム評価の「一形態」として理解することができます4

特に、プログラム評価における「アウトカム評価」が、「プログラムの実施後に期待されるターゲット集団や社会に現れる変化の状態を捉える」ものであり、事業と変化の間の帰属性を問う「インパクト評価」とは区別される点から、「社会的インパクト評価」は、プログラム評価における「アウトカム評価」により近い性格を持つものであると言えます。

また、行政評価の文脈においては、施策の目標や基準の達成度合い対する継続的なモニタリングを「業績測定」と呼びますが、社会的インパクト評価は、社会的投資の文脈における「業績測定」に当たります4。インパクト評価を含むプログラム評価は、社会的投資の文脈において、「業績測定」としての社会的インパクト評価と相互補完的に機能することで、投資先事業の包括的な評価を可能にするものと理解できます。

ここまで、「インパクト評価」と「社会的インパクト評価」の2つの評価について、それぞれの意味と目的、両者の違いと関係性を解説しました。

当記事に関連するトピックの詳細については、以下のページをご覧ください。

 

また、プログラム評価と社会的インパクト評価に関する全ての記事は、以下のページからご覧いただけます。

参考文献・注記:
1. 源由理子・大島巌(2020)『プログラム評価ハンドブック-社会課題解決に向けた評価方法の基礎・応用-』, 晃洋書房
2. 内閣府, 社会的インパクト評価検討ワーキング・グループ (2016)「社会的インパクト評価の推進に向けて」
3. 内閣府 (2023)「休眠預金等交付金に係る資金の活用に関する基本方針」
4. 伊藤健・玉村雅敏・植野準太(2021)「プログラム評価の一類型としての「社会的インパクト評価」の課題と可能性」『日本評価究』, 21(2): 89-101

関連記事