この記事では、「プログラム評価」とは何で、どのように活用できるのか、評価の内容やロジックモデル・社会的インパクト評価との関係について、具体的事例をもとに解説します。
<目次>
プログラム評価の目的と価値
プログラム評価とは何か
社会課題の解決に向けた取り組み全体を「プログラム」と捉え、体系的な評価を通じて、その取り組みの価値の判断に資する情報や、取り組みの質の改善につながる情報を得る活動を、「プログラム評価（Program Evaluation）」と呼びます。
プログラム評価では、一般的に「評価」としてイメージされる、「取り組みによる成果の評価」（アウトカム・インパクト評価）だけでなく、ニーズ評価・セオリー評価・プロセス評価・効率性評価といった異なる目的の評価を組み合わせることで、取り組み全体の包括的な評価を行うことが特徴です。米国においては、1960年代に政策評価のためのツールとして導入され1、今日に至るまで主要な政策評価手法の一つとして位置付けられています。
目的①：取り組みの質的な改善
社会的課題の解決を目指す事業においてプログラム評価を行う目的は2つあります。1つ目は、事業の計画や実施の段階において、事業の改善につながる情報を得ることです。
例えば、事業の中間評価の結果が不十分なものであった場合、その要因が事業の実施プロセスにあるのか（プロセス評価）、成果につながるロジックの仮説に問題があるのか（セオリー評価）、社会課題そのそもに関する理解・認識が適切ではないのか（ニーズ評価）などを包括的に評価することで、事業の改善に必要なポイントを明らかにすることができます。
財政難の時代における行政サービスには、取りうる方向性として2つのアプローチが存在します。一つは、無駄な事業や支出を発見し削減すること、もう一つは、絶え間ない改善改革により行政の生産性を向上させることです。長期視点での資源の有効活用につながるのは後者のアプローチであり、そのために活用できるのがプログラム評価です2。
これは、純粋な行政サービスに限らず、行政に代わって社会課題に取り組む企業やNPOが実施する事業やサービスについても当てはまります。それは、事業の質的な改善の可能性を見出し、絶えず刷新していくことを意味します。一般的な「評価」としてイメージされる、目標の達成度や費用便益の分析とは異なり、評価結果から客観的・論理的に導かれる結論をもとに、事業改善につながる情報を得る活動と位置付けられます。
目的②：アカウンタビリティの確保・強化
2つ目は、事業の実施段階・終了時点において、事業に関する説明責任（アカウンタビリティ）を果たすことです。プログラム評価を通じて、社会課題の解消に向けて当初目標とした成果がどの程度達成されたのか（アウトカム・インパクト評価）、事業に投入された資源の利用は妥当で、正当化できるものであったか（効率性評価）、などを明らかにします。
また、成果や効率性を評価する前提として、「事業が最終的に目指す成果として、どのような社会の状態を実現したいのか、その実現のために取られた手段は何で、それにはどのような論理的な裏付けがあるのか」を明確に示すことは、より効果的に説明責任を果たす上で重要です。プログラム評価を通じて、後述する「ロジックモデル」等を作成することは、事業の目的と手段、その間の論理的なつながりを示す上で、重要な役割を果たします。
社会的インパクト評価との相互補完関係
「社会的インパクト評価」は、民間の投資家や金融機関による社会的事業への投資が増える中で、投資先事業が生み出す社会的価値を客観的な指標で評価し、投資を通じた社会的価値の創出を最大化する、というニーズに応える一つの手段として導入が拡がったものです。
社会的インパクト評価においても、純粋な成果（インパクト）の評価だけでなく、プログラム評価の要素を取り入れ、取組み全体の体系的な評価を行うことで価値の判断につなげる、という考え方が一般的になりつつあります。
行政評価の文脈において、施策の目標や基準の達成度合い対する継続的なモニタリングを「業績測定」と呼びますが、社会的インパクト評価は、社会的投資の文脈における「業績測定」に当たります3。プログラム評価は、社会的投資の文脈において、「業績測定」としての社会的インパクト評価と相互補完的に機能することで、投資先事業の包括的な評価を可能にします。
社会的インパクト評価についての詳細はこちらのページをご覧ください。
プログラム評価の実施方法
プログラム評価の5階層
プログラム評価では、事業のPDCAの全てのプロセスにおいて評価を行います。その点が、「事業が生み出した成果」に焦点を当てて詳細な分析を行うインパクト評価や、「達成状況のモニタリング」としての業績測定とは異なるポイントです。
ただし前述の通り、これらは互いに相反するものではなく、インパクト評価や業績測定の結果が不十分であった場合に、その要因をプログラム評価を通じて分析・検証する、という形で相互に補完関係にあります4。
プログラム評価には一般的に以下の5つの評価が含まれ、これを「プログラム評価の5階層」と呼びます5。
プログラムが、解決されるべき社会的課題を適切に捉えているか、それは本当に充足すべきニーズか、誰のニーズなのか、といった点について確認・分析をすることで、プログラムが適切なアプローチで課題の解決を行っているかを評価します。
プログラムの計画時に行うだけでなく、事業の開始後に、プログラムの改善・刷新を行う手段としても実施されます。
プログラムの設計・開発段階での実施に加えて、プログラム開始後に明らかとなった課題や、成果に対する中間評価の結果を踏まえて実施することで、活動が目的の達成に対して有効なものとなっているか、どこに改善・修正の余地があるかなどを明らかにします。
プロセス評価を通じて得た現場の声や実態に関する新たな理解をもとに、セオリー評価・ニーズ評価によってプログラムの前提や仮説を再検証する、といった活用の仕方も可能です。
プログラムの特性と得られるデータにより、インパクト評価に用いられる分析手法は変わってきますが、統計的因果推論などの手法を用いることで、より精度の高い評価を行うことが可能です。
公共事業などのように初期投資が大きく・予見性の高いプログラムにおいては、計画段階で実施されることが多い一方、対人プログラムなどにおいては、事業の実施中あるいは実施後に行われることが一般的です。
PDCAプロセスとの関連では、「Plan」においてはニーズ評価・セオリー評価、「Do」においてはプロセス評価、「Check・Act」においてはアウトカム・インパクト評価、効率性評価などが該当しますが、実際にはこれらの評価がPDCAの各段階で個別に行われるのではなく、状況に応じて必要な評価を柔軟に組み合わせながら、事業の評価と改善のサイクルを回していくこととなります。
ロジックモデルの活用
プログラム評価においては、評価を行う前の準備として「ロジックモデル」と呼ばれるモデルを作成し、評価プロセス全体に渡ってこれを活用します。ロジックモデルは、プログラムの目指す成果・目的と、その達成のために用いられる手段との関係を、体系的かつ論理的に表現したモデルのことを指します。
プログラム評価は、「プログラム」を「作戦」と捉え、「いかに質の高い作戦を策定するか」「作戦をいかに効果的に遂行するか」に重大な関心を持つため、その前提として、ロジックモデルによって作戦の構造（目的・手段）がしっかりと把握・記述される必要があります2。
ロジックモデルは、事業に対して投入される資源を指す「投入（インプット）」、インプットを使い行われる実際の活動を指す「活動（アクティビティ）」、活動の結果として生み出される財・サービスなどを指す「産出（アウトプット）」、事業実施後における社会の状態の変化を指す「成果（アウトカム）」から構成されます。
また、「成果（アウトカム）」は、成果が実現される時間軸やその効果の波及プロセスによって、事業による直接的な成果を表す「直接アウトカム」、最終アウトカムの実現に貢献する成果を表す「中間アウトカム」、最終的に実現を目指す社会の状態を表す「最終アウトカム」の3つに分けられ、特に「最終アウトカム」は「インパクト」とも呼ばれます。
作成：Intelligence In Society
ロジックモデルを作成することにより、事業が最終的に目指す成果が、「どのような活動の結果として・なぜ実現されるのか、その活動を行うために必要な資源はどのようなものか」、という論理構造が可視化されます。これによって、事業に携わる人々が共通の認識を持つことができるとともに、事業の支援者に対しても、事業の価値や妥当性を明確に示すことが可能となります。
ロジックモデルには、プログラムの目的と手段が過不足なく表現される必要がありますが、そのためにどの項目が記載されるべきかは、プログラムの特性や作成の目的によって異なります。実際の事例においては、下記の例のように「投入（インプット）」の代わりに、「事業」の背景にある「施策」と「方向性」を記載する形など、複数のバリエーションが存在し、評価のニーズに基づいて構成や記載内容が判断されます。
ロジックモデルの詳細については、こちらのページをご覧ください。
プログラム評価の具体的事例
以下の事例は、ある自治体が主体となり、社会的企業やNPOなどと協力しながら、「介護職人材の不足」という社会課題の解決に向けた取り組みを行うプログラムを想定したロジックモデルです。
「介護職人材の不足が解消された状態」を最終的に目指す社会の姿（＝「最終アウトカム」）と設定し、その目的を実現するための手段とロジックが、「活動／アウトプット」→「直接アウトカム」→「中間アウトカム」という流れで表現されており、目的を実現するための手段は、具体的な「事業」の形に落とし込まれています。
この事例では、具体的な「事業」がその論理的背景である「施策」「方向性」という軸でも整理されており、「施策」が個々の「事業」を通じて「最終アウトカム」につながるロジックがより明確に示されています。
【事例】介護人材不足の社会課題解消に向けたプログラムのロジックモデル
作成：Intelligence In Society
社会課題の解消に向けた取り組みの多くを、企業やNPOなどの民間部門が担うことが期待される今日において、プログラム評価は、より質が高く効果的な事業を行う上で重要な情報を提供します。同時に、事業に対するアカウンタビリティを高める上でも有効な手段となります。
他方で、インパクトの評価においては、プログラムと成果の間の因果関係が考慮され、因果推論などに関する専門的知識が必要となる点は、実際の導入における課題の一つとなります。また、「社会的インパクト評価」との関係も強く、その実施においては、プログラム評価の考え方・手法を理解しておくことが重要な前提となります。
プログラム評価に関する全ての記事は、以下のページからご覧いただけます。
その他、本記事に関連するトピックについての詳細は、以下のページをご覧ください。
参考文献・注記：
1. 田辺智子（2014）「業績測定を補完するプログラム評価の役割－米国のGPRAMAの事例をもとに－」『日本評価究』, 14（2）: 1-16
2. 北大路信郷（2015）「政策評価モデルにおけるロジック・モデルとプログラム評価の有用性」『平成26年度政策評価における統一研修』
3. 伊藤健・玉村雅敏・植野準太（2021）「プログラム評価の一類型としての「社会的インパクト評価」の課題と可能性」『日本評価究』, 21（2）: 89-101
4. 佐々木亮（2010）『評価論理』, 多賀出版
5. 源由理子・大島巌（2020）『プログラム評価ハンドブック－社会課題解決に向けた評価方法の基礎・応用－』, 晃洋書房
6. 「アウトカム評価」は因果関係の存在を前提とせず、事前に設定された指標についてその変化を時系列で観測する方法であり、「インパクト評価」とは厳密には異なるものとされています。
