この記事では、プログラム評価における「セオリー評価」について、その意味や目的、実施方法を具体例をもとに解説します。
<目次>
セオリー評価とは何か
セオリー評価の定義
社会課題の解決に向けた取り組み全体を「プログラム」と捉え、体系的な評価を通じて、その取り組みの価値の判断に資する情報や、取り組みの質の改善につながる情報を得る活動を、「プログラム評価（Program Evaluation）」と呼びます。プログラム評価は5つの階層によって構成されますが、その1つを成すのが「セオリー評価」です。
セオリー評価は、「プログラムが目指している目的に対し、投入資源や活動がもっともらしく組み立てられているかどうかを検証・評価する」1活動を指します。プログラム評価における別の構成要素であるインパクト評価と違い、プログラムによって実際に生じた対象集団の変化を評価するのではなく、目的とする変化を生むための活動の背後にある理論（セオリー）が正しく組み立てられているか、を評価します。
前提としての「プログラムセオリー」
セオリー評価は、英語では「Program Theory Evaluation/Assessment」などと表されますが、ここから分かるのは、セオリー評価で評価するのは、対象とするプログラムの「プログラムセオリー」であるという点です。
プログラムセオリーとは、サービスの提供や活動の実施がサービス利用者（ターゲット集団）に届く道筋を示した「プロセス理論」と、ある社会課題が解決された状態（アウトカム）の達成と、それをもたらすプログラムの活動・サービスとの間の手段ー目的の関係を示す「インパクト理論」を合わせたものです1。
これらをロジックモデル上で表すと、以下のようになります。プロセス理論とインパクト理論はそれぞれ、投入～産出と、産出（または直接成果）～最終成果の領域に該当しており、この2つを合わせたものがプログラムセオリーとなります。
作成：Intelligence In Society
プログラムセオリーが、その対象とする課題に関する実態や社会状況を適切に反映したものになっているか否かを評価し、新規プログラムの設計・開発や、運用中のプログラムの軌道修正や改善に繋げることが、セオリー評価を行う目的であると言えます。
Theory Based Evaluationとの違い
セオリー評価と似た言葉に、「Theory Based Evaluation（理論に基づく評価）」があります。これは、セオリーオブチェンジやロジックモデル上に明確に示されたプログラムセオリーをもとに、プログラムの評価を行うことを意味する概念です。
セオリー評価が、プログラムセオリー自体の評価を目的としたものであるのに対して、「理論に基づく評価」は、プログラムの何が・なぜ・どのように機能したか、他の事業や社会経済状況などの外部要因はどのように結果に影響したのか、などプログラムの実績とその背景を、セオリーオブチェンジ等に示された理論に基づいて評価する活動を指します2。
したがって、セオリー評価を実施する際は、それが具体的に何を指しているのかについての混乱が生じないよう、関係者の間でその目的や内容を確認しておくことが必要です。
セオリー評価の4つのアプローチ
以下では、セオリー評価の具体的な実施方法として、次の4つのアプローチについて解説します3。
①社会的ニーズに照らした評価
プログラムセオリーに対する最も重要な評価の一つは、プログラムが解決しようとしてる社会課題と、ターゲット集団のニーズに関する深い理解に基づた評価を行うことです。
対象とする課題に関する実態や社会状況に対して適切に設計されていないプログラムは、そのプログラムがどれだけ優れた運営方法や管理方法で実施されていたとしても、望ましい効果を発揮することはありません。プログラムの構築において行ったニーズ評価をもとに、プログラムが対象者の実際のニーズに適切に応えるものであるか、の評価を行います。
この評価における重要なポイントは「特異性 (specificity)」です。プログラムの課題やそのターゲット集団について詳細を把握し、その特異性を十分に理解することで、プログラムと現実の課題の間の適合性を正しく評価することが可能となります。
例として、「低所得家庭の子供における社会的状況の改善」を目指すプログラムを考えます。このプログラムのセオリーオブチェンジが以下のように作成できるとします。
作成：Intelligence In Society
このケースにおいて仮に、子供を持つ低所得家庭におけるニーズが都市部と地方で異なっており、都市部においては「社会的な繋がり」に対するニーズが特に強い一方で、地方においては「経済的機会」へのニーズが最も強いことが明らかとなった場合、対象とする地域によってプログラム内の各事業間の資源の配分やデザインを変える必要が出てきます。
また、「質の高いサービスへのアクセス」についても、仮に公共交通機関の発達していない地域においては、サービスの提供だけでなく、サービス提供施設への交通手段に対してもニーズが存在することが分かった場合、その地域における事業には、低額の巡回バスなどサービス提供施設への交通手段も構築する必要があることが明らかとなります。
このように、ターゲットの社会的ニーズに基づく評価においては、その特異性を十分に理解することで、プログラムセオリーの妥当性や適切性を確保することが重要となります。
②理論とその「もっともらしさ」の評価
どのようなプログラムにおいても、そのデザインの背後には、プログラムの有効性を左右する重要な前提や仮定が含まれています。これらはプログラムセオリーを作成する過程で明らかになることもありますが、プログラム実施者自身も気が付かないまま、暗黙の前提となることもあります。
これらの前提や仮定を明らかにすることで、プログラムセオリーの理論やその「もっともらしさ (plausibility)」を評価することも、セオリー評価のアプローチの一つです。
特に、プログラムが対象とする領域に関する経験や知識を運営者が豊富に持っている場合、それまでの経験や習慣から無意識のうちにプログラムに関する暗黙の前提を置いてしまうことがあります。これには例えば、ある対人援助プログラムの実施期間について、同種の事例における一般的な期間から、それが本当に最適であるかについての検討をせずに、「1か月」などと置いてしまうケースなどが該当します。
このプログラムのプログラムセオリーを他の関係者や外部の専門家が評価することで、運営者とは別の視点から、「なぜ1か月が前提となっているのか」を問うことが可能となります。これにより、運営者自身が無意識のうちに置いていた前提に気付くとともに、その前提を取り払うことによってプログラムをより効果的なものに変えていく可能性が拓けていくこととなります。
このアプローチにおいては、以下のような問いに答えることで、効果的な評価が可能となることがあります。
- プログラムのゴールと目的は、明確に定義されているか？
- プログラムのゴールと目的は、実現可能か？
- プログラムセオリーで想定されている変化のプロセスは、もっともらしいか？
- 対象者を明らかにし、サービスを提供し、完了までそれを維持するプロセスは、よく定義され、かつ十分か？
- プログラムの構成要素・活動・機能は、よく定義され、かつ十分か？
- プログラムに割り当てられる資源と、様々な活動内容は適切か？
③既存の実践や研究との比較を通じた評価
プログラムセオリーを、すでに存在する既存の実践結果や研究と照らし合わせ、それらの内容と矛盾する点がないかを確認することも、セオリー評価の進め方の一つです。
最も直接的な方法は、同じようなコンセプトを持つ過去に実施されたプログラムと比較し、その実施結果や評価内容を参考にすることです。また、一部の要素のみが似ているプログラムについても、その共通する要素に関して参考にすることで、有益な情報が得られることがあります。
先の「低所得家庭の子供における社会的状況の改善」を目指すプログラムの例では、家庭が近隣の社会的資源と繋がる仕組みを構築することが、子供の社会的状況の改善に繋がる、というインパクト理論をもとにプログラムがデザインされています。
この時、例えば他の自治体のプログラムにおいて、家庭と近隣の社会的資源の繋がりを生み出す取り組みが、子供の社会的状況の改善に繋がった事例があれば、それは対象プログラムのインパクト理論の信憑性を大きく高めるものとなります。また、他自治体のプログラムが事業スキームや活動内容の点についても似ていれば、対象プログラムのプロセス理論の妥当性を支持する情報となります。
また、同じコンセプトのプログラムではないものであっても、例えば単身で生活する高齢者の社会的状況の改善に向けた過去のプログラムにおいて、社会的な繋がりや質の高いサービスへのアクアスといった要素に効果が認められていたことが分かれば、それは対象プログラムのインパクト理論を部分的に支持する情報になる可能性があります。
④予備的な観察を通じた評価
プログラムにおける前提条件や仮定の多くは特定の理論や経験に基づいて設定されるものですが、それらが妥当なものであるかどうかは、実際のプログラムの現場において、その運用を観察したり、現場スタッフや対象者から直接情報を得たりすることで確認することが可能です。
プログラムの現場を直接観察することは、プログラムセオリーとプログラムの実態が一致しているか否かについての実態調査の役割を果たします。例えば、先の「低所得家庭の子供における社会的状況の改善」を目指すプログラムにおいて、低所得家庭の子供の学習機会の創出を目的とした無料の学習塾を立ち上げたとします。
この場合、実際にどのような家庭状況の子供たちが、どのくらいの期間、どの程度の頻度で学習塾に参加していたのか、といった情報を現場のスタッフなどから聞き取ることで、適切なターゲットに対してサービス提供がされているかを確認することが可能となります。
仮に、本来のターゲットである低所得家庭の子供以外の子供の参加が大半を占めており、その要因がWEBサイトを通じた告知方法にあることが明らかとなった場合、プログラムの告知方法に関するプロセス理論を見直す必要が生じます。
この際に注意が必要なのは、セオリー評価において必要なのはあくまで「予備的な観察」であるという点です。プログラム現場の直接観察とそれによる情報の取得は、容易に「フルスケールの調査」に発展する危険性があります。評価の対象や範囲を事前に特定し、必要な情報のみを過不足なく取得することが、効果的なセオリー評価の実施に繋がります。
ここまで、プログラム評価における「セオリー評価」について、その意味や目的、実施方法を解説しました。
当記事に関連するトピックの詳細については、以下のページをご覧ください。
また、プログラム評価に関する全ての記事は、以下のページからご覧いただけます。
参考文献・注記：
1. 源由理子・大島巌（2020）『プログラム評価ハンドブック－社会課題解決に向けた評価方法の基礎・応用－』, 晃洋書房
2. INTRAC for civil society (2017) “THEORY-BASED EVALUATION” https://www.intrac.org/app/uploads/2024/12/Theory-based-evaluation.pdf (2025年10月15日最終閲覧）
3. Peter H. Rossi, Mark W. Lipsey, Howard E Freeman. (2003) “Evaluation: A Systematic Approach (Seventh Edition),” SAGE Publicationsを参考。
