この記事では、プログラム評価における「プロセス評価」について、その意味や目的、実施方法を具体例をもとに解説します。
<目次>
「プロセス評価」とは何か
プロセス評価の定義
社会課題の解決に向けた取り組み全体を「プログラム」と捉え、体系的な評価を通じて、その取り組みの価値の判断に資する情報や、取り組みの質の改善につながる情報を得る活動を、「プログラム評価（Program Evaluation）」と呼びます。プログラム評価は5つの階層によって構成されますが、その1つを成すのが「プロセス評価 (Process Evaluation)」です。
プロセス評価は一般的に、以下のように定義されます。
◦プログラムがその対象とする受け手に対して意図された通りに提供されているか、を評価するためのモニタリングの一形態 (Rossiなど)1
◦事業・組織の内部やプログラムの課題を対象とし、事業やプログラムの運営を改善するための情報・所見・勧告などを得る活動 (INTRAC)2
前者がプログラム評価におけるプロセス評価の厳密な定義ですが、後者のより広義の定義も多くのケースで使用されています。後者の定義は、プログラムの設計・開発段階や継続的な改善・形成の途中に、プログラムの改善に役立てるために行う評価を指す「形成的評価」3とほぼ同義であり、広く「プログラムの改善のための評価」を意味していると言えます。
プロセス評価が、「プログラムそのもの」「事業や組織の内部やプログラムの課題」をその評価対象としている点は、プログラムによってもたらされた（外部の）変化を評価対象としている「アウトカム・インパクト評価」との明確な違いの一つです。ただし、実務の現場においては、多くの評価が両者の要素を一定ずつ含み、これらを明確に区別することが難しいケースも存在します。
どのような問いに答えるものか
上記の通り、プロセス評価は主に「プログラムそのもの」「事業や組織の内部やプログラムの課題」をその評価対象とします。より具体的には、プロセス評価は以下に挙げるような問いに答えるものです2。
- 活動が計画通りに実施されているか
- 事業やプログラムにおいて実行されている活動の質はどうか
- 管理者の方針や働きが活動にどう影響しているか
- 組織の能力や文化が事業やプログラムにどう影響しているか
- 事業やプログラムが適切に機能するために必要な資源が得られているか
- 計画したすべての対象者に対してリーチできているか
- 対象者は事業やプログラムによるアウトプットにどう反応しているか
- 外部の社会経済的な要因が事業やプログラムの提供や質にどう影響しているか
特に、プログラム初期の導入段階においては、プログラムの実施・運営上の課題や問題点を早期に発見し、それらを解消することでプログラムを軌道に乗せるために、プロセス評価を活用することが重要となります。
このようなプログラム導入段階におけるプロセス評価では、以下の4点に焦点を当てた評価が行われます4。
- プログラムがなぜ期待される結果や効果を生み出すことができるのか、その仮定は何か
- プログラムの主要な問題点は何で、それを解決していくためには、どれくらいの期間やコストが必要であるか
- プログラム効果を助長する要因は何か、どうしたらそれを維持していけるか
- ステークホルダーは、プログラムのパフォーマンスについてどのような情報を必要としているか
プロセス評価の実施方法
前提としての「プロセス理論」
プロセス評価の実施において前提となるのは、対象のプログラムに関する「プロセス理論」が明確に定義されていることです。プロセス理論とは、サービスの提供や活動の実施がサービス利用者（ターゲット集団）に届く道筋を示したもので、これにはプログラムの実施過程（プロセス）におけるサービス利用計画や組織計画（運営体制）が含まれます3。
なお、プロセス理論は、ある社会課題が解決された状態（アウトカム）の達成と、それをもたらすプログラムの活動・サービスとの間の手段ー目的の関係を示す「インパクト理論」と合わせて、「プログラムセオリー」と呼ばれます3。
プロセス理論とそれを含むプログラムセオリーを明確にする上で活用できるのが、ロジックモデルです。ロジックモデルは、事業やプログラムなどの取り組みが目指す成果・目的と、その達成のために用いられる手段との関係を、体系的かつ論理的に表現したモデルのことを指します。
ロジックモデルの基本要素は以下の4つから構成されます。
- 投入（インプット） ：事業に対して投入される人・モノ・カネ・情報などの資源
- 活動（アクティビティ）：インプットを使い行われる実際の活動
- 産出（アウトプット） ：活動の結果として生み出される財・サービスなど
- 成果（アウトカム） ：事業の実施後における社会の状態の変化
また、「成果（アウトカム）」は、成果が実現される時間軸やその効果の波及プロセスによって以下の3つに分けられ、特に「最終アウトカム」は「インパクト」とも呼ばれます。
- 事業による直接的な成果を表す「直接アウトカム」
- 最終アウトカムの実現に貢献する成果を表す「中間アウトカム」
- 最終的に実現を目指す社会の状態を表す「最終アウトカム」
以下は、最も基本的なロジックモデルの構成の一例です。インプットから最終成果に至るまでの論理構造が、一つの流れとして表現されることが、ロジックモデルの大きな特徴です。また、プロセス理論とインパクト理論はそれぞれ、投入～産出と、産出（または直接成果）～最終成果の領域に該当しています。
作成：Intelligence In Society
いつプロセス評価を行うのか
プロセス評価は、その目的がプログラムの実施状況の確認やプログラムの改善に資する情報の取得であることから、基本的にプログラムの開始直後や運営期間中に実施されます。ただし、一度終了したプログラムが新たなフェーズとして再開される場合や、そのプログラムの経験を他の類似事業に活かしたい場合などは、プロセス評価がプログラム終了後に実施されることもあります。
また、プロセス評価は特定の期間に一斉に行うフォーマルなものに限らず、より小さい規模で日常的かつ継続的な活動として実施することも可能です。これにより、事業プロセスの変化や問題点により早期に気付き、対処することできます。
プロセス評価は特に以下のようなケースにおいて実施することで、その価値が高いものとなります2。
1. 組織の変化：
運営組織やパートナー組織の内部的な変化などが、最終成果の達成や事業プロセスの質に対して重要な影響を与えると想定される場合。
2. 新規事業：
パイロット的な事業や革新的な新規事業に取り組む際に、目指す成果がどのように達成されるかを理解する必要がある場合。
3. 大規模事業：
多くの関係者が関わる大規模かつ複雑な事業において、どうすれば各関係者がより効果的に協働できるか理解する必要がある場合。
4. 成果の未達：
事業が目指す成果に到達しておらず、その要因が、事業が適切に実施されていないためなのか、前提とするプログラムセオリーが誤っているためなのかを理解する必要がある場合。
プロセス評価における3つの視点
プロセス評価における評価は、以下の3つの視点5を念頭に検討することで、「実際に何を評価しているのか」をより明確に整理することができます。
①プログラム技術の評価
プログラム技術は、事業を成立させるために必要となる様々なインプットやそのプログラミングと、それを実現するための組織能力を指します。「プログラム技術の評価」はそれらに対する評価を意味し、ロジックモデル上では、投入（インプット）～活動（アクティビティ）の領域に当たります。
例として、生活困窮状態にある若年層に対して、SNSを使ったコミュニケーションによるアウトリーチを行うことで、困窮者支援に関する情報の提供や、支援申請手続きのサポート行うプログラムを考えます。このプログラムのロジックモデルが、下記のように整理できるとします。
作成：Intelligence In Society
このプログラムにおけるプログラム技術には、広告LPの作成、検索連動型広告の掲載、広告流入者のSNS登録誘導、SNS登録者の管理などの要素や、それらを実現する予算、スタッフの能力などが含まれます。これらがどのような質で行われたか、これらを実現するための資源は十分だったかなどを、プログラム技術の評価を通じて把握します。
②サービス提供システムの評価
プログラムによるサービスが、どのようにターゲット集団である利用者に届けられたのかに関する評価が、「サービス提供システムの評価」です。ロジックモデル上では、活動（アクティビティ）～産出（アウトプット）の領域に該当します。
上記プログラムの例では、SNS登録者に対する困窮者支援に関する情報提供や支援申請手続きのサポートといったサービス提供が、全ての登録者に対して全く同じプロセスや文脈で実施されているとは考えられません。SNS登録者に対するサービス提供にどのようなパターンや違いが存在し、それが成果（アウトカム）にどのように影響している可能性があるのか、を問うことが、がサービス提供システムの評価です。
③モニタリング
プログラムによるサービスの提供状況やそれによる直接的なアウトカムを、実績データ等に基づき把握する活動が「モニタリング」です。アウトカム・インパクト評価などのフォーマルな評価とは異なり、進行中の状況を大まかに把握することを目的としており、ロジックモデル上では、産出（アウトプット）～直接成果（直接アウトカム）の領域に当たります。
上記プログラムの例では、SNS登録者に対する情報提供数や支援申請手続きのサポート数などのアウトプットや、SNS登録者の支援申請手続き完了数などのアウトカムを定量的に把握することで、プログラムの進行状況やその変化を把握する活動がモニタリングです。
プロセス評価における評価指標
プロセス評価における評価指標は、各活動の実施数やサービス提供数といった定量データに加えて、プロセス上の問題点や課題感などに関する現場担当者の声や利用者の反応などの様々な定性データが利用されます。定性データは、担当者や利用者へのインタビュー、フォーカスグループディスカッション、質問票の活用などによって取得することができます。
インパクト評価などと異なり、収集されたデータを厳密な手法で評価することは一般的ではなく、より簡易的な分析手法をもとに、出来るだけ早期に状況の変化や課題の存在を把握することが重視されます。
その上で、特定のプロセスについてより詳細に分析することで、そのプロセスの効果や課題、その要因などを特定する際には、インパクト評価や効果検証などで使用されるより厳密な評価手法が必要となることもあります。
インパクト評価や効果検証に関する詳細は、以下のページからご覧いただけます。
ここまで、プログラム評価における「プロセス評価」について、その意味や目的、実施方法を解説しました。
当記事に関連するトピックの詳細については、以下のページをご覧ください。
また、プログラム評価に関する全ての記事は、以下のページからご覧いただけます。
参考文献・注記：
1. Peter H. Rossi, Mark W. Lipsey, Howard E Freeman. (2003) “Evaluation: A Systematic Approach (Seventh Edition),” SAGE Publications
2. INTRAC for civil society (2017) “Process Evaluation” https://www.intrac.org/app/uploads/2024/12/Process-evaluation.pdf (2025年10月7日最終閲覧）
3. 源由理子・大島巌（2020）『プログラム評価ハンドブック－社会課題解決に向けた評価方法の基礎・応用－』, 晃洋書房
4. 安田節之 (2011)『プログラム評価ー対人・コミュニティ支援の質を高めるためにー』, 新曜社
5. 安田 (2011)などを参考。
