Home » Region » EU-Fonds 2014-2020 » EFRE » Ziel IWB EFRE » Evaluierung

Evaluierung und Strategische Umweltprüfung

Das Instrument „Evaluierung“ stellt ein entscheidendes Element zur strukturierten Bewertung des Fortschritts bei der Erreichung der Programmziele dar, welches durch Einspielung in das Programmmanagement sowie Partnerschaft mittels Lerneffekten zur Hebung der Qualität der Programmumsetzung beitragen soll. Evaluierung hat die Aufgabe, die Zielerreichung eines Programms zu überprüfen, Lehren aus der Umsetzung des Programms zu ziehen und Effizienz und Effektivität zu bewerten, um Verwaltung und Ergebnisse eines Programms zu verbessern. Augenmerk soll dabei auch auf Wirkungsevaluierungen gelegt werden, mit denen die Beiträge der Programme zu den Ergebnissen untersucht und bewertet werden.

Hier finden Sie Informationen zu wesentlichen Aspekten der Evaluierung und Umweltprüfung des IWB/EFRE-Programms 2014-2020::

  • Evaluierungskonzept
  • Ex-ante Evaluierung
  • Begleitende Evaluierung
  • Strategische Umweltprüfung

Evaluierungskonzept des IWB/EFRE-Programms

In Österreich wird im Bereich der EU-Regionalpolitik spätestens seit der Einrichtung der „Koordinations- und Arbeitsplattform Evaluierung“ („KAP-EVA“) bei der ÖROK- Geschäftsstelle für die Periode 2000-2006 die prozess- und dialogorientierte Herangehensweise bei Evaluierungen als treibende Kraft für die Hebung des Nutzens dieses Instruments erachtet. Evaluierung soll partizipativ gestaltet werden, womit dem Rollenverständnis des Evaluators als Experte und „Facilitator“ Rechnung getragen wird und eine aktive Mitwirkung der beteiligten Partnerschaft gefördert wird. Dies ist vor dem Hintergrund zu sehen, dass Evaluierung zu keinem (wissenschaftlichen) Selbstzweck durchgeführt wird, sondern ein Instrument zur Verbesserung der Qualität und Hebung der Relevanz von Programmierung und Implementierung darstellt. In diesem Licht soll Evaluierung auch einen gemeinsamen Lernprozess und partnerschaftliche Reflexion ermöglichen.

Die Eckpunkte der Programmbewertungen sind in einem vom Begleitausschuss beschlossenen Evaluierungsplan gemäß den Verordnungsvorgaben festgelegt. Im Plan wird ein Überblick über die geplanten Evaluierungen der Ziele der Prioritätsachsen gegeben, wobei der indikative Charakter zu betonen ist, da die Durchführung der Evaluierungen maßgeblich vom Fortschritt der Programmabwicklung abhängig ist.

Das von Richard Hummelbrunner, Markus Gruber und Simon Pohn-Weidinger erstellte Papier "Ergebnisorientierung in der EU - Programmperiode 2014-2020. Anforderungen und Herausforderungen für österreichische EFRE Programme. Beispiele für Interventionen" (Download als PDF-Datei) gibt einen Einblick in die Interventionslogik und mögliche Herangehensweisen an die Ergebnisorientierung in Österreich.

Für die Ergebnisorientierung wurden im Auftrag der Verwaltungsbehörde bei der ÖROK-Geschäftsstelle von JOANNEUM RESEARCH POLICIES Ausgangswerte für die Ergebnisindikatoren (sogenannte Baselines) für das IWB/EFRE-Programm erhoben. Es liegen dazu Factsheets für Österreich insgesamt und die Bundesländer vor, die unter diesem Link abgerufen werden können.

Strategische Umweltprüfung (SUP)

Eng gekoppelt an den Erstellungsprozess wurde gemäß „Richtlinie 2001/42/EG des Europäischen Parlaments und des Rates über die Prüfung der Umweltauswirkungen bestimmter Pläne und Programme“ vom 27. Juni 2001 (SUP-Richtlinie) eine Strategische Umweltprüfung (SUP) vorgenommen. Die  SUP wurde (wie auch die Ex-ante-Evaluierung) von der JOANNEUM RESEARCH Forschungsgesellschaft mbH (POLICIES - Zentrum für Wirtschafts- und Innovationsforschung) durchgeführt.

Die SUP-Richtlinie sieht gemäß Artikel 6 eine Konsultation der Öffentlichkeit vor. Dieses öffentliche Konsultationsverfahren ist am 7. Februar 2014 eingeleitet worden. Dabei standen als Dokumente der SUP-Umweltbericht vom Februar 2014 und die OP-Entwurfsfassung 2.0 vom 5. Februar 2014 zur Einsicht zur Verfügung. Stellungnahmen zum Umweltbericht konnten bis zum 12. März 2014 eingebracht werden.

Nach Ablauf des öffentlichen Konsultationsverfahrens wurden die eingelangten Stellungnahmen geprüft und nach Möglichkeit für die Finalisierung der Dokumente berücksichtigt. Dies wurde entsprechend dokumentiert und das Ergebnis der SUP ist im Download-Center auf www.efre.gv.at abrufbar: Zusammenfassende Erklärung gemäß Artikel 9 der SUP-Richtlinie, Umweltbericht (final)

Ex-ante Evaluierung (EaE)

Die Formulierung des Programmes erfordert ein vernetztes Zusammenspiel mehrerer Beteiligter mit unterschiedlichen Aufgaben, Kompetenzen und Interessen. Dies spiegelt sich auch bei der Gestaltung der Ex-ante-Evaluierung wider, insbesondere wird eine konstruktive Auseinandersetzung an Hand der unterschiedlichen Sichtweisen der Beteiligten angestrebt. Die Ex-ante-Evaluierung soll nicht nur in einen Bewertungsbericht münden, sondern auch Lernprozesse bei den an der Formulierung des Programmes unmittelbar Beteiligten unterstützen. Sie soll die Fähigkeiten der Beteiligten steigern sowie Hilfestellung geben, die Tragweite, die Einbettung und Kohärenz sowie potenzielle Implikationen zu erfassen und allfällige Probleme zu erkennen bzw. zu lösen.

Die Ex-ante-Evaluierung gemäß Art. 55 der Dachverordnung wurde von der Joanneum Research GmbH (POLICIES – Zentrum für Wirtschafts- und Innovationsforschung) durchgeführt, wobei zusätzlich das European Policies Research Centre (EPRC) der University of Strathclyde, Glasgow seine europäische Perspektive eingebracht hat.

Im Zuge der Ex-ante-Evaluierung fand ein interner diskursiver Austausch zwischen den programmverantwortlichen Stellen und den ExpertInnen von JR/POLICIES (EvaluatorInnen) und convelop (OP-Erstellung) statt, der Endbericht wird abschließend öffentlich gemacht werden.

Beide Teile – SUP sowie Ex-ante-Evaluierung – wurden zeitlich so getaktet, dass sie mit der Einreichung des Operationellen Programms (Mitte April 2014) korrelieren. Im Zuge der Überarbeitung des OP in Berücksichtigung der formalen Anmerkungen der EK im Laufe des zweiten Halbjahres 2014 wurden sowohl die SUP als auch die EaE vor dem Hintergrund der geänderten Programmstruktur überprüft und aktualisiert. Der Endbericht zur Ex-ante-Evaluierung ist in der finalen Fassung vom November 2014 im Download-Center auf www.efre.gv.at abrufbar.

Begleitende Evaluierung

Grundlage der begleitenden Evaluierung der IWB/EFRE-Programms 2014-2020 bilden die einschlägigen EU-rechtlichen Vorgaben, insbesondere die Dachverordnung sowie die EFRE-Verordnung. Generell hat die Evaluierung die Aufgaben, die Zielerreichung des Programms zu überprüfen sowie die Effizienz und Effektivität des Programms und der Umsetzung zu bewerten. Das Ziel ist es, Informationen über die Ergebnisse zu liefern sowie Verbesserungspotenziale einerseits für die laufende Programmperiode, andererseits auch für die Zukunft aufzuzeigen. Diesbezüglich spielen die Ergebnisse der Evaluierung eine wichtige Rolle als Input für den Programmierungsprozess der Programmperiode 2021-2027, was im Zeitplan der Evaluierung entsprechend berücksichtigt wurde.

Die begleitende Evaluierung des IWB/EFRE-Programms wird von einem Konsortium bestehend aus den Firmen ÖIR (Projektleitung), convelop, KMU-Forschung, ÖAR, ÖGUT und Spatial Foresight (Luxemburg) durchgeführt. Die diesbezüglichen Arbeiten starteten (nach dem Abschluss des Vergabeverfahrens im Dezember 2017, einem Verhandlungsverfahren nach vorheriger Bekanntmachung im Oberschwellenbereich) Anfang 2018.

Die Evaluierung findet im Rahmen von zehn sogenannten „Leistungspaketen“ (LP) statt:

  • Leistungspaket 1 „FTEI“: Die Prioritätsachse 1 „Stärkung der regionalen Wettbewerbsfähigkeit durch Forschung, technologische Entwicklung und Innovation“ des Programms wird unter Leitung von Markus GRUBER, convelop GmbH, evaluiert.
  • Leistungspaket 2 „KMU“: Diese federführend von Peter KAUFMANN (KMU-Forschung) durchgeführte Evaluierung umfasst die KMU-Förderungen des OPs, welche insbesondere im Rahmen der Programm-Prioritätsachse 2 „Stärkung der Wettbewerbsfähigkeit von KMU“ vorgesehen sind. Methodisch kommt eine „Contribution Analysis“ als ein spezifischer Ansatz der theoriebasierten Wirkungsevaluierung („theory based evaluation“) zum Einsatz; für den Vergleich der Entwicklung von geförderten mit nicht-geförderten Unternehmen wurde ein Kontrollgruppenansatz durchgeführt. Als primäre (quantitative) Datenbasis werden die Monitoringdaten aus ATMOS II herangezogen. Um die Analysen auf eine möglichst breite Basis zu stellen, werden – auch einer diesbezüglichen Empfehlung der Europäischen Kommission folgend – Daten aus der Periode 2007-13 herangezogen, da die diesbezüglichen Maßnahmen in der laufenden Programmperiode 2014-20 großteils unverändert fortgeführt worden sind.
  • Leistungspaket 3 „CO2-Reduktion“: Das LP widmet sich primär der Prioritätsachse 3 „Förderung der Verringerung der CO2-Emissionen in allen Branchen der Wirtschaft“ und wird unter Leitung von Franziska TREBUT (ÖGUT) durchgeführt.
  • Leistungspaket 4 „Städtische & Territoriale Dimension“: Im Rahmen dieses Leistungs­pakets wird eine integrierte Bewertung der Zielerreichung für die relevanten Ziele der Prioritätsachsen (PA) 4 und 5 des Programms durchgeführt. Das von ÖIR unter Leitung von Ursula MOLLAY durchgeführte Leistungspaket zielt also im Kern auf die städtisch/territoriale Wirkung der IWB/EFRE-Förderung ab und fokussiert stärker auf die Einschätzung der Wirkungsmechanismen und Rahmenbedingungen während die „klassischen Evaluierungsfragen“ zur Zielerreichung, den Outputs sowie zur materiellen Umsetzung ergänzend dargestellt werden. Es wurden länderspezifische Wirkungslogiken erstellt, die im Rahmen von Fokusgruppen mit Unterstützung der PVLs in den betroffenen Bundesländern (W, Stmk, OÖ, T) vorgestellt und diskutiert wurden.
  • Leistungspaket 5 „Technische Hilfe/Governance“: Die „Governance-Evaluierung“ wird von Konstantin MELIDIS (ÖAR-Regionalberatung GmbH, seit 2019 convelop GmbH) und Markus GRUBER (convelop GmbH) umgesetzt. Ziel war die Bewertung des Governance-Systems des IWB/EFRE-Programms 2014-2020 inklusive der wirkenden Programmstrukturen. Im Endbericht werden die Programmumsetzung und die Umsetzung der EFRE-Reformagenda analysiert. Empfehlungen in Hinblick auf die Organisation des IBW/EFRE-Programms 2021-2027 sowie kurzfristige Empfehlungen für die Programmperiode 2014-2020 werden gegeben.
  • LP 6 „Querschnittsthemen“: Die Evaluierung der Themen „Nachhaltige Entwicklung“ und „Chancengleichheit und Nichtdiskriminierung“ inklusive der Ziele hinsichtlich „Gleichstellung von Frauen und Männern“ sowie der „Barrierefreiheit für Menschen mit Behinderung“ im Rahmen des Leistungspaketes „Querschnittsthemen“ wird unter Leitung von ÖIR, Ursula MOLLAY durchgeführt.

Dieses Leistungspaket verfolgt insbesondere folgende Ziele:

 - „Querschnittsthemen-Check“: Bewertung der Ansätze und Beiträge zu den Querschnittsthemen aus allen Prioritätsachsen (für alle inhaltlichen Leistungspakete)

 - Evaluierung und Auswertung der „Awareness-Fragebögen“: Verbesserungs­vorschläge aus der Evaluierung wurden bereits in den Online-Fragebögen implementiert.

 - Sammlung der umgesetzten spezifischen Maßnahmen zu Chancengleichheit und Nichtdiskriminierung.

 

  • LP 7 „Kommunikation“: Im Rahmen dieses von Manfred KOJAN (ÖAR Regionalberatung GmbH) durchgeführten Leistungspakets wird die Öffentlichkeitsarbeit im Rahmen des OPs bewertet. Der Zwischenbericht liegt vor und wurde in einem Netzwerktreffen mit Kommunikationsverantwortlichen der Länder vorgestellt. Die 2. und letzte Phase des Leistungspaketes soll im 4. Quartal 2020 starten.
  • LP 9 „Umsetzungsberichte“: Im Leistungspaket 9 werden von convelop halbjährliche „Umsetzungsberichte“ erstellt, die einen Einblick über die finanzielle und materielle Implementierung des Operationellen Programms – inklusive deren Einbettung in die allgemeine wirtschaftlich-konjunkturelle Entwicklung – geben. Bisher liegen drei Berichte vor, der vierte Umsetzungsbericht mit Datenstand von Oktober 2019 ist aktuell Erstellung.

Ad Hoc Evaluierungen: Die Möglichkeit von Ad Hoc Evaluierungen wurde z.B. zur Einschätzung der Programmänderungen 2019 in Anspruch genommen.

Der Zeitplan sieht eine gestaffelte Bearbeitung der Leistungspakete vor, wobei wesentliche Ergebnisse 2019 und 2020 vorliegen. Ende 2022 liegt der Bewertungsbericht gemäß Artikel 114 Dachverordnung vor (LP 8) in dem die Teilergebnisse zusammengefasst und Gesamtaussagen auf Programmebene gezogen werden.

Alle Evaluierungsberichte der begleitenden Programmevaluierung können auf der IWB/EFRE-Programmseite unter diesem Link abgerufen werden.