Procesevaluaties van City Deal projecten

Van praktijk naar interventie

Digitale criminaliteit vormt een steeds grotere bedreiging voor onze samenleving. Om deze uitdaging aan te pakken, zijn de afgelopen jaren binnen de City Deal Lokale Weerbaarheid Cybercrime tientallen innovatieve cyberprojecten gestart. In opdracht van het Centrum voor Criminaliteitspreventie en Veiligheid (het CCV) heeft Cyberweerbaar NL elf interventies uit de tweede tranche van de City Deal geëvalueerd. Deze procesevaluaties (deelrapport 2; vervolg tranche 2) benadrukken niet alleen successen, maar ook verbeterpunten.

Het belang van een sterke evidence-based aanpak

Uit het onderzoek blijkt dat de initiatiefnemers van de projecten zich met veel enthousiasme inzetten en mooie resultaten behalen. Er is winst te behalen in het systematisch meten en onderbouwen van de effectiviteit van interventies. Door een theoretische of wetenschappelijk onderbouwing is de interventie mogelijk van hogere kwaliteit. Daarnaast laat de initiatiefnemer zien dat die weet wat er speelt en wat er te halen is. Tot slot kan er achteraf beter geëvalueerd worden of de doelen zijn behaald, mits dit SMART is opgesteld. Aanvankelijk is het dus van belang om meetbare (SMART)-doelstellingen op te stellen.

“Het enthousiasme en de inzet zijn bewonderenswaardig,” zegt Patrick van den Brink, directeur-bestuurder van het CCV. “Het is belangrijk dat interventies worden gebaseerd op bewijs en goed uitgewerkte plannen. Alleen zo kunnen we echt het verschil maken op het gebied van cyberweerbaarheid.” Twee van de elf onderzochte interventies hadden SMART-geformuleerde doelstellingen en vier interventies waren theoretisch onderbouwd.

Wat is onderzocht?

De procesevaluatie keek naar elf interventies gericht op diverse doelgroepen, waaronder het midden- en kleinbedrijf (mkb), burgers op wijkniveau en kwetsbare groepen zoals jongeren, senioren en laaggeletterden. Onderzoeksmethoden bestonden uit deskresearch, interviews met 33 betrokkenen en enquêtes onder 32 deelnemers. Het onderzoek richtte zich op zeven kerncriteria, zoals de kwaliteit van doelstellingen, doelgroepbepaling, theoretische en praktijkgerichte onderbouwing, procesverloop en evaluatie.

De resultaten schetsen een gemengd beeld:

• SMART-doelstellingen: Twee interventies voldeden volledig aan deze standaard.
• Doelgroepbepaling: Bij de helft van de interventies werd de doelgroep gekozen op basis van zowel cijfers als praktijkervaringen.
• Theoretische onderbouwing: Vier interventies waren gebaseerd op een wetenschappelijke onderbouwing, vooral als kennisinstellingen betrokken waren.
• Procesverloop: Een interventie verliep volledig volgens plan. Bij negen projecten waren aanpassingen nodig, waarvan twee als gevolg van COVID-19.

“De evaluatie van de interventies onderstreept het belang van een evidence-based aanpak.”

Succesfactoren

Een opvallend succes was de praktijkgerichte aanpak bij alle interventies. Het gebruik van praktijkervaring als basis biedt waardevolle inzichten en sluit aan op de dagelijkse realiteit van uitvoerders. Echter, deze praktijkervaring moet worden aangevuld met wetenschappelijke inzichten en meetbare doelstellingen om effectiviteit beter te kunnen garanderen. Bovendien kun je dan op systematische en structurele wijze een interventie evalueren en bijsturen, wat bijdraagt aan continue kwaliteitsverbetering.

Aanbevelingen voor de toekomst

Het rapport bevat concrete aanbevelingen om de effectiviteit van toekomstige cyberweerbaarheidsprojecten te vergroten:

1. SMART-doelstellingen formuleren bij de aanvraag van projecten.
2. Duidelijke doelgroepbepaling op basis van cijfers en onderzoek, naast praktijkervaringen.
3. Borging van uitvoering zodat deze consistent is met het oorspronkelijke plan.
4. Structurele evaluaties inbouwen om lessen te trekken en bij te sturen.

Bovendien benadrukt het rapport dat extra aandacht nodig is voor groepen zoals laaggeletterden. Die doelgroep wordt momenteel onvoldoende bereikt met bestaande interventies. Met het opstellen van SMART-doelstellingen kan de doelgroep gericht benaderd worden en achteraf gemeten worden of dit doel behaald is.

Inzichten voor beleidsmakers en uitvoerders

Dit rapport is een direct vervolg op Bluhm et al. (2024) waarin de overige 21 interventies (uit tranche 1 en 2) zijn onderworpen aan een procesevaluatie. Het biedt waardevolle handvatten voor beleidsmakers, projectleiders en uitvoerders die werken aan cyberweerbaarheidsprojecten. De inzichten helpen bij het opzetten van nieuwe initiatieven en het doorontwikkelen van bestaande projecten.

Heb je vragen over deze procesevaluatie, neem dan contact op met CCV-adviseur Doris van Rooijen.