Wanneer is educatie effectief?

Systematische evaluatie van educatieprojecten
Author(s)
Twisk, Drs. D.A.M.; Vlakveld, drs. W.P.; Commandeur, dr. J.J.F.
Year
Over de effecten van verkeerseducatie op de verkeersveiligheid is relatief weinig bekend. Op verzoek van verschillende Regionale Organen Verkeersveiligheid (ROV’s) heeft de SWOV in haar onderzoeksprogramma 2003-2006 onderzoek gedaan naar de effecten van elf educatieprojecten. Dit onderzoek is met steun van het Kennisplatform Verkeer en Vervoer (KpVV) en een aantal ROV’s uitgevoerd onder de naam ‘Effecten van Verkeerseducatie Onderzoek’ (EVEO). Educatie is effectiever als onderdeel van langdurige, herhaalde interventies in combinatie met andere maatregelen zoals politietoezicht. Toch zijn in dit onderzoek kortdurende en geïsoleerde educatieve programma’s onderzocht op grond van het principe dat een educatief programma -ook als onderdeel van een dergelijke geïntegreerde aanpak- een aantoonbare toegevoegde waarde dient te bezitten. Effecten werden gemeten in termen van veranderingen in het zelfgerapporteerde gedrag. Behalve naar het zelfgerapporteerde gedrag is ook gevraagd naar veranderingen in zogeheten 'gedragsdeterminanten': kennis, inzicht, bewustwording, houding en sociale oordelen. Het onderzoek bestond uit een voormeting, gevolgd door een interventie in de vorm van een educatieprogramma. De nameting vond circa een maand na de interventie plaats. In de analyse is gebruik gemaakt van een controlegroep. Voor iedere deelnemer is afzonderlijk nagegaan of er veranderingen tussen de voor- en de nameting optraden. De vragenlijsten bestonden uit een standaard onderdeel voor alle projecten en uit enkele unieke onderdelen, bedoeld om projectspecifieke leerdoelen te evalueren. Voor twee projecten is geen gebruik gemaakt van vragenlijsten maar van een maquettetest. Bij één project kon geen voormeting worden uitgevoerd. Bij ruim de helft van de geëvalueerde educatieprogramma’s is een maand na de uitvoering sprake van statistisch gezien een weliswaar kleine, maar significante verbetering in het zelfgerapporteerde gedrag als gevolg van het educatieproject. Het percentage leerlingen dat aangeeft zijn/haar gedrag in positieve zin te hebben gewijzigd ligt bij deze programma’s tussen de 10 en 41%. Bij de andere programma's kon geen significant effect worden vastgesteld. Voor alle projecten gold dat veranderingen in gedragsdeterminanten optraden op een aantal van de leerdoelen, maar niet op alle. Het EVEO-onderzoek heeft aangetoond dat het wenselijk en noodzakelijk is dat alle educatieprogramma’s in de toekomst worden geëvalueerd. Immers, door evaluatieonderzoek wordt inzichtelijk welke programma’s werken. EVEO heeft een eerste aanzet gegeven voor een systematische en hanteerbare evaluatiemethodiek. Op een aantal punten is het nodig die methodiek verder te ontwikkelen.
When is education effective? Systematic evaluation of education projects Relatively little is known about the road safety effects of traffic education. On request of various Provincial Road Safety Boards, SWOV studied the effectiveness of 11 education projects in its 2003-2006 research programme. Entitled Effects of Traffic Education (EVEO), this study was carried out together with several Provincial Road Safety Boards, and with support of the Ministry of Transport's Knowledge Platform for Traffic and Transport. Education is more effective if it is part of long-lasting and repeated interventions combined with other measures such as police control. In spite of this, in EVEO short-lasting and isolated educational programmes were studied on the grounds of the principle that each education programme should demonstrate having additional effects even if it is part of such an integrated approach. The effects were measured in terms of changes in self-reported behaviour. In addition, the questionnaires contained questions about behaviour determinants, like knowledge about traffic rules, hazard awareness, safety attitude, self assessment and social values. The study consisted of a pre-test, followed by an intervention in the form of an education programme. The post-test was about a month after the intervention. A control group was used to control for external influences. For each participant in both study groups, the results of the pre-test were compared with the results on the post-test. The questionnaires consisted of a standard section which was the same for all projects, and a section which was unique for the project to assess project specific training objectives. Questionnaires could not be used for two of the projects; a test using a table-top model of roads and traffic was used instead. For one project it was not possible to conduct a pre-test. More than half of the evaluated education programmes led to a small but statistically significant improvement in safe behaviour. Dependent on the programme the proportion of students that improved their behaviour as a result of the programme, ranged between 10 and 41%. The other programmes had no significant effect. All programmes led to statistically significant changes for some of the behaviour determinants, but not for all. The study has shown that it is both desirable and essential that, in future, all education programmes are assessed on effectiveness. After all, evaluation studies provide insight into which programmes lead to behaviour changes. EVEO has given the initial impetus to a systematic and manageable evaluation method. A number of points in the EVEO method need to be further developed.
Report number
R-2006-28
Pages
96 + 38
Publisher
SWOV, Leidschendam

SWOV publication

This is a publication by SWOV, or that SWOV has contributed to.