Evaluatie van het bromfietspraktijkexamen

Onderzoek naar de werking van het bromfietspraktijkexamen en voorbereidende theorielessen op de verkeersveiligheid
Author(s)
Goldenbeld, Ch.; Wijlhuizen, G.J.; Vlakveld, W.P.; Commandeur, J.J.F.; Vissers, J.A.M.M. (Royal HaskoningDHV)
Year
Op 1 maart 2010 is het bromfietspraktijkexamen (BPE) ingevoerd om de veiligheid van de bromfietser, snorfietser en de brommobielrijder te vergroten. Het BPE bestaat uit twee soorten examens: 1. het ‘AM2-examen’ voor brom- en snorfietsers, gericht op verkeersdeelname, en 2. het ‘AM4-examen’ voor brommobielrijders, gericht op voertuigvaardigheden op een afgesloten terrein. In februari 2011 zijn de inhoud, uitvoering en resultaten van beide praktijkexamens en -opleidingen voor het eerst geëvalueerd door ingenieursbureau DHV. De SWOV is gevraagd een tweede evaluatie uit te voeren, nu van de effecten op de verkeersveiligheid. Het ministerie van Infrastructuur en Milieu heeft daartoe een aantal vragen geformuleerd. Dit rapport beantwoordt deze vragen zo goed mogelijk aan de hand van de gegevens die daarvoor beschikbaar zijn. Vraag 1: Heeft het AM2-examen een positief effect op verkeersveiligheid? Deze vraag is bekeken aan de hand van een tijdreeksanalyse van ernstig gewonde bromfiets- en snorfietsslachtoffers over de periode 1995-2011, waarbij de reeks van 15-17-jarige slachtoffers is vergeleken met die van 18-24-jarige slachtoffers. De jongste groep heeft grotendeels een praktijkexamen gedaan, de andere groep vormt de zogeheten controlegroep, die grotendeels geen praktijkexamen heeft gedaan. Na invoering van het BPE is er een gunstige ontwikkeling zichtbaar ten aanzien van het aantal ernstig verkeersgewonden onder brom- en snorfietsers in de leeftijd van 15-17 jaar. Het aantal 15-17-jarige brom- en snorfietsslachtoffers is relatief snel, maar statistisch niet significant, gedaald, terwijl het aantal 18-24-jarige slachtoffers juist is gestegen. Het kan vooralsnog niet worden uitgesloten dat de ontwikkeling berust op toeval in plaats van op een trendbreuk als gevolg van een maatregel. Dat is mede het geval doordat de uitslag is gebaseerd op een korte naperiode van één jaar na de invoering van de maatregel, terwijl het aantal bromfietsslachtoffers door de jaren heen behoorlijk fluctueert. Om statistisch onderbouwd te kunnen concluderen of er sprake is van een trendbreuk is het nodig om ongevallengegevens over 2012 en mogelijk ook latere jaren te kunnen betrekken in de tijdreeksanalyse. Er moet een meerjarige, consistente daling in het aantal ernstig gewonde jonge bromfietsers te zien zijn om deze statistisch significant te kunnen vaststellen. Opgemerkt dient te worden dat een mogelijk veiligheidseffect van de invoering van het BPE via verschillende mechanismen kan optreden: 1. een leereffect van de opleiding en het examen met als verwacht gevolg een verbeterde rijvaardigheid en veiliger verkeersgedrag; geslaagde brom- en snorfietsers zijn beter toegerust voor veilige verkeersdeelname; 2. een vermindering van het aantal jeugdige bromfietsers door de drempelwerking van het BPE en mede door de gelijktijdige invloed van de maatregel 2toDrive, waardoor ook 16-17-jarigen al met autorijlessen mogen beginnen; 3. een mogelijk ‘uitsteleffect’ doordat twee examens (theorie én praktijk) moeten worden gehaald en de leeftijd van degene die met bromfietsen begint iets hoger is; 4. een mogelijk extra effect van handhaving doordat de bromfietsers na hun examen onder de beginnersregeling vallen. In dit onderzoek zijn aanwijzingen gevonden dat vooral het tweede mechanisme, vermindering van het aantal jeugdige bromfietsers, een belangrijke rol speelt. Over de periode 2009-2011 neemt het bromfietsbezit onder 15-17-jarigen sterk af, terwijl het bromfietsbezit onder 18-24-jarigen in dezelfde periode juist toeneemt. Vraag 2: Gegeven de kennis over AM2-onderdelen en de integratie van theorie- en praktijklessen: dient het AM2-examen te worden aangepast? Het antwoord, gebaseerd op raadpleging van rijinstructeurs en rijexaminatoren, op deze vraag is ontkennend. Het huidige examen voldoet volgens hen goed binnen de gegeven randvoorwaarden en er is geen dwingende reden uit oogpunt van de verkeersveiligheid om dit aan te passen of aan te vullen. De rijinstructeurs en rijexaminatoren waren geraadpleegd in de vorm van een gestructureerd groepsinterview. Het interview werd uitgevoerd door een mediator van Royal HaskoningDHV met meer dan 25 jaar ervaring op het terrein van rijopleiding en -examinering. De instructeurs en examinatoren hadden de volgende inhoudelijke overwegingen ten aanzien van het AM2-examen. Ze zijn het erover eens dat het specifieke onderwerp ‘positie op de weg’ betere uitleg behoeft in de Rijprocedure AM. Tevens geven ze aan dat het AM2-examen mogelijk zinvol zou kunnen worden aangevuld met een aantal nieuwe elementen uit het rijexamen B voor automobilisten. Het gaat om elementen die meer gericht zijn op verkeersinzicht en gevaarherkenning, zoals ‘situatiebevraging’, ‘zelfreflectie’ en ‘speciale verrichtingen’. Er ontbreekt echter nog kennis over de effectiviteit van deze elementen in de (rijbewijs B-)praktijk, waardoor het nog te vroeg is om ze toe te voegen aan het AM2-examen. Van de genoemde nieuwe elementen is het element ‘speciale verrichtingen’ het gemakkelijkst te integreren in het huidige AM2-examen. De overige elementen zijn zoals gezegd nog niet op effectiviteit onderzocht en ze kunnen bovendien de moeilijkheidsgraad, de tijdsduur en de kosten van het examen verhogen, en daardoor de laagdrempeligheid ervan. Vraag 3: Heeft het AM4-examen een positief effect op verkeersveiligheid? Deze vraag is niet te beantwoorden vanwege een gebrek aan ongevallengegevens. De jaarlijks ongeveer 20 ernstig gewonden onder inzittenden van brommobielen bieden onvoldoende basis voor een zinvolle statistische analyse. Vraag 4: Gegeven de kennis over AM4-onderdelen en de integratie van theorie- en praktijklessen: dient het AM4-praktijkexamen te worden aangepast? Gezien de lage aantallen brommobielexamens is van een aanpassing van het AM4-examen op nationale schaal nauwelijks een effect op verkeersveiligheid te verwachten. Vanuit dat oogpunt is er dan ook geen dwingende reden om het AM4-examen aan te passen. Deze vraag is onderzocht aan de hand van onderzoeksliteratuur en door deskundigen (CBR-examinatoren) te raadplegen. Daaruit is het volgende algemene inzicht naar voren gekomen. Op dit moment wordt in het AM4-praktijkexamen alleen op voertuigbeheersing getoetst, terwijl volgens de literatuur en de deskundigen voor adequaat verkeersgedrag in principe meer nodig is, zoals reageren op andere verkeersdeelnemers en toepassen van de verkeersregels. Vraag 5: Wat is het mogelijke effect op de verkeersveiligheid wanneer aan meer dan twee bromfietsleerlingen tegelijk les wordt gegeven? Lesgeven aan meerdere leerlingen tegelijkertijd kan veilig zijn en ook voordelen met zich meebrengen. Wanneer echter cursisten met sterk verschillend beginniveau meedoen kan wel verwacht worden dat de effectiviteit van het lesgeven, het leereffect per individuele cursist, wordt benadeeld. Met het oog op de verkeersveiligheid wordt aanbevolen om zo veel mogelijk homogene groepen cursisten te vormen, zodat het niveau en tempo van de instructie voor alle leerlingen geschikt is. Bovenstaand antwoord is gebaseerd op raadpleging van rijinstructeurs, omdat over dit onderwerp in binnen- en buitenland geen objectieve gegevens voorhanden zijn. De rijinstructeurs menen dat lesgeven aan meerdere leerlingen in principe moeilijker en ook riskanter is dan lesgeven aan één leerling. Ze zijn van mening dat praktijkles aan twee leerlingen tegelijk veilig kan zijn, op voorwaarde dat instructeurs door een goede voorbereiding en op basis van een ruime ervaring de extra risico’s weten te ondervangen. Het didactische voordeel van het lesgeven aan meerdere leerlingen is dat een groepsdiscussie met leerlingen bijdraagt aan een betere verwerking van de leerstof. Bij grote niveauverschillen tussen leerlingen wordt echter wel de effectiviteit van het lesgeven eerder benadeeld dan bevoordeeld. Vraag 6: Gegeven de kennis over mogelijke effecten van theorielessen: moet de theorie-opleiding verplicht worden? Er is een positief verband tussen het volgen van theorielessen en de slaagkans bij het theorie-examen. Dit resultaat op zichzelf biedt echter onvoldoende grondslag voor een eventueel positief advies over verplichtstelling van theorielessen, omdat de bestudeerde literatuur verder nauwelijks positieve gedrags- en veiligheidseffecten laat zien van een (verplichte) theorieopleiding. Bovenstaand antwoord is gebaseerd op een korte literatuurstudie in combinatie met de analyse van resultaten uit een eerder vragenlijstonderzoek (het Periodiek Rijopleidingsonderzoek). Of theorielessen wel of niet verplicht moeten worden, hangt mede af van wat in die lessen geleerd wordt. Op basis van de geraadpleegde, internationale literatuur over automobilisten, is de relatie tussen kennis van de verkeersregels en ongevalsbetrokkenheid niet aangetoond. Wel worden in verschillende publicaties en door experts beperkingen van de standaard-theorieopleiding geconstateerd, en wordt gepleit voor theorieopleidingen die zich meer richten op hogereordevaardigheden zoals gevaarherkenning, verkeersinzicht en persoonlijke doelen bij verkeersdeelname. Vraag 7: Maakt het volgen van theorielessen verschil uit voor de praktische verkeersdeelname in de zin dat theorielessen de slaagkans bij het praktijkexamen vergroten? Deze vraag is onderzocht bij jonge automobilisten, door gegevens uit het eerder genoemde vragenlijstonderzoek en CBR-gegevens over examenresultaten te analyseren. Het antwoord op de vraag is ontkennend. Bij Nederlandse automobilisten is vastgesteld dat het wel of niet volgen van theorielessen geen invloed heeft op het wel of niet slagen voor het praktijkexamen B, rekening houdende met verschillen in leeftijd, opleiding en sekse. We menen dat dit resultaat bij jonge bromfietsers hetzelfde zal zijn als bij automobilisten. Ten eerste zijn er namelijk grote overeenkomsten in theorie voor bromfietsers en automobilisten. Ten tweede lopen theorie- en praktijklessen bij automobilisten meer gelijk op, terwijl bij bromfietsers de theorie- en praktijklessen in tijd zijn gescheiden. Hierdoor zullen theorielessen bij bromfietsers waarschijnlijk nog minder effect op de slaagkans voor het praktijkexamen hebben dan bij automobilisten. Vraag 8: In hoeverre kloppen de schattingen uit de eerste evaluatie dat 33% tot 50% van jongeren zonder rijbewijs AM2 rijdt? De schatting uit 2011 dat 33% tot 50% van de jongeren zonder rijbewijs AM2 rijdt, was gebaseerd op een interview onder twaalf jongeren die eerder examen hadden gedaan voor het AM2-rijbewijs en op gesprekken met vertegenwoordigers van de belangrijkste brancheorganisaties (ANWB, BOVAG, Federatie Autorijschool Management FAM, Koninklijke Nederlandse Motorrijders Vereniging KNMV en Vereniging Rijschool Belang, VRB). De vraag of deze percentages kloppen heeft de SWOV onderzocht met gegevens uit politiecontroles. Uit de beschikbare politiegegevens blijkt dat het aandeel brom- en snorfietsbestuurders dat wordt staande gehouden zonder geldig (bromfiets)rijbewijs rond de 4% ligt (met uitschieters van 0,3% tot 9,1%). Er zijn geen aanwijzingen voor een structurele toe- of afname hierin in de afgelopen jaren. Helaas zijn deze gegevens niet uit te splitsen naar leeftijd, zodat geen uitspraak gedaan kan worden over de eerdere schattingen die specifiek betrekking hebben op jongeren. Aanbevelingen Op grond van dit evaluatieonderzoek doet de SWOV twee aanbevelingen: 1. Om meer zekerheid over effecten te verkrijgen dient de evaluatie van het bromfietspraktijkexamen voortgezet te worden in 2014 of 2015 met een verdere analyse van ontwikkelingen in slachtoffers en met een nadere beschouwing van dieperliggende oorzaken van bromfietsongevallen, en mogelijke veranderingen daarin na invoering van de maatregel. 2. Met het oog op de iets langere termijn, 2015-2020, verdienen de snel verdergaande ontwikkelingen in de wetenschappelijke kennis over trainbaarheid en toetsbaarheid van hogereordevaardigheden (zoals gevaarherkenning) grote aandacht. Deze ontwikkelingen zijn van groot belang voor de opleiding en examinering van verschillende categorieën bestuurders (motorrijders, bromfietsers, automobilisten, en bus- en vrachtwagenchauffeurs) en verdienen daarom professionele aandacht die deze afzonderlijke categorieën overstijgt.
Evaluation of the moped riding test; Effectiveness concerning road safety of the moped riding test and preparatory theory lessons On 1 March 2010, the moped riding test (BPE) was introduced to increase the safety of (light) moped riders and microcar drivers. The BPE consists of two types of tests: 1. the ‘AM2 test’ for (light) moped riders, testing traffic behaviour, and 2. the ‘AM4 test’ for microcar drivers, testing vehicle skills on a closed circuit. In February 2011, the first evaluation of content, execution and results of both practical tests and theory lessons was carried out by Royal HaskoningDHV engineering consultancy. SWOV was asked to perform a second evaluation which was to focus on the road safety effects. To this end, the Dutch Ministry of Infrastructure and the Environment formulated a number of questions. This report presents the best possible answers to these questions based on the available data. Question 1: Does the AM2 test have a positive effect on road safety? This question was studied using a time series analysis of seriously injured (light) moped casualties over the period 1995-2011, which compared the series of 15-17 year old casualties with that of 18-24 year old casualties. Most of the youngest group had taken a riding test, the other group, most of whom had not taken a riding test, was used as the so-called control group. After the BPE was introduced, there was a positive development of the number of serious road injuries among (light) moped riders. The number of 15-17 year old (light) moped casualties showed a relatively rapid, although not statistically significant, decline. The number of 18-24 year old casualties, on the other hand, increased. As yet, it cannot be ruled out that the development is coincidental rather than a trend break due to a measure. This is partly due to the fact that the finding was based on a brief after period of one year after the introduction of the measure, whereas the number of moped casualties fluctuates considerably throughout the years. A statistically robust conclusion about whether or not there is a trend break requires using the crash data of 2012 and possibly also those of later years in the time series analysis. To determine a statistically significant decline, there must be a multi-year, consistent decline of the number of seriously injured young moped riders. It must be noted that a possible safety effect caused by the introduction of the BPE may occur through several mechanisms: 1. a learning effect of the training and the test which according to expectation results in improved riding skills and safer traffic behaviour; (light) moped riders who pass the test are better equipped for safe traffic participation; 2. a decline of the number of young moped riders due to the threshold effect of the BPE together with the simultaneous introduction of the 2toDrive measure, which makes it possible for 16-17 year-olds to start taking driving lessons; 3. a possible ‘delay effect’ because two tests - theory and practical - must be passed and the starting age for moped riding is somewhat higher; 4. a possible extra effect of enforcement because after having passed their exam the beginners’ regulation also applies to moped. The present study found indications that the second mechanism in particular, the decline in the number of young moped riders, plays an important role. Over the period 2009-2011, moped ownership among 15-17 year-olds declined considerably, whereas moped ownership among 18-24 year-olds increased during the same period. Question 2: Given the knowledge of the AM2 components and the integration of theory and practical lessons: must the AM2 test be adapted? The answer to this question, based on consultation of instructors and examiners, is negative.. They find the present test satisfactory within the given constraints and from the road safety angle there is no urgent reason to adapt or supplement the test. The instructors and examiners were consulted by means of a structured group interview. The interview was held by a Royal HaskoningDHV mediator with more than 25 years of experience in the field of driver training and testing. A number of substantive considerations concerning the AM2 test were brought up. Instructors and examiners agreed that the specific subject ‘road position’ requires better explanation in the Rijprocedure AM (Riding procedure AM). They also indicated that the AM2 test could possibly be usefully supplemented with some new elements from the driving test B for passenger cars. These are elements that focus on traffic insight and hazard perception, e.g. ‘situation survey’, ‘introspection’ and ‘special operations‘. However, knowledge about the actual (B licence) effectiveness of these elements is still lacking, which means it is too early to add them to the AM2 test. Of the three new elements that were mentioned, the element ‘Special operations’ is easiest to integrate in the present AM2 test. The other elements have not yet been tested on their effectiveness and could also increase the difficulty, necessary time and the cost of the test, hence limiting its accessibility. Question 3: Does the AM4 test have a positive road safety effect? Lack of crash data makes it impossible to answer this question. The number of about 20 serious road injuries among microcar occupants per year is insufficient basis for a significant statistical analysis. Question 4: Given the knowledge about AM4 components and the integration of theory lessons and riding lessons: does the AM4 riding test need to be adapted? Due to the small number of exams taken by microcar drivers, adaptation of the AM4 test on national scale is expected to have hardly any effect on road safety. Therefore, there is no important reason to adapt the AM4 test. This question was investigated by studying the literature and consulting experts (examiners of the Dutch Driving Test Organisation CBR). This resulted in the following general notion. Presently, the AM4 test only examines vehicle control whereas, according to literature and experts, in principle more than that is required for adequate traffic behaviour, e.g. responding to other road users and applying traffic rules. Question 5: What is the possible road safety effect if more than two moped learners are taught simultaneously? Teaching multiple learners simultaneously can be safe and also have certain advantages. However, when the learners being taught have very different beginner’s levels, the effectiveness of the teaching, the learning effect per individual learner, may be impaired. From a road safety perspective it is to be recommended that as many as possible of the groups that are formed are homogeneous. This ensures that both level and pace of the instruction is suitable for each of the learners. The above answer to the question has been based on consultation of riding instructors as no objective data is available, either in the Netherlands or internationally. The instructors are of the opinion that, in principle, teaching multiple learners simultaneously is more difficult and also riskier than teaching one learner. They believe that a practical lesson with two learners simultaneously can be safe, provided the instructor is capable of dealing with the extra risks by good preparation and broad experience. The didactic benefit of teaching multiple learners simultaneously is that a group discussion with the pupils contributes to better processing of the curriculum. However, when the learners have very different levels of skills, the effectiveness of the teaching decreases rather than increases. Question 6: Given the knowledge about the possible effects of theory lessons: should the theory training be made compulsory? There is a positive relation between following theory lessons and the chance of passing the theory test. This result in itself is insufficient basis for considering a positive advise on whether or not making theory lessons compulsory, as the literature that was studied shows hardly any positive behavioural or safety effects due to a compulsory theory training. The above answer has been based on a brief literature study and an analysis of the results of an earlier survey (the Periodic Driver Training Survey). Whether or not theory lessons are to be made compulsory partly depends on the curriculum of these lessons. Based on the international literature about drivers that was studied, no relation has been established between the knowledge of traffic rules and crash involvement. However, many publications and experts have found the standard theory training to have shortcomings and advocate theory trainings with a stronger focus on higher order skills like hazard perception, insight in traffic, and personal goals during traffic participation. . Question 7: Does following theory lessons make a difference in relation with the practical road use in the sense that theory lessons increase the likelihood of passing the practical test? This question was investigated among young drivers, by analysis of data from the earlier mentioned questionnaire study and test results provided by The Dutch Driving Test Organisation CBR. The question was answered negatively. Among Dutch drivers it was established that following or not following theory lessons has no effect on passing or failing the B driving test, taking account of differences in age, education or gender. We are of the opinion that this result will be the same for young moped riders as it was for drivers. Firstly, there are great similarities between theory lessons for moped riders and drivers. Secondly, theory and practical lessons for drivers are more simultaneous, whereas theory and practical lessons for moped riders are separated in time. Therefore, theory lessons for moped riders will probably have an even smaller effect on the success rate than those for drivers. Question 8: To which extent are the estimates from the first evaluation correct that 33% to 50% of the young moped riders do not have their AM2 licence? The 2011 estimate that 33% to 50% of the young moped riders do not have their AM2 licence, was based on an interview among twelve youths who had previously taken their AM2 test and on interviews with representatives of the most important sector organisations (The Royal Dutch Touring Club ANWB, the organisation for mobility entrepreneurs BOVAG, Federation Driving School Management FAM, Royal Dutch Motorcyclists Association KNMV, and the Association Driving School Interests VRB). SWOV investigated the correctness of these percentages using police enforcement data. The available data indicates that the share of (light) moped riders who are stopped and do not have a valid licence is about 4% (with peaks from 0.3% to 9.1%). There are no indications of a structural increase or decline in recent years. Unfortunately, this data cannot be subdivided into age groups, so that it is impossible to comment on the earlier estimates that concern youths in particular. Recommendations Based on the present evaluation study, SWOV has two recommendations: 1. For higher certainty about the effects the evaluation of the practical moped test needs to be continued during 2014 or 2015 with a further analysis of developments in casualties and with a more detailed investigation of the deeper causes behind moped crashes, and possible changes occurring after the introduction of the measure. 2. In the somewhat longer term, 2015-2020, the rapid developments in scientific knowledge about trainability and testability of higher order skills (such as hazard perception) deserve great attention. These developments are of great importance for the training and testing of different categories of riders and drivers (motorcyclists, moped riders, passenger car drivers, and bus and lorry drivers) and therefore deserve professional attention surpassing these individual categories.
Report number
R-2013-6
Pages
44 + 43
Publisher
SWOV, Leidschendam

SWOV publication

This is a publication by SWOV, or that SWOV has contributed to.