Hoe onderbouwen gemeenten hun inschatting van effectiviteit?

Een verkennende studie naar kennis over verkeersveiligheidsmaatregelen
Auteur(s)
Bax, C.A.; Uijtdewilligen, T.; Kint, S.T. van der
Jaar

Juiste kennis over de effectiviteit van maatregelen helpt om een doeltreffend verkeersveiligheids­beleid te voeren. Uit onderzoek blijkt echter dat gemeenteambtenaren moeite hebben om de effectiviteit van verkeersveiligheidsmaatregelen correct in te schatten. Daarom onderzochten we in deze verkennende studie op basis waarvan gemeenteambtenaren de effectiviteit van maatregelen inschatten, en zijn enkele denkrichtingen geformuleerd om de bestaande en beschikbare kennis over effectiviteit van maatregelen beter door gemeenten te laten benutten.

Om te beginnen zijn acht gemeenteambtenaren geïnterviewd om een groslijst te maken van kennisbronnen waarop gemeenteambtenaren zich baseren. Vervolgens is de groslijst gebruikt om een enquête op te stellen die is uitgezet onder alle Nederlandse gemeenten. In de interviews en enquête is specifiek gevraagd naar de gebruikte bronnen bij de inschatting van de effectiviteit van drie maatregelen:

  1. aanleg van een rotonde binnen de bebouwde kom met een vrijliggend fietspad en fietsers ‘in de voorrang’
  2. verkeerslessen voor kinderen op de basisschool;
  3. voorlichtingscampagne (bijvoorbeeld over MONO rijden op de fiets)

Voor deze maatregelen is gekozen omdat uit het onderzoek uit 2020 bleek dat respondenten de effectiviteit van deze maatregelen het slechtst inschatten: te negatief voor de hoge effectiviteit van rotondes en te positief voor de overwegend beperkte effectiviteit van verkeerslessen en voorlichtingscampagnes (zonder aanvullende handhaving).

De interviews leverden een grote verscheidenheid aan antwoorden op. Deze antwoorden zijn in te delen in zes typen van kennisbronnen die gemeenteambtenaren gebruiken voor de inschatting van effectiviteit:

  1. kennis via formele kanalen zoals opleiding, cursussen en literatuur;
  2. kennis uit persoonlijke ervaringen;
  3. kennis uit ervaringen van anderen;
  4. eigen onderzoek;
  5. gewoonte/geen directe reden;
  6. legitimatie door anderen.

Voor de drie genoemde maatregelen (rotondes, verkeerslessen en voorlichtingscampagnes) moesten respondenten in de enquête een top drie aangeven van bronnen waarop ze hun inschatting van effectiviteit baseren. Onderstaande tabel laat de drie meest genoemde bronnen zien per maatregel.

 

Tabel 1. Meest genoemde bronnen, gewogen naar plaats in de top 3 van elke respondent (N= 158).
 

Maatregel

Meest genoemde bron

Op een na meest genoemde bron

Op twee na meest genoemde bron

Rotondes

Kennis uit persoonlijke ervaringen

(Ik zie in de praktijk wat de effectiviteit van deze maatregel is)

Kennis via formele kanalen

(Dat heb ik gelezen in een boek/vaktijdschrift/op een website)

Kennis via formele kanalen

(Dat heb ik heb zo geleerd op de opleiding)

Verkeerslessen

Gewoonte/geen directe reden

(Ik denk het gewoon)

Kennis uit persoonlijke ervaringen

(Ik zie in de praktijk wat de effectiviteit van deze maatregel is)

Kennis via formele kanalen

(Dat heb ik gelezen in een boek, vaktijdschrift of op een website)

Voorlichtings­campagnes

Gewoonte/geen directe reden

(Ik denk het gewoon)

Kennis uit persoonlijke ervaringen

(Ik zie in de praktijk wat de effectiviteit van deze maatregel is)

Kennis uit persoonlijke ervaringen

(De maatregel zou voor mijzelf als verkeersdeel­nemer wel/niet werken, dus ook voor anderen)

 

Kennis uit persoonlijke ervaringen wordt bij alle maatregelen genoemd en zelfs tweemaal bij voorlichtingscampagnes. Gewoonten worden genoemd bij verkeerslessen en voorlichtings­campagnes, maar niet bij rotondes. Kennis via formele kanalen wordt tweemaal genoemd bij rotondes, maar niet bij voorlichtingscampagnes. De stelling ‘De provincie/het rijk financiert deze maatregel, daarom ga ik ervan uit dat de maatregel effectief is’ werd met name bij de verkeers­lessen aangevinkt als antwoord, hoewel minder vaak dan de bovenstaande redenen. Factsheet­teksten over effectiviteit van educatie en voorlichting bleken voor veel respondenten nieuwe informatie te bevatten.

Beperking

Ondanks de relatief hoge respons (43%) is de steekproef toch beperkt en vermoedelijk niet-aselect. Mogelijk hebben gemeenten die niet gereageerd hebben, minder interesse in en/of kennis over verkeersveiligheid. De resultaten gelden daarom niet automatisch ook voor gemeenten die niet hebben deelgenomen.

Conclusies

Op grond van de resultaten van de vragenlijst komen wij tot de volgende voorzichtige conclusies:

  • Er lijkt een gebrek aan kennis te bestaan over met name verkeerseducatie en voorlichting. Informatie in factsheets bevat informatie die niet bekend is bij gemeenteambtenaren.
  • Van de maatregelen waarvoor gemeenteambtenaren vaker informele kennisbronnen gebruiken, schatten ze de effectiviteit vaker niet correct in. Misschien (maar dat hebben we niet onderzocht) vullen zij hun gebrek aan formele kennis aan met eigen ervaringen.
  • Gewoonten (‘dat denk ik gewoon’) lijken een grote rol te spelen in het inschatten van de effectiviteit van verkeerslessen en voorlichtingscampagnes. Het is niet duidelijk waar dat ‘gewoon denken’ op gebaseerd is.
  • Gemeenteambtenaren vinden factsheetteksten over het algemeen redelijk duidelijk en vertrouwen de informatie. Een gebrek aan duidelijkheid en vertrouwen lijkt daarmee niet de reden te zijn waarom deze formele kennisbronnen niet gebruikt worden om de effectiviteit in te schatten. Wel lijken gemeenteambtenaren minder vertrouwen te hebben in tekstonderdelen die voor hen nieuwe informatie bevatten.
  • Informatie en subsidies van andere overheden lijken de perceptie van de effectiviteit van maatregelen te beïnvloeden. Zo gaf een deel van de gemeenteambtenaren met name bij verkeerslessen aan dat faciliterend gedrag van Rijk en/of provincie, in de vorm van subsidies, lesmateriaal en materiaal voor voorlichtingscampagnes, maakt dat zij denken dat dergelijke maatregelen effectief zijn.

Denkrichtingen voor verbetering

Een verkennende studie is geen ideale basis voor het doen van aanbevelingen. We hebben in dit onderzoek de eerste fundamenten gelegd voor kennis over de bronnen waarop gemeente­ambtenaren hun inschattingen over effectiviteit baseren. Vervolgonderzoek is nodig om de – voorzichtige – conclusies hierboven te toetsen en aansluiting te vinden bij de literatuur over gebruik van kennis in andere vakgebieden.

Op basis van wat gemeenteambtenaren zelf aandragen en eerder literatuuronderzoek zijn wel eerste denkrichtingen te formuleren voor verbetering van de kennis over effectiviteit:

  • Gezien de bevinding dat voor kennis over rotondes vaker naar formele kennisbronnen wordt verwezen dan voor kennis over educatie en voorlichting, lijkt het nuttig om te onderzoeken of in de verkeerskundeopleiding voldoende aandacht wordt besteed aan de effectiviteit (of het gebrek daaraan) van educatie- en voorlichtingsmaatregelen.
  • Gemeenteambtenaren noemden dat meer tijd om zich bezig te houden met verkeersveiligheid kan helpen om de literatuur over effectiviteit bij te houden.
  • Als provincies en Rijk subsidie en methoden verstrekken voor een maatregel, lijkt dit voor gemeenteambtenaren een reden om te veronderstellen dat die maatregelen ook effectief zijn. Ook op provinciaal en rijksniveau is kennis over effectiviteit van maatregelen dus van belang, zodat alleen effectieve maatregelen worden gesubsidieerd en ondersteund en een verkeerde beeldvorming over de effectiviteit van maatregelen wordt voorkomen.
  • Het is de vraag of (nog) duidelijkere en toegankelijkere informatie bij zal dragen aan meer kennis over de effectiviteit van maatregelen bij gemeenteambtenaren. Hoewel respondenten vaak aangaven dat ze meer en toegankelijkere informatie wilden, noemden ze de bestaande informatie over educatie en voorlichting nauwelijks als bron voor hun inschatting van effectiviteit. Of een betere toegankelijkheid van formele kennisbronnen inderdaad helpt, kan worden bepaald door het gebruik van deze bronnen te monitoren.
  • Respondenten gaven aan graag te leren van voorbeelden van anderen. Met name in formele kennisbronnen over voorlichting en educatie ontbreken nu voorbeelden van effectieve maatregelen, onder andere omdat er op die gebieden weinig effectieve maatregelen bekend zijn. Meer onderzoek naar de effecten van educatie en voorlichting in Nederlandse projecten zou deze voorbeelden kunnen bieden.

How do municipalities substantiate their effectiveness estimations?
An exploratory study of knowledge about road safety measures

Adequate knowledge about the effectiveness of measures helps to pursue successful road safety policies. Research shows, however, that municipal officials have trouble correctly estimating the effectiveness of road safety measures{Bax, 2020 #1056}. In the present exploratory study, we therefore investigated what municipal officials base their estimations on the effectiveness of measures on and we offer some perspectives to improve municipal utilisation of currently available knowledge concerning this effectiveness.

At the outset, eight municipal officials were interviewed to allow us to make a list of data sources used by the municipal officials. Subsequently, this list was used to draft a questionnaire distributed among all Dutch municipalities. In the interviews and the questionnaire, specific questions were asked about data sources used to estimate the effectiveness of three measures:

  1. the construction of an urban roundabout with a bicycle track and right of way for cyclists.
  2. traffic education for primary school children;
  3. publicity campaigns (for example to cycle MONO (not using a mobile phone))

These measures were chosen because 20201 research showed that respondents scored worst at estimating the effectiveness of these measures: they were too negative about the high effectiveness of roundabouts and too positive about the mostly limited effectiveness of traffic education and publicity campaigns (without additional enforcement).

The answers during the interview varied enormously and they may be subdivided into six types of sources used by municipal officials to estimate effectiveness:

  1. knowledge gained through formal channels, such as education, courses and literature;
  2. knowledge gained by personal experience;
  3. knowledge gained by the experience of others;
  4. their own research;
  5. habit/no immediate reason;
  6. legitimised by others.

For the abovementioned measures (roundabouts, traffic education, and publicity campaigns), the respondents had to provide the top three sources on which they base their effectiveness estimations. The table below presents the top three sources for each measure.

 

Table 1. Sources most often mentioned and weighted by the position in each respondent’s top three.
 

Measure

Most frequent source

Second most frequent source

Third most frequent source

Roundabouts

Knowledge gained by personal experience

(I have actually observed the effectiveness of this measure)

Knowledge gained through formal channels

(I have read this in a book/ professional journal/on a website)

Knowledge gained through formal channels

(I was taught this during my training)

Traffic education

Habit/no immediate reason

(I just think so)

Knowledge gained from personal experience

(I have actually observed the effectiveness of this measure)

Knowledge gained through formal channels

(I have read this in a book, professional journal, or on a website)

Publicity campaigns

Habit/no immediate reason

(I just think so)

Knowledge gained from personal experience

(I have actually observed the effectiveness of this measure)

 

Knowledge gained from personal experience

(As a road user, the measure would/would not work for me, so I do/do not expect it to work for others)

 

For all measures, knowledge gained by personal experience is mentioned every time, and even twice for publicity campaigns. Habits are mentioned for traffic education and publicity campaigns, but not for roundabouts. Knowledge gained through formal channels is mentioned twice for roundabouts, but not for publicity campaigns. Particularly for traffic education, the statement ‘The provincial/national government is financing this measure, which makes me assume the measure is effective’ was ticked as an answer, although less often than the reasons above. Fact sheet texts about the effectiveness of education and public communication were shown to contain new information for many of the respondents.

Limitations

In spite of the high response rate (43%), the sample is limited and probably not random. Non-responding municipalities may have less interest in and/or knowledge of road safety. The results do therefore not automatically also apply to the non-responding municipalities.

Conclusions

The results of the questionnaire lead to the following tentative conclusions:

  • A lack of knowledge seems apparent, especially of traffic education and public communication. Information in fact sheets contains information that is not known to municipal officials.
  • The effectiveness of measures for which municipal officials often use informal sources is often not estimated correctly. They may (although this was not investigated) supplement their lack of formal knowledge with knowledge gained by personal experience.
  • Habits (‘I just think so’) appear to largely contribute to the estimation of the effectiveness of traffic education and publicity campaigns. It is unclear what the ‘just thinking’ is based on.
  • Municipal officials judge fact sheets to be generally clear and they trust the information. A lack of clarity and trust do therefore not seem to be the reasons why these formal knowledge sources are not used to estimate effectiveness. Municipal officials do, however, appear to have less confidence in parts of the texts that contain information that is new to them.
  • Information and subsidies originating from other authorities appear to affect the perception of the effectiveness of measures. For traffic education in particular, some municipal officials indicated that provincial or national subsidies, teaching material and material for publicity campaigns encourage their assessment of such measures as being effective.

Perspectives for improvement

An exploratory study is not ideal for making recommendations. This report lays the foundations for knowledge about the sources on which municipal officials base their effectiveness estimations. Follow-up research is needed to test the – tentative – conclusions above and to concur with the literature about the use of knowledge in other fields.

Based on the ideas of municipal officials themselves and on previous literature surveys, some perspectives for improving effectiveness may be given:

  • Since knowledge about roundabouts more often stems from formal knowledge sources than is the case forknowledge about education or public communication, it seems sensible to investigate whether in traffic engineering courses enough attention is paid to the effectiveness (or lack of effectiveness) of traffic education and public communication measures.
  • Municipal officials indicated that having more time to spend on road safety might help keep up with the literature on effectiveness.
  • Provincial and national authorities providing subsidies and methods for a certain measure is reason for municipal officials to suppose that the measure is effective. Therefore knowledge about the effectiveness of measures is also important at provincial and national levels, so that only effective measures are subsidised and a mistaken perception of the effectiveness of a measure is prevented.
  • The question is whether (still) clearer and more accessible information will contribute to more knowledge about the effectiveness of measures at a municipal level. Although respondents often said they wanted additional and more accessible information, they hardly mentioned current information about education and public communication as a source for their effectiveness estimations. Whether more accessible formal data sources will indeed help, may be determined by monitoring the use of these sources.
  • Respondents said to appreciate learning by example. Particularly in formal knowledge sources about public communication and education, examples of effective measures are missing, i.a. because in these areas only few effective measures are known. More research into the effects of education and public communication in Dutch projects could provide these examples.
Rapportnummer
R-2021-26A
Pagina's
66
Gepubliceerd door
SWOV, Den Haag

SWOV-publicatie

Dit is een publicatie van SWOV, of waar SWOV een bijdrage aan heeft geleverd.