Doorontwikkeling CycleRAP-instrument voor veiligheidsbeoordeling fietsinfrastructuur

Dit rapport doet verslag van de verdere ontwikkeling van het CycleRAP-instrument. Met deze doorontwikkeling op verschillende onderdelen wordt beoogd het instrument uiteindelijk geschikt te maken als ‘fietsmodule’ in de iRAP/EuroRAP-methodiek.

Het CycleRAP instrument, en de doorontwikkeling daarvan, heeft de volgende achtergrond. De periode 2011-2020 is door de Verenigde Naties uitgeroepen tot het decennium voor verkeersveiligheid: de Decade of Action for Road Safety. Vanuit een nauwe betrokkenheid bij dit programma heeft de ANWB in 2013 het initiatief genomen voor het project CycleRAP – eerder Safe Cycling Network-project genoemd. Het doel van dit project is om een proactief instrument te ontwikkelen dat wegbeheerders kan ondersteunen bij de beoordeling – en uiteindelijk aanpak – van de (on)veiligheid van fietsinfrastructuur. Dit instrument zal op basis van een systematische beoordeling van kenmerken van fietsinfrastructuur een beeld moeten geven van de mate van fietsveiligheid. Omdat deze beoordeling plaatsvindt voordat ongevallen plaatsvinden, wordt deze benadering proactief genoemd.

Het CycleRAP-project is geïnspireerd door de Europese tak van iRAP: EuroRAP, een initiatief van de Road Safety Foundation (RSF), de ANWB en de Europese evenknieën AA (Engeland) en ADAC (Duitsland). Door een puntensysteem van sterren geeft EuroRAP wegbeheerders en -gebruikers een indicatie van de kans van een weggebruiker op een ernstig ongeval: een weg met één ster geldt als onveilig, een weg met vijf sterren als veilig. De ANWB streeft er samen met SWOV (als iRAP Centre of Excellence) naar om het CycleRAP-instrument onderdeel te laten zijn van EuroRAP en iRAP.

Voor de doorontwikkeling van het CycleRAP-instrument zijn de volgende drie deelprojecten uitgevoerd:

I. Doelmatigheid van handmatige tellingen van (brom)fietsintensiteiten in Amsterdam;
II. Interbeoordelaarsbetrouwbaarheid van het CycleRAP-instrument;
III. Validering van CycleRAP – de relatie tussen CycleRAP-scores en fietsveiligheid in Amsterdam.

Deel I Doelmatigheid van handmatige tellingen van (brom)fietsintensiteiten in Amsterdam

Het doel van het eerste deelonderzoek is om na te gaan of een eenvoudige, betaalbare methode voor het vaststellen van (brom)fietsintensiteiten een voldoende betrouwbaar beeld oplevert. Dit onderzoek maakt ook deel uit van een groter onderzoek naar de samenhang tussen fietsinfrastructuur, fietsverkeer en fietsveiligheid in Amsterdam.

In dit deelonderzoek hebben vijf waarnemers verspreid over Amsterdam herhaalde, kortdurende handmatige fiets-/bromfietstellingen verricht op 108 locaties. De tellingen met een gemiddelde meetduur van 7,4 minuut werden in een periode van 5-6 weken op elke locatie zes keer herhaald op verschillende dagen/tijdstippen in de spitsperiode (ochtend, middag). Vervolgens zijn de resultaten van deze tellingen vergeleken met een ‘referentiemeting’ van fiets-/bromfietsintensiteiten. Deze referentiemeting was in 2013 gedurende een week uitgevoerd met meetlussen, in het kader van reguliere fietstellingen in Amsterdam.

Resultaten Deel I per onderzoeksvraag

1. Hoe sterk is de samenhang tussen kortdurende (brom)fietsintensiteits­metingen en meer representatieve langeduurintensiteitsmetingen (referentietelling)?
   Handmatige tellingen van gemiddeld 7,4 minuten hebben een hoge correlatie met de referentietelling. De tellingen zijn voor beide methoden uitgevoerd in de spitstijden (Spearman rangcorrelatie van 0,83).
2. Hoe verandert de samenhang tussen kortdurende intensiteitsmetingen en de referentietelling wanneer meerdere kortdurende metingen met elkaar worden gecombineerd?
   De correlatie tussen de handmatige tellingen en referentietelling binnen de spitsperioden (7-9 uur, 16-18 uur) neemt toe naar 0,90, wanneer informatie uit meerdere handmatige tellingen wordt samengenomen. Toevoeging van informatie uit twee 7,4-minuten-metingen heeft meerwaarde ten opzichte van één 7,4-minuten-meting. Het toevoegen van informatie uit meer dan twee metingen heeft nauwelijks meerwaarde; de samenhang wordt daarmee vrijwel niet versterkt.
3. In welke mate overschatten of onderschatten de kortdurende metingen de waarden van de referentietelling?
   De handmatige tellingen van spitsintensiteiten na de eerste 7,4 minuten zijn gemiddeld een factor 2,8 zo hoog als die van de referentietelling; wanneer 7,4 minuten meettijd wordt toegevoegd, zijn de handmatige tellingen van spitsintensiteiten nog gemiddeld ca. 2,6 keer zo hoog als de referentietelling.

Conclusie Deel I

De algehele conclusie uit het onderzoek is dat het handmatig tellen van fietsverkeer gedurende 15 minuten gedurende spitstijden op verschillende locaties, een goede indicatie geeft van de relatieve intensiteit van het (brom)fietsverkeer wanneer die locaties onderling worden vergeleken. Binnen het CycleRAP-instrument kunnen de intensiteitsgegevens per (deel van een) straat gebruikt worden om de (delen van de) straten te ordenen naar de hoogte van de daar gemeten intensiteit van brom)fietsverkeer.

De ‘werkelijke’ intensiteit van (brom)fietsverkeer kan echter niet worden vastgesteld. Dit komt doordat de referentiemeting en de handmatige telling sterk van elkaar afwijken. Het is niet bekend of deze afwijking, die voor Amsterdam is gevonden, hetzelfde zal zijn buiten Amsterdam, in stedelijk of ruraal gebied.

Aanbevolen wordt de methode ook buiten Amsterdam toe te passen en ook daar ervoor te zorgen dat een deel van de verkregen gegevens te vergelijken is met objectieve tellingen (referentiemetingen). Daarmee kan nagegaan worden of ook op andere locaties (bijvoorbeeld buiten het stedelijk gebied) de resultaten van handmatige tellingen systematisch afwijken van die van andere telmethoden.

Daarnaast wordt aanbevolen om na te gaan wat de mate van overeenkomst is tussen gegevens uit de fietstelweek (Bikeprint; zie Deel III) en fietstellingen die met meetlussen of handmatig (kortdurend ) zijn verzameld.

Deel II Interbeoordelaarsbetrouwbaarheid van het CycleRAP-instrument

Binnen het CycleRAP-instrument worden kenmerken van fietsinfrastructuur verzameld aan de hand van Cyclomediabeelden (360°-foto’s van fietsinfrastructuur) die door personen (beoordelaars) worden bekeken. De beoordelaars zijn geïnstrueerd hun aandacht te richten op een van tevoren vastgestelde set van kenmerken van de fietsinfrastructuur, zoals de breedte van de fietsvoorziening, het gegeven of er wel of geen paaltjes op de fietsvoorziening staan en of de fietsvoorziening een scherpe bocht maakt. Voor elk kenmerk voert de beoordelaar een score in op een Access-invoerscherm. De kwaliteit van de gegevens die op deze wijze worden verzameld met het CycleRAP-instrument is mede afhankelijk van de training en instructies aan de beoordelaars. Het is zaak om het ‘scoren’ door verschillende personen zo vergelijkbaar en betrouwbaar mogelijk te laten zijn.

Het doel van dit tweede deelonderzoek is daarom om de zogeheten ‘inter-rater’- of interbeoordelaarsbetrouwbaarheid van het CycleRAP-instrument te bepalen en die betrouwbaarheid zonodig te vergroten. Dat laatste allereerst met het oog op een grootschalige beoordeling van (fiets)infrastructuur in Amsterdam (beschreven in Deel III) van dit rapport. De aanbevelingen van dit onderzoek (Deel II) zijn meegenomen in de voorbereiding van het onderzoek in Amsterdam (Deel III).

Vraagstelling Deel II

• In welke mate komen geïnstrueerde beoordelaars overeen bij het scoren van de kenmerken van fietsinfrastructuur aan de hand van het CycleRAP-instrument?
• Welke bronnen dragen bij aan de mate van (on)betrouwbaarheid?
• Welke aanpassingen aan het proces van gegevensverzameling vergroten de interbeoordelaarsbetrouwbaarheid?

Methode Deel II

Er zijn 123 beelden van evenzoveel locaties binnen en buiten de bebouwde kom geselecteerd uit gegevensbestanden van eerder onderzoek in Fryslân en Goes. Deze locaties zijn in dit onderzoek elk door vier beoordelaars beoordeeld met het CycleRAP-instrument op 26 kenmerken.

Gegevens van 69 locaties en van 25 kenmerken bleken bruikbaar voor analyse. De inter-raterbetrouwbaarheid is bepaald aan de hand van een combinatie van Krippendorff’s alpha en het percentage overeenkomst tussen beoordelaars. Daarnaast is beoordelaars gevraagd naar mogelijke verbetering in de instructie en hebben de onderzoekers locaties bestudeerd waarover beoordelaars het relatief vaak oneens bleken te zijn geweest.

Omdat er geen ‘gouden standaard’ voorhanden is, kan er geen uitspraak gedaan worden over de mate waarin de beoordelaars wel onderling overeenstemmen, maar niet het goede antwoord geven.

Conclusies en discussie Deel II

1. De inter-raterbetrouwbaarheid loopt bij de gehanteerde werkwijze sterk uiteen voor verschillende kenmerken. Bij vergelijking van de vier beoordelaars is Krippendorff’s alpha slechts voor vier kenmerken hoger dan 0,667; deze alpha-waarde is een indicatieve ondergrens voor een acceptabele inter-raterbetrouwbaarheid. Daarbij moet het volgende worden opgemerkt:
   a. Wanner het te beoordelen kenmerk niet frequent varieert (er staan bijvoorbeeld slechts enkele paaltjes in de verharding), dan krijgt de Krippendorff’s alpha relatief snel een zeer lage waarde als een van de beoordelaars een paaltje over het hoofd ziet. In die gevallen is het percentage overeenkomst tussen beoordelaars echter hoog; er wordt consequent door ieder correct aangegeven dat er vrijwel nergens een paaltje staat. Dit percentage overeenkomst nuanceert de lage alpha.
   b. Er is geen algemeen geldende waarde voor Krippendorff’s alpha die de grens tussen een wel of niet acceptabele inter-raterbetrouwbaarheid aangeeft. In dit onderzoek geeft de gehanteerde analysemethode vooral zicht op die kenmerken waar de inter-raterbetrouwbaarheid relatief laag is, daar moet vervolgens bijzondere aandacht aan worden besteed.
   c. Er is een groot verschil in uitkomsten wanneer we de betrouwbaarheid tussen drie van de vier beoordelaars als uitgangspunt nemen. Dat impliceert dat er in veel gevallen geen volledige overeenstemming is tussen beoordelaars, maar dat er bij veel beoordelingen wel een meerderheid is die identieke oordelen geeft.
2. Mogelijkheden om de inter-raterbetrouwbaarheid te verbeteren zijn:
   a. De interface intelligenter en gebruiksvriendelijker maken, door bijvoorbeeld directe terugkoppeling aan de beoordelaars als zij combinaties van oordelen invoeren die onderling tegenstrijdig zijn. Een andere verbetering is het selectiever meekopiëren van de gegevens naar het volgende beoordelingsscherm.
   b. Zorgen voor voldoende pauzes/ onderbrekingen (elk uur) gedurende de beoordelingstaak.
   c. Geen lange segmenten (100 m) van infrastructuur beoordelen. Deze zijn soms te onoverzichtelijk om daarbinnen bijvoorbeeld het obstakel te bepalen dat zich het dichtst bij de wegverharding bevindt; ook buiten de bebouwde kom.
   d. Instructie en training van beoordelaars verbeteren.
3. De betrouwbaarheid zal mede afhankelijk zijn van de complexiteit van de omgeving waarin de te beoordelen fietsinfrastructuur ligt (fietspaden door de polder of in een grootstedelijke omgeving). De in dit onderzoek beoordeelde infrastructuur ligt zowel binnen als buiten de bebouwde kom, in de provincie Fryslân en in Goes. In grootstedelijke omgevingen, zoals bijvoorbeeld in Amsterdam, zullen observatoren te maken krijgen met een veel complexere omgeving. Dan zal opnieuw moeten worden nagegaan in welke mate beoordelaars op een vergelijkbare wijze de kenmerken van fietsinfrastructuur in kaart brengen.

Aanbevelingen Deel II

1. Pas de werkwijze met CycleRAP aan (instructie, training, stimuleren van overleg tussen beoordelaars bij onzekerheid, werk-rusttijden, slimmere interface voor gegevensinvoer).
2. Onderzoek bij toekomstige toepassing van het instrument de betrouwbaarheid van de beoordelaars opnieuw om de inter-raterbetrouwbaarheid waar mogelijk verder te verbeteren. Gebruik daarvoor zowel de Krippendorff’s alpha als het percentage overeenkomst tussen beoordelaars.
3. Onderzoek de impact die de mate van onbetrouwbaarheid van de gegevensverzameling door verschillende beoordelaars heeft op de uiteindelijke uitkomst van het CycleRAP-instrument: de scores op veiligheid van fietsinfrastructuur. Stel op basis daarvan een grenswaarde vast voor de inter-raterbetrouwbaarheid van de gegevensverzameling — en daarmee voor de betrouwbaarheid van de score van fietsinfrastructuur op veiligheid.

Deel III Validering van CycleRAP - de relatie tussen CycleRAP-scores en fietsveiligheid in Amsterdam

Zoals in de inleiding van deze samenvatting staat beschreven, is het CycleRAP-project geïnspireerd op EuroRAP. Het streven is om het CycleRAP-instrument daarvan onderdeel te laten zijn. Voor aansluiting op EuroRAP zijn onder meer de volgende zaken van belang:

1. een set van indicatoren die relevant zijn voor de veiligheid van fietspaden;
2. een manier om data te verzamelen (veldwerk);
3. een manier om het onderzoekswerk in beelden vast te leggen en de data terug te kunnen kijken;
4. Een formule waarin de data worden verwerkt, met een inschatting van de coëfficiënten (wegingsfactoren) die in de formule nodig zijn om tot een score te kunnen komen;
5. validering; de vraag beantwoorden: als we locaties een score onveilig geven, gebeuren op die locaties dan ook veel fietsongevallen?

In het onderzoek van Wijlhuizen et al. (2014) is aandacht besteed aan de onderwerpen 1, 2 en 3. Het derde deelonderzoek van het huidige rapport gaat in op de onderwerpen 4 en 5, waarvan de validering van het CycleRAP-instrument het belangrijkste deel uitmaakt.

Doelstelling Deel III

Dit deelonderzoek is erop gericht om te komen tot een zo eenvoudig mogelijk hanteerbaar instrument waarvan is aangetoond dat het een score ‘onveilig’ geeft — en alleen dan — voor alle locaties waar het ook relatief onveilig is, in termen van aantallen fietsongevallen.

Vraagstelling Deel III

1. Wat zijn kenmerken van de onderzochte fietsongevallen?
2. Welke, in het CycleRAP-instrument opgenomen kenmerken onderscheiden de locaties waar de fietsongevallen zijn gebeurd van locaties waar geen fietsongevallen hebben plaatsgevonden? Is daarbij nog een verschil tussen locaties met fietsongevallen die licht en minder licht letsel als gevolg hebben?
3. Welke selectie en combinatie van kenmerken die onder 2 zijn gevonden en samenhangen met fietsongevallen, zijn de beste voorspellers voor het optreden van fietsongevallen? Het gaat hier om het bepalen van multivariate samenhang tussen infrastructuurkenmerken en fietsongevallen.
4. Hoe moeten de onder 3 gevonden kenmerken worden gewogen om een fietsveiligheidsindicator, uitgedrukt op een schaal (evt. met 5 sterren), te kunnen bepalen?

De bovenstaande vragen zijn in dit deelonderzoek beantwoord door met het CycleRAP-instrument de veiligheid van fietsinfrastructuur op en langs 50km/uur-wegen in Amsterdam te beoordelen en deze CycleRAP-scores te vergelijken met wat er bekend is uit ambulancegegevens over fietsongevallen op die wegen. Tevens is in deze studie een inter-raterbetrouwbaarheidsonderzoek uitgevoerd; zoals aanbevolen in Deel II.

Conclusies en aanbevelingen Deel III

1. Het inter-rater betrouwbaarheidsonderzoek dat in dit deelonderzoek is uitgevoerd, wijst uit dat er goede borging nodig is van de kwaliteit van de beoordelingen. Er zal nader onderzoek gedaan moeten worden naar welk kwaliteitsniveau minimaal nodig is om de veiligheid van fietsinfrastructuur goed te bepalen, en naar welke maatregelen en toetsinstrumenten daarvoor het meest doelmatig zijn.
2. Voor de volgende kenmerken van infrastructuur in het CycleRAP-instrument is er een relatie gevonden met fietsveiligheid, uitgedrukt in het aantal fietsongevallen per kilometer weglengte:
   a. intensiteit van het fietsverkeer; een hogere intensiteit hangt samen met een groter aantal fietsongevallen per 1000 meter weglengte.
   b. intensiteit van motorvoertuigen; een hogere intensiteit hangt samen met een groter aantal fietsongevallen per 1000 meter weglengte.
   c. lengte- en hoogteprofiel: een groter aantal fietsongevallen per 1000 meter weglengte bij toenemende dichtheid van het aantal knelpunten wat betreft veranderingen in fietsinfrastructuur, duidelijkheid van het verloop van de fietsinfrastructuur en de zichtbaarheid van andere weggebruikers
   d. een groter aantal fietsongevallen per 1000 meter weglengte bij toenemende dichtheid van het aantal kleine kruispunten (gebiedsontsluitingswegen — GOW — met erftoegangswegen — ETW)
   e. een groter aantal fietsongevallen per 1000 meter weglengte bij toenemende dichtheid van het aantal grote kruispunten (GOW onderling)
   f. een groter aantal fietsongevallen per 1000 meter weglengte bij toenemende dichtheid van het aantal rotondes (waar GOW bij elkaar komen).
   Voor deze kenmerken in CycleRAP is in dit onderzoek evidentie gevonden dat het instrument valide is. Er zijn echter nog wel enkele kwesties ten aanzien van de gevonden relaties met kruispunten (groot, klein) en rotondes die nader onderzocht moeten worden; met name ten aanzien van de stabiliteit van de gevonden relaties. Daarbij moet ook worden opgemerkt dat het gaat om relaties die gevonden zijn voor fietsinfrastructuur bij 50km/uur-wegen in Amsterdam. Dat impliceert dat deze relaties in andere steden of in buitenstedelijk gebied anders kunnen zijn. Dat geldt ook voor fietsinfrastructuur in stedelijke 30km/uur-gebieden. Bij toepassing van CycleRAP op andere locaties dan Amsterdam (landen, steden, gebieden) is, waar mogelijk, nader aanvullend onderzoek naar de validiteit wenselijk.
3. Er is geen verschil geconstateerd tussen de kenmerken die een relatie hebben met relatief ernstige fietsongevallen , en de kenmerken die een relatie hebben met fietsongevallen met relatief licht letsel. Op basis van de huidige resultaten wordt aanbevolen één model te hanteren en geen afzonderlijke modellen te hanteren voor verschillende letselernst.
4. Voor de volgende kenmerken binnen het CycleRAP-instrument is er in dit onderzoek geen evidentie naar voren gekomen voor een relatie met fietsveiligheid:
   - obstakels: dichtheid van het aantal knelpunten wat betreft obstakels op of direct naast de verharding en de zichtbaarheid daarvan. Het feit dat er in de onderzochte fietsinfrastructuur slechts een zeer klein aantal obstakels op de verharding is aangetroffen is de reden dat deze samenhang niet kon worden gevonden.
   - kwaliteit van de fietsinfrastructuur: dichtheid van knelpunten wat betreft de breedte, de ligging en kwaliteit van de verharding en de berm. In een beperkt analysemodel (met intensiteiten fiets en motorvoertuigen) is er een samenhang gevonden die indicatief is (p=0,135). Een slechtere kwaliteit wijst op een groter aantal fietsongevallen per 1000 meter weglengte.
   Er wordt aanbevolen om nader onderzoek te doen naar de relatie van deze onderdelen met fietsveiligheid in andere omgevingen. Dat kan bijvoorbeeld op basis van datasets met gegevens die in de toekomst met CycleRAP worden verzameld. Dan kan duidelijk worden of de betreffende kenmerken in andere gebieden wel of - ook daar - geen relatie hebben met fietsongevallendichtheid.
5. In dit deelonderzoek zijn coëfficiënten vastgesteld die kunnen worden toegepast als wegingsfactor voor elk van de variabelen op een zodanige wijze dat daarmee de relatie met fietsonveiligheid zo optimaal mogelijk wordt gerepresenteerd. Deze coëfficiënten zijn gebaseerd op onderzoek op 50km/uur-wegen in Amsterdam en kunnen veranderen wanneer CycleRAP wordt toegepast op andere locaties, zoals andere landen, steden en rurale gebieden. In welke mate dat het geval is kan alleen nader onderzoek uitwijzen.
6. In het huidige instrument worden kruispunten op een beperkt aantal kenmerken onderscheiden (soort, aantal takken en zicht). Aanbevolen wordt om na te gaan of CycleRAP moet worden aangevuld met kenmerken van kruispunten die relevant zijn voor de fietsveiligheid.