De ziekte van Alzheimer, de meest voorkomende vorm van dementie, is een progressieve ziekte die de cognitieve functies van de patiënt aantast, waardoor onder andere autorijden moeilijker wordt. Tot 2009 was het daarom niet toegestaan om als automobilist nog deel te nemen aan het verkeer als de ziekte van Alzheimer was geconstateerd. Door ontwikkelingen in de medische wetenschap kon de diagnose ziekte van Alzheimer echter steeds eerder in het ziekteproces worden gesteld, en kreeg een steeds grotere groep ten onrechte te maken met een ontzegging van de rijbevoegdheid. Om die reden is de wetgeving over de rijgeschiktheid van mensen met lichte dementie aangepast: het is sinds 2009 mogelijk om met de diagnose lichte dementie het rijbewijs te behouden mits met een rijtest van het CBR is aangetoond dat de rijgeschiktheid voldoende is. Deze wetswijziging zou tot een toename van het gebruik van de beoordelingsprocedure van het CBR leiden. Met deze verwachte toename werd het extra belangrijk dat de procedure voldeed aan maatschappelijke en wetenschappelijke eisen zoals eerlijkheid (gelijke behandeling), hoge validiteit (of de procedure meet wat je wilt meten) en hoge betrouwbaarheid (of de procedure altijd dezelfde resultaten oplevert). Hierdoor ontstond de behoefte aan een nieuwe objectieve testprocedure waarmee de uitkomst op de rijtest al in een klinische setting voorspeld zou kunnen worden. In een eerder onderzoeksproject (Fitness to drive with Cognitive Impairments, FitCI-1) heeft SWOV samen met de Rijksuniversiteit Groningen en het CBR onderzocht welke combinatie van testresultaten de uitslag op de officiële rijtest het beste voorspelt. Dit leidde tot een predictiemodel waarmee de uitslag van deze CBR-rijtest voor mensen met de ziekte van Alzheimer zeer nauwkeurig voorspeld kon worden.[1] Dit model bestond uit een combinatie van variabelen uit interviews, neuropsychologische testen en rijsimulatorritten. Het huidige onderzoek (FitCI-2) is opgezet om de procedure en dit predictiemodel te testen met een nieuwe groep mensen met de ziekte van Alzheimer. De onderzoeksvraag van dit validatieonderzoek luidde:
Wat is de voorspellende waarde van het in FitCI-1 ontwikkelde predictiemodel bij een nieuwe patiëntengroep met de ziekte van Alzheimer?
Onderzoeksopzet
Voor het antwoord op de onderzoeksvraag is de testprocedure van FitCI-1 zo exact mogelijk herhaald met een nieuwe groep van mensen met de ziekte van Alzheimer (AD-groep) en een groep van mensen van 65 jaar en ouder zonder cognitieve beperkingen (controlegroep). Wanneer een test na vijf jaar herhaald wordt, zijn kleine wijzigingen in een testprocedure bijna onvermijdelijk. Onderzoekers hebben dit niet altijd onder controle: na de dataverzameling van FitCI-1 is bijvoorbeeld de verslaglegging van de deskundigen van het CBR over de afgenomen rijtesten aangepast.
De testprocedure bestond uit een testdag bij SWOV en een onderzoeksrit op de weg, die vrijwel identiek was aan de rijtest van het CBR. De testdag bij SWOV bevatte drie onderdelen: 1) de deelnemer en een naaste werden apart van elkaar geïnterviewd over de mate van dementie en vulden vooraf thuis een vragenlijst in over het autorijden van de deelnemer, 2) de deelnemers voerden een aantal neuropsychologische testen uit (van onder andere aandacht, visuele waarneming en reactievermogen), en 3) reden een aantal verschillende ritten in een rijsimulator. Na deze testdag werd voor de deelnemer een afspraak gemaakt bij het CBR voor een onderzoeksrit op de weg. Tijdens die onderzoeksrit werd beoordeeld of de deelnemer geschikt geacht werd om – gegeven een cognitieve aandoening – veilig een auto te besturen. Vervolgens werd onderzocht in hoeverre het in FitCI-1 ontwikkelde predictiemodel een positieve of negatieve uitslag van die rit had kunnen voorspellen op basis van de testresultaten. Deze voorspelling werd getest op diagnostische nauwkeurigheid met een ROC-analyse.
Bevindingen
Zoals te verwachten is van testen die ontworpen zijn om onderscheid te maken tussen mensen met en zonder lichte dementie, vonden we verschillen tussen de AD-groep en controlegroep bij de resultaten van de interviews en neuropsychologische testen. In de rijsimulator zagen we dat controledeelnemers sneller reden en profijt hadden van een beter geheugen, waardoor ze minder schrokken van een ‘onverwachte gebeurtenis’ bij de tweede afname van één van de simulatorritten. Terwijl alle deelnemers van de controlegroep een positieve uitslag kregen bij de onderzoeksrit van het CBR, was dit voor 47% van de deelnemers uit de AD-groep het geval.
Binnen de AD-groep werden tussen de deelnemers met een negatieve en positieve uitslag op de onderzoeksrit geen verschillen gevonden in de mate van dementie (totaalscore op de Clinical Dementia Rating scale). Er waren echter wel kleine verschillen in de subscores van deze CDR-schaal: de deelnemers met een negatieve uitslag op de onderzoeksrit scoorden slechter op een aantal subschalen. Binnen de beide AD-groepen werden weinig verschillen gevonden in de prestaties tijdens de rijsimulatorritten. Er werden wel verschillen gevonden bij de neuropsychologische testen. Deze leken te wijten aan een verminderde werksnelheid tijdens het uitvoeren van de taken door deelnemers met een negatieve uitslag op de onderzoeksrit. Zij gaven in de vragenlijst ook aan meer moeite te hebben met diverse aspecten van de rijtaak in het dagelijkse autorijden, zoals het wisselen van rijstrook bij druk verkeer.
Met het huidige validatieonderzoek hebben we de voorspellende waarde van het predictiemodel van FitCI-1 niet kunnen bevestigen. De voorspellende waarde van het predictiemodel werd uitgedrukt in the Area Under the Curve (AUC), waarbij een AUC van 0,5 betekent dat de voorspellende waarde niet uitstijgt boven toeval. De gebruikelijke grenswaarde voor het stellen van diagnoses is een AUC van 0,8. Bij FitCI-1 werd een AUC van 0,97 gevonden, bij FitCI-2 was dit 0,69. De meest waarschijnlijke verklaring voor het verschil in diagnostische nauwkeurigheid van het model ligt in het feit dat de afhankelijke variabele, de beoordeling van de CBR-rijtest, tussen de afronding van FitCI-1 en de start van FitCI-2 is gewijzigd. De wijziging zit hem in de verslaglegging van de rit, die in 2017 door het CBR is gestandaardiseerd. Het is waarschijnlijk dat de beoordelingen door de deskundigen praktische rijgeschiktheid (DPR) die de onderzoeksritten hebben afgenomen, door deze standaardisering zijn beïnvloed.
Hoe nu verder?
Bij de aanvankelijke opzet van het FitCI-onderzoek werd gedacht aan een getrapt beoordelingssysteem van automobilisten met de ziekte van Alzheimer. In de eerste fase zouden door middel van een neuropsychologisch onderzoek de overduidelijk rijgeschikten en niet-rijgeschikten kunnen worden geïdentificeerd. In een tweede fase zouden de twijfelgevallen nog een rijtest bij het CBR moeten rijden. We stellen voor om deze denkwijze te vervolgen: op basis van de data die verzameld zijn binnen FitCI-1 en FitCI-2 kunnen we een model ontwikkelen én valideren waarbij drie groepen worden onderscheiden:
- een groep rijgeschikte mensen;
- een groep niet-rijgeschikte mensen;
- een groep waarbij de rijgeschiktheid met de testprocedure niet betrouwbaar genoeg bepaald kan worden: de twijfelgevallen.
Aangezien we via FitCI-1 en FitCI-2 twee onderzoekspopulaties tot onze beschikking hebben, kunnen we met de reeds verzamelde gegevens het nieuwe predictiemodel formuleren én valideren. Het nieuwe predictiemodel zou bijvoorbeeld opnieuw aan de hand van de patiëntengroep van FitCI-1 geformuleerd kunnen worden en vervolgens aan de hand van de patiëntengroep van FitCI-2 gevalideerd. Mocht dit nieuwe predictiemodel voldoende betrouwbaar de rijgeschikten en niet-rijgeschikten kunnen onderscheiden, dan zou voortaan alleen de derde groep – waarvan de rijgeschiktheid met de testprocedure niet betrouwbaar te voorspellen was – een rijtest bij het CBR hoeven ondergaan.
[1]. Piersma, D. (2018). Fitness to drive of older drivers with cognitive impairments. Proefschrift Rijksuniversiteit Groningen. SWOV Dissertatiereeks. SWOV, Den Haag.
Predicting fitness to drive of motorists with Alzheimer's disease: Validation study of a prediction model
Alzheimer's disease, the most common form of dementia, is a progressive disease that affects the patient's cognitive functions, which, among other things, makes driving more difficult. Therefore, up to 2009, motorists were not allowed to continue driving if Alzheimer's disease had been diagnosed. However, developments in medical science have allowed Alzheimer's disease to be diagnosed earlier and earlier in the disease process, and an increasing number of people have wrongly been denied driving privileges. For this reason, the legislation on the fitness to drive of people with mild dementia was amended: since 2009, it has been possible to retain one’s driving license with a diagnosis of mild dementia provided a CBR driving test demonstrates sufficient fitness to drive. This change in the law would result in increased use of CBR's assessment procedure. With this expected increase, it became extra important that the procedure would meet social and scientific requirements such as fairness (equal treatment), high validity (whether the procedure measures what should be measured) and high reliability (whether the procedure always produces the same results). This created the need for a new objective testing procedure that could, in a clinical setting, predict the outcome of the actual driving test beforehand. In an earlier research project (Fitness to drive with Cognitive Impairments, FitCI-1) SWOV, together with the University of Groningen and CBR, investigated which combination of test results could best predict the outcome of the official driving test. This led to a prediction model with which the result of the CBR driving test for people with Alzheimer's disease could be predicted very accurately.[1] The model consisted of a combination of variables from interviews, neuropsychological tests and simulator drives. The current study (FitCI-2) was designed to test the procedure and this prediction model with a new group of people with Alzheimer's disease. The research question of this validation study was:
What is the predictive value of the prediction model developed in FitCI-1 in a new patient group with Alzheimer's disease?
Research design
To answer the research question, the FitCI-1 testing procedure was repeated as precisely as possible with a new group of people with Alzheimer's disease (AD group) and a group of people aged 65 and older without cognitive impairments (control group). When a test is repeated after five years, small changes in a testing procedure are almost inevitable. Researchers cannot always control these changes: after the FitCI-1 data collection, for example, there were alterations in the way CBR experts reported on the driving tests taken.
The testing procedure consisted of a test day at SWOV and a road test drive, which was almost identical to the CBR driving test. The test day at SWOV had three components: 1) the participant and a relative or close acquaintance were interviewed separately about the degree of dementia after completing a questionnaire at home about the participant's driving, 2) the participant performed a number of neuropsychological tests (of attention, visual perception, and responsiveness, among others), and 3) used a driving simulator a number of different times. After this test day, the participant made an appointment at CBR for a test drive on the road. During this test drive it was assessed whether the participant - given a cognitive condition – was considered fit to drive a car safely. It was then examined to what extent the prediction model developed in FitCI-1 could have predicted a positive or negative outcome of the test drive based on the test results. This prediction was tested for diagnostic accuracy with an ROC analysis.
Findings
As might be expected from tests designed to distinguish between people with and without mild dementia, we found differences between the AD group and control group in the results of the interviews and neuropsychological tests. In the driving simulator, the control group participants drove faster and benefited from a better memory, which made them less startled by an ‘unexpected event’ the second time one of the simulator drives was taken. While for all control group participants the result of the CBR test drive was positive, 47% of AD group participants obtained a positive result.
Within the AD group, no differences were found in the degree of dementia (total score on the Clinical Dementia Rating scale) between the participants with negative and positive results on the study test drive. However, there were small differences in the subscores of this CDR scale: the participants with a negative result on the study test drive scored worse on a number of subscales. Between both AD groups, few differences were found in performance during the simulator drives. However, differences were found on the neuropsychological tests. These seemed to be due to reduced speed during task performance by participants with negative results on the study test drive. In the questionnaire they also reported more difficulty with various aspects of the driving task in everyday driving, such as changing lanes in heavy traffic.
The current validation study did not allow us to confirm the predictive value of the FitCI-1 prediction model. The predictive value of the prediction model was expressed as the Area Under the Curve (AUC), where an AUC of 0.5 means that the predictive value does not exceed chance. The usual threshold value for diagnoses is an AUC of 0.8. With FitCI-1, an AUC of 0.97 was found; with FitCI-2, it was 0.69. The most likely explanation for the difference in diagnostic accuracy of the model is that the dependent variable - assessment of the CBR driving test - changed between the completion of FitCI-1 and the start of FitCI-2. The change concerns the test drive reporting, which was standardised by CBR in 2017. It is likely that this standardization affected the assessments made by the fitness to drive experts who administered the test drives.
How to proceed?
The initial design of the FitCI study envisioned a graduated assessment system of drivers with Alzheimer's disease. In the first stage, a neuropsychological examination would identify those obviously fit to drive and those obviously unfit-to drive. In a second stage, the candidates whose fitness to drive was doubtful would have to do another driving test at CBR. We propose to continue this line of thinking: based on the data collected within FitCI-1 and FitCI-2, we can develop and validate a model in which three groups are distinguished:
- a group of candidates that are fit to drive;
- a group of candidates that are unfit to drive;
- a group of candidates whose fitness to drive cannot be determined with the test procedure with sufficient reliability.
Since we have two study populations at our disposal through FitCI-1 and FitCI-2, we can use the data already collected to establish and validate the new prediction model. For example, the new prediction model could be established using the patient population of FitCI-1 and then validated using the patient population of FitCI-2. Should this new prediction model be able to distinguish between those who are fit to drive and those who are not, then only the third group, whose fitness to drive could not be reliably predicted by the test procedure, would have to undergo a driving test at CBR.
[1]. Piersma, D. (2018). Fitness to drive of older drivers with cognitive impairments. PhD Thesis Groningen Unversity. SWOV Dissertation Series. SWOV, The Hague.
