English title: Manual for evaluating road safety measures : a first step. The evaluation of road safety measures is an important task to achieve the desired and intended goals in an efficient and effective manner. There are various methods to evaluate these measures. There is the popular social cost-benefit analysis, the (multiactor) multi-criteria analysis, the cost effectiveness analysis, the impact analysis and the economic impact analysis. The choice of the evaluation method depends on the situation. A wrong evaluation method in a given situation can lead to wrong results, causing wrong conclusions which result to incorrect choices in the policy. To select the most appropriate evaluation method, we are developing a decision tree based on concrete questions. A first question is whether the measure should be evaluated ex-ante or ex-post. In the ex-ante or prospective evaluation, the effects of the measure are pre-estimated. Hereby, future positive and negative impacts are identified. The ex-ante assessment gives the policymaker more understanding. The side effects, effectiveness and/or efficiency problems of the measure are coming to the surface in this evaluation. The opposite of ex-ante research is ex-post evaluation. This research is based on historical and descriptive data. The number of available alternatives has an influence on the choice of the evaluation methodology. If only one alternative is available, there is no need for ranking the alternatives as the (Multi-Actor) Multi-Criteria Analysis (MA) MCA does. In this case, it is better to use a social cost-benefit analysis or a cost effectiveness analysis. The monetary nature has also an impact on the preferred methodology. If the effects of the measure are mainly non-monetary based or if it is difficult to monetize the nonmonetary effects, it is better to use a multi-criteria analysis (MCA) where the effects should not be monetized. If we want to examine the individual interests in the measure per stakeholder, a MAMCA method should be used. The cost-effectiveness analysis can be applied when only one goal has to be measured and if the costs are clear. There are four approaches in the ex-post evaluation. The after period, the before-after period, whereby the effects are determined before and after the implementation of the measure, the control group and test group approach and finally the combination of before-after approach and the control and test group approach. The way the control group is compiled, arbitrary or involuntary, determines the design of the research: nonexperimental, quasi-experimental or experimental. There is also a step-by-step plan in this manual. In this way, we want to add more uniformity in the evaluation process. It starts with a problem analysis. Afterwards we try to resolve the problem. We then proceed to the development and pre-selection of the alternatives. In the next step the criteria are selected, the impact of the alternatives are determined and the effects are valued. In the second last step of the ex-ante evaluation, the ranking and evaluation of the policy alternatives are conducted. Afterwards there is a feedback. Finally, a summarizing report is made. After implementing the measure, an expost evaluation is performed. We must examine whether the measure has achieved the desired and intended effects. (Author/publisher) Dutch abstract: Het evalueren van beleidsmaatregelen is een belangrijke opdracht om de gewenste en beoogde doelstellingen te bereiken op een efficiënte en effectieve manier. Er zijn verschillende evaluatiemethoden voor handen om de maatregelen te evalueren. Zo is er de veel gebruikte sociale kosten-baten analyse, de (multi-actor) multi-criteria analyse, de kosten effectiviteitsanalyse, de impactanalyse en de economische effecten analyse. Er wordt in deze paper kort ingegaan op deze verschillende evaluatiemethoden om verkeersveiligheidsmaatregelen te evalueren. De keuze van de evaluatiemethode is echter afhankelijk van de situatie. Een foutieve keuze met betrekking tot de evaluatiemethode in een bepaalde situatie kan verkeerde resultaten impliceren. Uit deze resultaten worden dan verkeerde conclusies getrokken met als gevolg dat er foutieve keuzes worden gemaakt inzake beleid. Om tot de meest geschikte evaluatiemethode te komen stellen we in deze handleiding een beslissingsboom op die gebaseerd is op concrete vragen. Een eerste vraag is of men de maatregel ex-ante of ex-post wil evalueren. Bij de ex-ante of prospectieve evaluatie gaat men vooraf de effecten schatten van de maatregel. Hierbij worden de toekomstige positieve en negatieve effecten nagegaan. De ex-ante beoordeling geeft de beleidsmaker meer inzicht in het probleem. De neveneffecten, effectiviteit –en/of efficiëntieproblemen van de maatregel worden bij deze evaluatie geanalyseerd. Het tegengestelde van ex-ante onderzoek is ex-post evaluatie. Dit onderzoek is gebaseerd op historisch-descriptief onderzoek. Het aantal beschikbare alternatieven heeft ook een invloed op de keuze van de evaluatiemethodologie. Indien men over slechts één alternatief beschikt, is er geen nood om de alternatieven te rangschikken zoals de (Multi-Actor) Multi-Criteria Analyse (MA)MCA doet. In dat geval kan men beter voor een sociale kosten-baten analyse kiezen of een kosteneffectiviteitsanalyse. Het monetaire karakter van de effecten heeft ook een invloed op de te verkiezen methodologie. Als de effecten van de te evalueren maatregel voornamelijk niet-monetair zijn of als de non-monetaire moeilijk te monetariseren zijn, kan men beter opteren voor een multi-criteria analyse (MCA) waarbij de effecten niet moeten gemonetariseerd worden. Indien men de voordelen en nadelen van de maatregel per stakeholder wil bepalen, dan kan men gebruik maken van de MAMCA-methodologie. De kosteneffectiviteitanalyse kan gehanteerd worden indien men slechts één doelstelling wil meten en indien de kosten inzichtelijk zijn. Bij de ex-post evaluatie zijn er vier benaderingen. De nameting, voor –en nameting, waarbij er voor en na implementatie van de maatregel de effecten worden gemeten, de met-zonder benadering, waarbij gebruik wordt gemaakt van een testgroep en een controlegroep en ten slotte de combinatie van voor –en nameting en met-zonder benadering. De manier waarop de controlegroep wordt samengesteld, willekeurig of onwillekeurig, bepaald de experimentele opzet: niet-experimenteel, quasi-experimenteel en experimenteel. Er wordt ook een stappenplan opgesteld in deze handleiding ter evaluatie van een verkeersveiligheidsmaatregel op basis van het beleidsproces. Op deze manier willen we meer uniformiteit krijgen in het evaluatieproces. Er wordt gestart met een probleemanalyse. Daarna probeert men een oplossing te vinden voor het probleem. Men gaat dan over tot de ontwikkeling en voorselectie van de alternatieven. Vervolgens worden de criteria geselecteerd, de effecten van de alternatieven bepaald en worden de effecten gewaardeerd. Als voorlaatste stap in de ex-ante evaluatie volgt de rangschikking en beoordeling van de beleidsalternatieven, gevolgd door de terugkoppeling. Ten slotte wordt alles samengevat in een rapport. Na het ex-ante onderzoek volgt de beleidsbepaling waarin de aanbevolen maatregel wordt gekozen uit het ex-ante onderzoek. Vervolgens wordt de maatregel uitgevoerd. Na de uitvoering moet de maatregel ook ex-post geëvalueerd worden. Men moet namelijk nagaan of de maatregel wel de gewenste en beoogde effecten bereikt met de in de beleidsbepaling gekozen evaluatiemethode. (Author/publisher)
Samenvatting