Erfaringer med datainnsamling og analyse for å beskrive sikkerhetssituasjonen i Afghanistan

Denne rapporten er skrevet som en del av prosjekt 1068: ”Metoder og modeller for analyse av freds- og lavintensitetsoperasjoner”. Fra desember 2008 har FFI en operasjonsanalytiker til stede i det norskledede PRT-et i Meymaneh i Afghanistan. Som en del av forberedelsene til dette, har prosjekt 1068 ønsket å rette oppmerksomheten mot usikkerhetshåndtering i forbindelse med datainnsamling og analyse. Som et praktisk eksempel har en valgt å se hva en kan si om sikkerhetssituasjonen i Afghanistan i årene 2006 og 2007 på grunnlag av åpne kilder. Studien har gitt nyttig erfaring med datainnsamling og kritisk vurdering av data. Det fins mange åpne kilder om Afghanistan, men mange av disse inneholder lite kvantitativ informasjon. I denne rapporten har en sett på kvantitative data i form av meningsmålinger, statistikk over opiumsproduksjon og åpent rapporterte anslag mot ISAF. Usikkerheten i dataene er blitt vurdert og noen usikkerhetsbidrag er kvantifisert. Relative endringer vil ofte være mindre usikre enn absolutte verdier. I meningsmålingene var det noen tilfeller av endringer i spørsmålsformulering og svaralternativ som gjorde det vanskelig å følge utviklingen av folks oppfatning over tid. Det var også noen tilsynelatende motsigelser når svarene på en del spørsmål ble sammenlignet. Her måtte man nøye seg med å lansere mulige forklaringer uten å få disse bekreftet/avkreftet. Utvalgene i de refererte meningsmålingene var ikke store nok til å kunne gi sikre nok resultater på provinsnivå. Ved arbeid med konkrete spørsmål i Afghanistan, vil det trolig være mulig å oppnå mindre usikre resultater enn her. Metodene vil være de samme, men i Afghanistan vil man ha lettere tilgang til subject matter experts og graderte data fra området.

This report has been written as a part of Project 1068: Methods and models for the analysis of peace and low intensity operations. From December 2008 FFI has manned an operational analysis post at the Norwegian headed Provincial Reconstruction Team at Meymaneh in Afghanistan. As a part of the preparation for this task Project 1068 wanted to focus on evaluation of uncertainty in collection and analysis of data. As an example one has chosen to evaluate the security situation in Afghanistan in 2006 and 2007 based on a sample of unclassified sources. This study has given useful experience in data collection and critical evaluation of data. There are many unclassified sources on the subject of Afghanistan, but only some of these contain quantitative information. In this report one has considered quantitative data as opinion polls, opium production statistics and statistics based on reported strikes against ISAF. The uncertainty of the data has been assessed and some of the contributions have been quantified. Relative changes will often be less uncertain than absolute values. In some cases it was difficult to estimate the tendency in public opinion due to changes in the answer categories and the formulation of the questions. There were some apparent contradictions when the answers of different questions were compared. It was not possible to get verified explanations in these cases. The samples in the mentioned opinion polls were too small to give reliable results at the province level. When working in Afghanistan, one will probably be able to obtain more reliable results than in this report. The methods will be the same, but in Afghanistan the access to subject matter experts and classified data will be easier.