Translating research into action: an international study of the role of research funders

I följande avsnitt av dokumentet redovisas resultaten av vår forskning och en preliminär tolkning. Avsnittet är indelat i tre delar. I den första presenterar vi en översikt över de 26 organ som ingick i forskningen. I den andra utforskar vi KT:s roll vid finansieringsorganet, med andra ord hur finansieringsorganen har positionerat KT för sitt organ i kvalitativ och kvantitativ bemärkelse. I det tredje skisserar vi de KT-initiativ som erbjuds och genomförs vid det finansierande organet, genom att inventera och analysera faktiska KT-strategier, program, finansieringsmekanismer och utvärderingar av dessa insatser.

Översikt över organ (region, inriktning, finansieringskälla, budget)

Tabell 1 ger en kortfattad översikt över de regioner och organ som ingick i studien. Den visar också de som inte ingick i studien, men som var involverade i forskningen under t1-perioden (hädanefter kommer Tetroe et al.-projektet att kallas t1 och detta projekt t2). De sju byråer som inte ingår i denna rapport togs bort från urvalet på grund av att det inte gick att boka in en intervju eller att en intervjuförfrågan avböjdes. Även om det hade varit möjligt att fortsätta med att använda offentligt tillgängliga uppgifter, ansågs det att detta skulle leda till frågor om noggrannhet. Vidare ingår en kort beskrivning av varje byrås inriktning samt byråernas totala årsbudget vid tidpunkten för kontakten.

KT:s ställning hos finansieringsorganet

KT kan stödjas av ett finansieringsorgan på en mängd olika sätt, men det sätt på vilket KT är placerat inom finansieringsorganet – explicit eller implicit – är en viktig indikator på vilken betydelse det har och vilken inverkan det kan få i slutänden. Vi har använt oss av fem mått för att identifiera och undersöka den avsedda rollen för vetenskaplig grundforskning vid vart och ett av våra finansieringsorgan i urvalet. Genom att sammanställa uppgifter kan vi sedan undersöka regionala, globala och longitudinella trender. Våra fem mått är (1) det språk som används för att beskriva KT, (2) krav på KT, (3) en prioriterad bedömning av KT av en ledande medlem av ett organ, (4) personalresurser som ägnas åt KT, och (5) finansiella resurser som ägnas åt KT. Resultat relaterade till vart och ett av dessa mått rapporteras i tur och ordning i följande avsnitt av manuskriptet.

Terminologi för KT

Som en uppföljning av t1-studien försökte vi identifiera termer som finansieringsorganen använde för att beskriva begreppet att omsätta forskning i handling – det som vi i den här uppsatsen benämner KT. Genom att skanna myndigheternas webbplatser och genom uppföljningsintervjuer med myndighetspersonal identifierade vi sammanlagt 38 termer som användes av de 26 studerade myndigheterna.

I t1-studien identifierades 29 termer, och därför har det med tiden skett en ökning av antalet termer som används för att beskriva KT-konceptet inom de finansierande myndigheterna, trots att antalet studerade finansiärer minskade med sju stycken mellan de två studieperioderna (tabell 2). Man kan tolka denna ökning av terminologin över tiden på ett antal olika sätt. Å ena sidan kan det ses som en popularisering av begreppet, eftersom fler definitioner används. Å andra sidan kan det tolkas som en brist på samordning och konsekvens i KT-begreppet från ett organ till ett annat. Vi diskuterar vår förståelse i förhållande till andra resultat av vår forskning i avsnittet Diskussion och slutsatser i detta dokument.

Mandatering av KT

Den kanske mest påtagliga indikatorn på KT:s avsedda framträdande i ett finansierande organ är huruvida organet inkluderar begreppet i sitt mandat eller inte. Ett mandat är en organisations offentligt uttalade raison d’etre och är ofta lagstiftat av ett externt organ, t.ex. ett parlament eller en styrelse. För att bedöma detta genomsökte vi organens mandat för att leta efter termer eller begrepp som beskriver kunskapsöverföring – inte specifikt termen kunskapsöversättning. Vi validerade vårt resultat för varje byrå i uppföljningsintervjun med finansiären. Av de 26 berörda finansieringsorganen identifierade vi att 20 (77 %) inkluderade begreppet kunskapsöverföring direkt i sitt mandat. Detta resultat visar att majoriteten av forskningsfinansiärerna i vårt urval offentligt förklarar att KT är en del av deras huvuduppdrag. Uppgifterna visar dock också att det är en ny trend att inkludera KT i mandatet. Som framgår av figur 1 har antalet organ som inkluderar KT i sitt mandat ökat från t1 till t2.

Förändring av kunskapsöversättningens inkludering i myndigheternas mandat över tid

Varje studerad global region uppvisar en ökning av inkluderandet av KT i finansieringsmyndigheternas mandat, utom Australien, där mandatets inkludering inte minskade utan förblev oförändrad. På individuell byrånivå fann vi att ingen av de byråer som inkluderade KT vid t1 hade tagit bort begreppet vid t2.

Med utgångspunkt i terminologi- och mandatgranskningar syftade vi till att samla in data om ytterligare indikatorer på KT:s avsedda roll vid finansieringsorganen för hälsovetenskaplig forskning. Tabell 3 visar resultaten för de tre ytterligare måtten på KT-positionering vid finansieringsorganen, nämligen (3) självprioritering av KT, (4) personalresurser som ägnas åt KT och (5) finansiella resurser som ägnas åt KT.

KT-prioritering

KT-prioritering är unik för den här perioden för insamlingen av data. Avsikten med att införa denna datapunkt var att fånga upp, och därefter jämföra, en utmaning som uppstod ganska ofta i de kvalitativa aspekterna av t1-forskningen. Den svårighet vi observerade var att företrädare för organ rapporterade under intervjuerna att KT hade en viss prioritet vid deras organ, även om de inte hade någon exakt skriftlig policy, budget eller andra ”hårda” dokumenterade bevis för att stödja detta påstående. Med tanke på att våra intervjuer genomfördes med högre tjänstemän vid varje byrå (i många fall upp till vicepresidentnivå), och att en ledares vision potentiellt kan användas för att bedöma vikten av en idé, utformade vi ett enkelt kategoriskt verktyg för insamling och klassificering av dessa påståenden.

I intervjuerna diskuterade vi varför och hur de nådde fram till den byråpoäng de gjorde. Vi fann att när respondenterna fick möjlighet att förklara det numeriska betyg som deras byrå fick, hävdade de ofta att KT blev ett allt viktigare globalt mål och att intervjupersonens enskilda finansieringsorgan var väl inställt på denna trend och följde efter. Detta resultat stämmer överens med de uppgifter som presenterats tidigare och som visar på den växande trenden att förankra KT-konceptet i byråns mandat. De generellt sett höga poängen för prioritering av vetenskaplig teknik i alla organ och regioner visar på en trend av ökande betydelse för vetenskaplig teknik inom vår grupp. När vi jämförde med andra proxymått för ”KT-rollen” vid en myndighet (personal och budget) kunde vi dock inte se några särskilt övertygande mönster framträda.

Mänskliga resurser avsatta för KT

För att undersöka de mänskliga resurserna avsatta för KT ombads varje myndighet att självtolka och självklassificera vem som betraktades som KT-personal. Genom semistrukturerade intervjuer försökte vi sedan identifiera bakomliggande orsaker till dessa klassificeringar. Intressant nog finns det en skillnad i vem som definieras som KT-personal i de olika byråerna. För att ge ett exempel kan nämnas att definitionerna av personal i Förenta staternas organ varierade avsevärt. Robert Wood Johnson Foundation hade en bred syn och räknade sina nio utvärderingsanställda som KT-personal, vilket tyder på att fokus på lärande och programförbättring både är en utvärderingsuppgift och en del av byråns KT-strategi. National Institutes of Health National Cancer Institute rapporterade däremot om sitt särskilda Implementation Science Team, en grupp som arbetar direkt med frågor om konceptualisering och programplanering av vetenskaplig vägledning inom organisationen och med dess forskarsamhälle. Många organ inkluderade kommunikationsgrupper i sin beräkning av KT-personal. Vidare föreslog Agency for Healthcare Research and Quality att den inbäddade karaktären hos KT-arbetet i deras organisation innebar att alla anställda borde räknas som KT-personal. Denna variation i tolkningen av vem som utgör KT-personal var inte begränsad till Förenta staterna. Vi kunde inte urskilja några tendenser till att typer av personal (t.ex. kommunikation, utvärdering, att all personal betraktas som KT) klassificeras som KT i en region men inte i en annan.

Och även om uppgifterna inte tyder på någon generaliserbar skillnad i resursstöd (med tanke på vårt målinriktade urval och skillnaderna i regionala urvalskaraktäristika) illustrerar uppgifterna att Förenta staterna för närvarande avsätter de största bidragen i form av mänskliga och ekonomiska resurser till KT-målet på finansieringsorganens nivå.

Då de mänskliga resurser som ägnas åt KT inte var en variabel som samlades in i t1-studien kunde vi inte utföra några jämförande analyser över tid.

Den övergripande slutsatsen av denna analyslinje är att det inte finns någon allmänt accepterad syn på vem som utgör KT-personal vid ett forskningsfinansieringsorgan.

Finansiella resurser avsatta för KT

Med tanke på att de finansiella resurserna avsatta för KT mättes i både t1- och t2-studierna utförde vi olika jämförande analyser på KT-budgettedata som vi fick från varje organ. Ingen av dessa visade sig dock, enligt vår mening, ge tillräcklig insikt i utgiftstrenderna för KT hos de finansierande organen för att motivera ytterligare demonstration och/eller datatabeller i detta manuskript. Dessutom drog vi slutsatsen att det fanns ett begränsat värde i att presentera förändringar i KT-utgifter per region eller per organ med tanke på flera betydande förväxlingsfaktorer som skulle begränsa möjligheten att tolka en sådan analys (t.ex. förändringar i organens totala budgetar jämfört med KT-budgetar, valutainflation, regionala variationer i inflationen, valutakonversation och växelkursfluktuationer över tiden). Det fanns dock en tendens, nämligen att antalet byråer som kunde uppge en exakt budgetsiffra för kunskapsbaserad teknik inte förändrades nämnvärt i alla regioner. Med andra ord förblev antalet byråer som öronmärker KT-medel generellt sett detsamma över tid.

För att titta närmare på denna fråga packade vi upp de nyare t2-uppgifterna ytterligare. Sammanfattningsvis kunde mindre än hälften av alla intervjuade organ (11 av 26) identifiera ett specifikt belopp som avsatts för KT. Tio av 26 rapporterade att organisationens KT-utgifter inte kunde eller borde ses som en oberoende budgetpost, utan att KT i stället var inbäddad i alla organisationens utgifter. Sju av 26 organ kunde inte lämna några uppgifter om finansieringen av KT, vilket stod i kontrast till det faktum att endast ett av 26 organ inte kunde offentliggöra någon budgetinformation. Sammanfattningsvis tyder dessa uppgifter på att öronmärkning av ekonomiska resurser för kunskapsbaserad teknik inte är normen i någon region eller i urvalet som helhet. För att bättre förstå avkastningen av KT-verksamheten kan detta vara ett användbart område med uppgifter som byråerna kan följa närmare i framtiden.

KT-initiativ

I det här avsnittet går vi över till de specifika programmen, mekanismerna, formerna, verksamheterna osv,

Figur 2 visar klassificeringen av myndigheternas initiativ i de tre delarna av vår analysram, nämligen push, pull samt koppling och utbyte (se ruta 1 i metodavsnittet i denna artikel för en fullständig beskrivning). Med tanke på det urval som använts varnar vi för avancerad kvantitativ jämförande tolkning. Vi betraktar dessa uppgifter som kategoriska.

Antal push-, pull-, länknings- och utbytesprogram per land

De flesta myndigheter föredrar länknings- och utbytesprogram (eller integrerad kunskapsbaserad teknik (IKT)) och push-insatser framför pull-insatser. Det fanns ett stort antal IKT-program som kompletterade finansiärernas stöd till traditionella program för nyfikenhetsdriven forskning. Kvalitativa intervjuer gav ingen tydlig slutsats om varför dessa tendenser till push- och länknings- och utbytesinsatser existerade.

Och även om alla regionala analyser bör göras med försiktighet, framträder ett mönster när det gäller programdistribution i olika kategorier, nämligen att byråer och regioner erbjuder en allmän blandning av program, vilket stämmer överens med vad som anses av Lavis m.fl.

I t1 ägnades mer uppmärksamhet åt den verksamhet som finansieringsorganet krävde av forskarna jämfört med den verksamhet, planerad eller oplanerad, som finansieringsorganet bedrev till stöd för vetenskaplig teknik. För att ta itu med detta omstrukturerade vi vår klassificering av program i figur 3 efter bidrag, utmärkelser och stipendier. Observera att ett enda program – basenheten i vår ovanstående analys (fig. 2) – kan innehålla en rad bidrag, utmärkelser eller stipendier. Det bör också noteras att figur 3 visar program som var strategiskt utformade för KT och inte omfattar bidrag, utmärkelser eller stipendier som inte var särskilt utformade för KT, men som kan stödja KT på grund av ett oberoende beslut av en stipendiat att genomföra KT.

Antal bidrag, utmärkelser och stipendier för kunskapsöverföring (KT) per land

Den främsta slutsatsen av denna analys är att finansieringsorganen är mer involverade i spridningen av KT-bidrag än i andra former av stödverksamhet för KT, som utmärkelser eller stipendier. För att underlätta en mer exakt tolkning skulle en jämförelse av hur denna trend i KT-stödet varierar från andra områden inom hälsovetenskaperna vara ett värdefullt område för ytterligare studier, t.ex. genom att undersöka hur balansen mellan bidrags-, pris- och stipendiemöjligheterna för KT står sig i förhållande till balansen mellan de möjligheter som finns tillgängliga för kliniska försök, laboratorievetenskap, vaccinologi och forskning om hälsosystem.

Utvärdering

Det sista området av resultat som rapporteras i detta manuskript beskriver en undersökning av utvärderingen av KT som genomförs vid de finansierande organen. Utvärdering har valts som ett fokusområde av två olika skäl. För det första har utvärderingen av KT identifierats som en betydande lucka i publicerade expertutlåtanden, teoretisk forskning och empirisk forskning . För det andra fanns det i den första forskningen inga utvärderingar identifierade i någon av de 33 undersökta byråerna, men nästan alla 33 byråerna uppgav att planer och utformning av utvärderingar pågick. Därför prioriterades en särskild uppföljning av framstegen med utvärderingar för t2. Med andra ord var ett mål för t2 att ge mer än en inventering av program och praxis vid finansieringsorganen, det var också att gräva i de bevis som styr dessa ansträngningar.

Med tanke på vårt specifika fokus för denna studie – KT-verksamhet/stöd vid finansieringsorganen – granskade vi avsiktligt utvärderingar som gjorts endast på finansieringsorganens nivå, det vill säga utvärderingar som fokuserade på finansieringsorganens KT-program och -verksamhet. Vi inkluderade inte utvärderingar som görs av finansierade forskare i deras egna projekt eller andras hälsoinsatser, även om denna utvärdering finansierades av ett organ i vårt urval (t.ex. en stor mängd arbete som utförs genom National Health Services – Service Delivery and Organization, t.ex. )1 . Vårt mål var att lära oss mer specifikt om finansieringsorganens program och praxis. I tabell 4 illustreras de utvärderingar som görs av finansieringsorganens program och praxis för kunskapsbaserad teknik. I tabellen används ramverket Intended, Realized, Emergent (IRE) som beskrivs i ruta 1 i det här manuskriptet.

Data tyder på att finansieringsorganen lägger ner avsevärda ansträngningar och resurser på att fundera över KT-teorier och KT-mål, men mycket mindre på att genomföra kritiska utvärderingar av dessa ansträngningar/resurser. I själva verket hade 23/26 finansieringsorgan i viss utsträckning en definierad och planerad strategi för vetenskaplig grundutbildning (20/26 inkluderar för närvarande begreppet i sitt mandat), men endast 7/26 hade utvärderat insatserna för vetenskaplig grundutbildning och endast 1/26 kunde visa att utvärderingsresultaten hade använts för att vägleda program eller praxis för vetenskaplig grundutbildning (dvs. för att stödja ett evidensbaserat beslutsfattande). Med andra ord är det uppenbart att det finns ett engagemang för KT, men det var sällsynt med lärandebaserad programmering av KT.

En djupare djupdykning i de tre komponenterna i IRE-ramen hjälper till att ytterligare förstå organens KT-strategi. Se ruta 2 i avsnittet Metoder i manuskriptet för en fullständig beskrivning av IRE:s konceptuella ramverk.

Intended strategy

I termer av ”intended strategy” finns det en stark bas av aktivitet och ansträngningar i vårt urval av finansieringsorgan. Merparten av dessa insatser gällde fastställande av en KT-definition och skissande av en rad KT-mål. En minoritet av organen hade härlett genomförandeteorier (t.ex. en förändringsteori) för att beskriva den avsedda processen och resultaten av deras KT-insatser. En av dessa var National Institutes of Health National Cancer Institute’s Implementation Science team. Detta organ har arbetat med att formulera en teori om genomförande av vetenskaplig grundutbildning, integrerat ett kontinuum för forskningsöversättning och utvecklat en uppsättning villkor och överväganden i sina stödprocesser för vetenskaplig grundutbildning. Ett annat exempel var CIHR, som hade formulerat en logisk modell för KT Funding Program och inlett en utvärdering av organisationens strategiska intentioner för KT genom att använda denna modell i utvärderingsdesignen för att beskriva förväntade KT-resultat och kritiska antaganden.

Realiserad strategi

I termer av ”realiserad strategi” har vi inkluderat all utvärderingsverksamhet som är relaterad till bedömningen av den realiserade organisationens KT-strategi. Tabell 4 visar att antalet aktiviteter minskar när vi går från ”avsedd” till ”förverkligad” strategi. Vissa insikter om varför detta var fallet avslöjades i de kvalitativa intervjuerna. Även om det stora flertalet organ hävdade att de ansåg att utvärderingen av deras KT-finansiering var av största vikt, informerade de också forskargruppen om att de inte hade någon fast grund för hur de skulle genomföra denna uppgift. Generellt sett antydde representanterna för myndigheterna att utvärdering av forskning var ett svårt företag; att utvärdera omsättningen av forskning i handling var dock den svåraste komponenten i detta problem.

Emergerande strategi

”Emergerande strategi” är inte överraskande bristfällig när den betraktas i förhållande till trenden att den minskande aktiviteten rör sig från dokumentation av ”avsedd” till ”förverkligad” strategi. Vid tiden för datainsamlingen använde endast ett organ (Alberta Innovates, en offentlig provinsiell finansiär i Kanada) KT-specifika utvärderingsresultat för att informera beslutsfattande och åtgärder.