Translating research into action: an international study of the role of research funders

Der folgende Teil des Papiers berichtet über die Ergebnisse unserer Forschung und die vorläufige Interpretation. Der Abschnitt gliedert sich in drei Teile. Im ersten Teil geben wir einen Überblick über die 26 in die Untersuchung einbezogenen Einrichtungen. Im zweiten Teil untersuchen wir die Rolle von WT in der Fördereinrichtung, d. h. wie Fördereinrichtungen WT für ihre Einrichtung in qualitativer und quantitativer Hinsicht positioniert haben. Im dritten Teil werden die WT-Initiativen skizziert, die bei der Förderorganisation angeboten und durchgeführt werden, wobei die aktuellen WT-Strategien, -Programme, -Finanzierungsmechanismen und -Evaluierungen dieser Bemühungen analysiert werden.

Übersicht über die Organisationen (Region, Schwerpunkt, Finanzierungsquelle, Budget)

Tabelle 1 gibt einen kurzen Überblick über die Regionen und Organisationen, die in die Studie einbezogen wurden. Sie zeigt auch diejenigen, die nicht an der Studie teilgenommen haben, aber an der Forschung im Zeitraum t1 beteiligt waren (von nun an wird das Projekt von Tetroe et al. als t1 und dieses Projekt als t2 bezeichnet). Die sieben Agenturen, die nicht in diesen Bericht aufgenommen wurden, wurden aus der Stichprobe entfernt, weil es nicht möglich war, ein Interview zu vereinbaren oder weil eine Interviewanfrage abgelehnt wurde. Obwohl es möglich gewesen wäre, mit öffentlich verfügbaren Daten fortzufahren, wurde davon ausgegangen, dass dies zu Fragen hinsichtlich der Genauigkeit führen würde. Darüber hinaus ist eine kurze Beschreibung des Schwerpunkts jeder Agentur sowie das jährliche Gesamtbudget der Agenturen zum Zeitpunkt der Kontaktaufnahme enthalten.

Die Stellung von KT bei der Fördereinrichtung

KT kann von einer Fördereinrichtung auf vielfältige Weise unterstützt werden; die Art und Weise, wie KT innerhalb der Fördereinrichtung positioniert ist – explizit oder implizit -, ist jedoch ein wichtiger Indikator für den Stellenwert, den es einnimmt, und die Auswirkungen, die es letztendlich haben kann. Wir haben fünf Messgrößen verwendet, um die beabsichtigte Rolle von WT bei jeder der von uns untersuchten Fördereinrichtungen zu identifizieren und zu untersuchen. Durch die Aggregation der Daten können wir dann regionale, globale und langfristige Trends untersuchen. Unsere fünf Messgrößen sind (1) der Sprachgebrauch zur Beschreibung von WT, (2) die Beauftragung von WT, (3) die Prioritätseinstufung von WT durch leitende Agenturmitglieder, (4) die für WT bereitgestellten Humanressourcen und (5) die für WT bereitgestellten finanziellen Ressourcen. Die Ergebnisse dieser Maßnahmen werden nacheinander in den folgenden Abschnitten des Manuskripts dargestellt.

KT-Terminologie

Im Anschluss an die t1-Studie suchten wir nach Begriffen, mit denen Fördereinrichtungen das Konzept der Umsetzung von Forschung in die Praxis beschreiben – was wir in dieser Arbeit als WT bezeichnen. Durch Scannen der Websites der Einrichtungen und Nachbefragungen von Mitarbeitern der Einrichtungen konnten wir insgesamt 38 Begriffe ermitteln, die von den 26 untersuchten Einrichtungen verwendet wurden.

In der t1-Studie wurden 29 Begriffe ermittelt, so dass im Laufe der Zeit die Zahl der Begriffe zur Beschreibung des WT-Konzepts in den Fördereinrichtungen zugenommen hat, obwohl die Zahl der untersuchten Fördereinrichtungen zwischen den beiden Untersuchungszeiträumen um sieben abgenommen hat (Tabelle 2). Diese Zunahme der Terminologie im Laufe der Zeit lässt sich auf verschiedene Weise interpretieren. Einerseits könnte es als eine Popularisierung des Konzepts angesehen werden, da weitere Definitionen verwendet werden. Andererseits könnte es als ein Mangel an Koordination und Konsistenz in der KT-Konzeptualisierung von einer Agentur zur anderen interpretiert werden. Wir erörtern unser Verständnis im Zusammenhang mit anderen Forschungsergebnissen im Abschnitt „Diskussion und Schlussfolgerungen“ dieses Papiers.

Mandat für WT

Der vielleicht greifbarste Indikator für die beabsichtigte Bedeutung von WT bei einer Fördereinrichtung ist, ob die Einrichtung das Konzept in ihr Mandat aufnimmt oder nicht. Ein Mandat ist die öffentlich erklärte Daseinsberechtigung einer Organisation und wird oft von einem externen Gremium wie dem Parlament oder dem Verwaltungsrat festgelegt. Um dies zu beurteilen, durchsuchten wir die Mandate der Agenturen nach Begriffen oder Konzepten, die WT beschreiben – nicht speziell den Begriff Wissensübersetzung. Wir validierten unser Ergebnis für jede Agentur in einem Folgegespräch mit dem Geldgeber. Von den 26 beteiligten Förderorganisationen haben wir festgestellt, dass 20 (77 %) das Konzept der WT direkt in ihren Auftrag aufgenommen haben. Dieses Ergebnis deutet darauf hin, dass die Mehrheit der Forschungsförderer in unserer Stichprobe öffentlich erklärt, dass WT ein Teil ihrer Kernaufgabe ist. Die Daten deuten jedoch auch darauf hin, dass die Aufnahme von WT in den Auftrag ein neuer Trend ist. Wie Abb. 1 zeigt, ist die Zahl der Einrichtungen, die WT in ihr Mandat aufnehmen, von t1 auf t2 gestiegen.

Veränderung der Einbeziehung der Wissensübersetzung in die Mandate der Agenturen im Laufe der Zeit

Jede untersuchte globale Region zeigt eine Zunahme der Einbeziehung der WT in die Mandate der Förderagenturen, außer Australien, wo die Einbeziehung in die Mandate nicht abnahm, sondern unverändert blieb. Auf der Ebene der einzelnen Agenturen stellten wir fest, dass keine der Agenturen, die WT zum Zeitpunkt t1 einschlossen, das Konzept zum Zeitpunkt t2 entfernt hatten.

Ausgehend von den Überprüfungen der Terminologie und der Mandate wollten wir Daten über zusätzliche Indikatoren für die beabsichtigte Rolle von WT bei der Förderagentur für Gesundheitsforschung sammeln. Tabelle 3 zeigt die Ergebnisse für die drei zusätzlichen Messgrößen der WT-Positionierung bei Fördereinrichtungen, nämlich (3) Selbstpriorisierung von WT, (4) für WT bereitgestellte personelle Ressourcen und (5) für WT bereitgestellte finanzielle Ressourcen.

Priorisierung von WT

Die Priorisierung von WT ist eine Besonderheit in diesem Zeitraum der Datenerhebung. Mit der Einführung dieses Datenpunkts sollte eine Herausforderung erfasst und anschließend verglichen werden, die bei den qualitativen Aspekten der t1-Forschung häufig auftrat. Die von uns beobachtete Schwierigkeit bestand darin, dass die Vertreter der Agenturen in der Interviewphase berichteten, dass der WT in ihrer Agentur eine gewisse Priorität genießt, obwohl sie nicht über genaue schriftliche Richtlinien, Haushaltsmittel oder andere „harte“ dokumentierte Belege zur Untermauerung dieser Behauptung verfügten. Angesichts der Tatsache, dass unsere Interviews mit hochrangigen Beamten der einzelnen Agenturen (in vielen Fällen bis zur Ebene des Vizepräsidenten) durchgeführt wurden und dass die Vision einer Führungskraft potenziell zur Beurteilung der Wichtigkeit einer Idee herangezogen werden kann, haben wir ein einfaches kategorisches Instrument zur Erfassung und Klassifizierung dieser Behauptungen entwickelt.

In den Interviews haben wir erörtert, warum und wie sie zu der von ihnen vorgenommenen Bewertung der Agentur gekommen sind. Wir stellten fest, dass die Befragten, wenn sie die Möglichkeit hatten, die numerische Bewertung ihrer Einrichtung zu erläutern, häufig erklärten, dass WT zu einem immer wichtigeren globalen Ziel wird und dass die jeweilige Fördereinrichtung des Befragten sich auf diesen Trend eingestellt hat und ihm folgt. Dieses Ergebnis deckt sich mit den zuvor vorgestellten Daten, die den zunehmenden Trend zur Verankerung des WT-Konzepts im Auftrag der Agentur belegen. Die allgemein hohen Werte für die WT-Priorisierung in allen Agenturen und Regionen deuten auf einen Trend zur zunehmenden Bedeutung von WT in unserer Kohorte hin. Bei einem Vergleich mit anderen Proxy-Maßen für die „WT-Rolle“ in einer Agentur (Personal und Budget) konnten wir jedoch keine besonders überzeugenden Muster erkennen.

Menschliche Ressourcen für WT

Bei der Untersuchung der menschlichen Ressourcen für WT wurde jede Agentur gebeten, selbst zu interpretieren und zu klassifizieren, wer als WT-Mitarbeiter gilt. Durch halbstrukturierte Interviews wollten wir dann die Gründe für diese Einstufungen ermitteln. Interessanterweise ist die Definition von WT-Personal in den verschiedenen Einrichtungen sehr unterschiedlich. So gab es beispielsweise in den Vereinigten Staaten sehr unterschiedliche Definitionen von Personal. Die Robert Wood Johnson Foundation vertrat eine weit gefasste Auffassung und zählte ihre neun Evaluierungsmitarbeiter zu den WT-Mitarbeitern, was darauf hindeutet, dass die Konzentration auf Lernen und Programmverbesserung sowohl eine Evaluierungsaufgabe als auch ein Teil des WT-Ansatzes der Agentur ist. Im Gegensatz dazu berichtete das National Institutes of Health National Cancer Institute über sein spezielles Implementation Science Team, eine Gruppe, die direkt an Fragen der WT-Konzeption und -Programmierung mit der Organisation und ihrer Forschungsgemeinschaft arbeitet. Viele Einrichtungen haben Kommunikationsgruppen in ihre Berechnung der WT-Mitarbeiter einbezogen. Die Agency for Healthcare Research and Quality (Agentur für Forschung und Qualität im Gesundheitswesen) vertrat die Ansicht, dass aufgrund der Einbettung der WT-Arbeit in ihrer Organisation alle Mitarbeiter als WT-Mitarbeiter gezählt werden sollten. Diese unterschiedliche Auslegung des Begriffs „WT-Personal“ war nicht auf die Vereinigten Staaten beschränkt. Wir konnten keine Tendenzen erkennen, dass bestimmte Arten von Mitarbeitern (z. B. Kommunikation, Evaluierung, alle Mitarbeiter als WT-Mitarbeiter) in einer Region als WT-Mitarbeiter eingestuft wurden, in einer anderen jedoch nicht.

Auch wenn die Daten nicht auf einen verallgemeinerbaren Unterschied in der Ressourcenunterstützung hindeuten (angesichts unseres zielgerichteten Stichprobenansatzes und der Unterschiede in den regionalen Stichprobenmerkmalen), so zeigen sie doch, dass die Vereinigten Staaten derzeit die größten personellen und finanziellen Ressourcen für das WT-Ziel auf der Ebene der Fördereinrichtungen bereitstellen.

Da die für WT eingesetzten Humanressourcen keine Variable waren, die in der t1-Studie erhoben wurde, konnten wir keine vergleichenden Analysen im Zeitverlauf durchführen.

Das übergreifende Ergebnis dieser Analyse ist, dass es keine allgemein akzeptierte Auffassung darüber gibt, wer das WT-Personal einer Forschungsförderungseinrichtung ausmacht.

Finanzielle Ressourcen für den WT

Da die finanziellen Ressourcen für den WT sowohl in der t1- als auch in der t2-Studie gemessen wurden, haben wir verschiedene vergleichende Analysen der von den einzelnen Einrichtungen erhaltenen WT-Budgetdaten durchgeführt. Wir sind jedoch der Ansicht, dass keine dieser Analysen einen ausreichenden Einblick in die Ausgabentrends der WT-Förderorganisationen bietet, um eine weitere Darstellung und/oder Datentabellen in diesem Manuskript zu rechtfertigen. Darüber hinaus kamen wir zu dem Schluss, dass die Darstellung von Veränderungen bei den WT-Ausgaben pro Region oder pro Agentur nur von begrenztem Wert ist, da es mehrere wichtige Störfaktoren gibt, die die Interpretierbarkeit einer solchen Analyse einschränken würden (z. B. Veränderungen bei den Gesamtbudgets der Agenturen im Vergleich zu den WT-Budgets, Währungsinflation, regionale Inflationsunterschiede, Währungsumrechnungen und Wechselkursschwankungen im Laufe der Zeit). Dennoch zeichnete sich ein Trend ab, nämlich dass sich in allen Regionen die Zahl der Agenturen, die ein genaues Budget für WT angeben konnten, nicht wesentlich veränderte. Mit anderen Worten, die Zahl der Stellen, die WT-Mittel bereitstellen, blieb im Allgemeinen im Laufe der Zeit gleich.

Um diese Frage genauer zu untersuchen, haben wir die neueren t2-Daten weiter ausgepackt. Zusammenfassend lässt sich sagen, dass weniger als die Hälfte aller befragten Agenturen (11 von 26) in der Lage waren, einen bestimmten Betrag für WT zu nennen. Zehn von 26 gaben an, dass die WT-Ausgaben der Organisation nicht als eigenständige Haushaltslinie betrachtet werden können oder sollten, sondern dass WT in alle Ausgaben der Organisation eingebettet ist. Sieben von 26 Agenturen waren nicht in der Lage, Angaben zur Finanzierung von WT zu machen, was im Gegensatz zu der Tatsache stand, dass nur eine von 26 Agenturen nicht in der Lage war, Haushaltsinformationen zu veröffentlichen. Insgesamt deuten diese Daten darauf hin, dass die Zweckbindung von WT-Finanzmitteln in keiner Region oder in der gesamten Stichprobe die Norm ist. Um die Rentabilität von WT-Aktivitäten besser zu verstehen, könnte dies ein nützlicher Datenbereich sein, den die Agenturen in Zukunft genauer verfolgen sollten.

KT-Initiativen

In diesem Abschnitt wenden wir uns den spezifischen Programmen, Mechanismen, Modalitäten, Aktivitäten usw. zu,

Abbildung 2 zeigt die Klassifizierung der Initiativen der Förderorganisationen in den drei Teilen unseres Analyserahmens, d.h. Push- und Pull-Initiativen sowie Verknüpfung und Austausch (eine ausführliche Beschreibung findet sich in Kasten 1 im Abschnitt „Methoden“ dieses Papiers). Angesichts des verwendeten Stichprobenansatzes raten wir von einer fortgeschrittenen quantitativen vergleichenden Interpretation ab. Wir betrachten diese Daten als kategorisch.

Anzahl der Push-, Pull-, Verknüpfungs- und Austauschprogramme nach Land

Die meisten Agenturen bevorzugen Verknüpfung und Austausch (oder integrierte KT (IKT)) und Push-Maßnahmen gegenüber Pull-Maßnahmen. Es gab eine beträchtliche Anzahl von IKT-Programmen, die die Unterstützung der Geldgeber für traditionelle Programme der neugiergetriebenen Forschung ergänzten. Die Daten aus den qualitativen Interviews ließen keine eindeutigen Rückschlüsse darauf zu, warum diese Tendenzen zu Push- und Verknüpfungs- und Austauschbemühungen bestanden.

Obwohl jede regionale Analyse mit Vorsicht vorgenommen werden sollte, zeichnet sich ein Muster in Bezug auf die Programmverteilung über die einzelnen Kategorien ab, nämlich dass die Agenturen und Regionen eine allgemeine Mischung von Programmen anbieten, was mit dem übereinstimmt, was von Lavis et al.

Bei t1 wurde den Aktivitäten, die die Förderagentur von den Forschern verlangte, mehr Aufmerksamkeit geschenkt als den geplanten oder ungeplanten Aktivitäten der Förderagentur zur Unterstützung des WT. Um dies zu berücksichtigen, haben wir unsere Klassifizierung der Programme in Abb. 3 nach Zuschüssen, Preisen und Stipendien neu strukturiert. Beachten Sie, dass ein einzelnes Programm – die Basiseinheit in unserer obigen Analyse (Abb. 2) – eine Reihe von Zuschüssen, Preisen oder Stipendien umfassen kann. Außerdem ist zu beachten, dass Abb. 3 Programme zeigt, die strategisch für WT konzipiert wurden, und keine Zuschüsse, Preise oder Stipendien enthält, die nicht speziell für WT konzipiert wurden, aber WT aufgrund der unabhängigen Entscheidung eines Zuschussempfängers, WT zu betreiben, unterstützen können.

Anzahl der Zuschüsse, Auszeichnungen und Stipendien für die Wissensumsetzung (WT) nach Ländern

Das wichtigste Ergebnis dieser Analyse ist, dass die Fördereinrichtungen stärker an der Verbreitung von WT-Zuschüssen beteiligt sind als an anderen Formen der WT-Unterstützung wie Auszeichnungen oder Stipendien. Um eine genauere Interpretation zu ermöglichen, wäre ein Vergleich, wie sich dieser Trend in der WT-Förderung von anderen Bereichen innerhalb der Gesundheitswissenschaften unterscheidet, ein wertvoller Bereich für zusätzliche Studien, z. B. die Untersuchung, wie das Gleichgewicht der Zuschuss-, Preis- und Stipendienmöglichkeiten für WT im Vergleich zum Gleichgewicht der Möglichkeiten für klinische Versuche, Laborwissenschaft, Impfstoffkunde und Gesundheitssystemforschung aussieht.

Evaluierung

Der letzte Bereich der in diesem Manuskript berichteten Ergebnisse beschreibt eine Untersuchung der Evaluierung von WT, die von Fördereinrichtungen durchgeführt wird. Die Evaluierung wurde aus zwei Gründen als Schwerpunktbereich ausgewählt. Erstens wurde die WT-Evaluierung als bedeutende Lücke in der veröffentlichten Expertenmeinung, der theoretischen Forschung und der empirischen Forschung identifiziert. Zweitens wurden in der T1-Untersuchung in keiner der 33 untersuchten Agenturen Evaluierungen festgestellt; allerdings gaben fast alle 33 Agenturen an, dass Pläne und Entwürfe für Evaluierungen in Arbeit seien. Daher wurde für t2 ein spezifisches Follow-up zu den Fortschritten bei der Bewertung als vorrangig eingestuft. Mit anderen Worten: Ein Ziel von t2 war es, nicht nur eine Bestandsaufnahme der Programme und Praktiken in den Fördereinrichtungen vorzunehmen, sondern auch die Evidenz zu untersuchen, die diesen Bemühungen zugrunde liegt.

Angesichts unseres spezifischen Schwerpunkts für diese Studie – WT-Aktivitäten/Unterstützung in der Fördereinrichtung – haben wir bewusst nur Evaluierungen untersucht, die auf der Ebene der Fördereinrichtung durchgeführt wurden, d. h. Evaluierungen, die sich auf die WT-Programme und -Aktivitäten der Fördereinrichtung konzentrierten. Wir haben keine Evaluierungen einbezogen, die von geförderten Forschern in ihren eigenen Projekten oder den Gesundheitsmaßnahmen anderer durchgeführt wurden, selbst wenn diese Evaluierung von einer Einrichtung in unserer Stichprobe finanziert wurde (z. B. eine umfangreiche Arbeit, die durch die Nationalen Gesundheitsdienste – Leistungserbringung und Organisation – durchgeführt wurde).1. Unser Ziel war es, mehr über die Programme und Praktiken der Förderorganisationen zu erfahren. Tabelle 4 veranschaulicht die Evaluierungsaktivitäten, die für die WT-Programme und -Praktiken von Förderorganisationen durchgeführt werden; dabei wird der in Kasten 1 dieses Manuskripts dargestellte IRE-Rahmen (Intended, Realised, Emergent) verwendet.

Die Daten zeigen, dass Förderorganisationen beträchtliche Anstrengungen und Ressourcen in das Nachdenken über KT-Theorien und -Ziele stecken, aber viel weniger in die Durchführung kritischer Evaluierungen dieser Bemühungen/Ressourcen. Tatsächlich verfügten 23/26 Fördereinrichtungen über eine bis zu einem gewissen Grad definierte und geplante WT-Strategie (ich erinnere daran, dass 20/26 das Konzept derzeit in ihr Mandat aufnehmen), doch nur 7/26 hatten ihre WT-Bemühungen evaluiert, und nur 1/26 konnten nachweisen, dass die Evaluierungsergebnisse zur Steuerung von WT-Programmen oder -Praktiken (d. h. zur Unterstützung einer evidenzbasierten Entscheidungsfindung) verwendet wurden. Mit anderen Worten: Das Engagement für WT ist offensichtlich, aber eine auf Lernen ausgerichtete Programmierung von WT war selten.

Ein tieferer Einblick in die drei Komponenten des IRE-Rahmens hilft, die WT-Strategie der Agenturen besser zu verstehen. Eine vollständige Beschreibung des IRE-Rahmenkonzepts finden Sie in Kasten 2 im Abschnitt „Methoden“ des Manuskripts.

Intendierte Strategie

Im Hinblick auf die „intendierte Strategie“ gibt es in unserer Stichprobe von Fördereinrichtungen eine starke Basis von Aktivitäten und Bemühungen. Die meisten dieser Bemühungen bestanden darin, eine WT-Definition festzulegen und eine Reihe von WT-Zielen zu umreißen. Eine Minderheit der Einrichtungen hat Implementierungstheorien (z. B. eine Theorie der Veränderung) abgeleitet, um den beabsichtigten Prozess und die Ergebnisse ihrer WT-Bemühungen zu beschreiben. Eine dieser Einrichtungen war das Implementation Science Team des National Institutes of Health National Cancer Institute. Diese Behörde hat eine Theorie der KT-Implementierung formuliert, ein Kontinuum für die Forschungsumsetzung integriert und eine Reihe von Eventualitäten und Überlegungen für ihre KT-Unterstützungsprozesse entwickelt. Ein weiteres Beispiel war die CIHR, die ein Logikmodell für das WT-Förderprogramm formuliert und eine Evaluierung der strategischen Absichten der Organisation für WT eingeleitet hat, indem sie dieses Modell im Evaluierungsdesign verwendet hat, um die erwarteten WT-Ergebnisse und kritischen Annahmen zu skizzieren.

Realisierte Strategie

In Bezug auf die „realisierte Strategie“ haben wir alle Evaluierungsaktivitäten einbezogen, die sich auf die Bewertung der realisierten organisatorischen WT-Strategie beziehen. Tabelle 4 zeigt einen Rückgang der Aktivitäten, wenn wir von der „beabsichtigten“ zur „realisierten“ Strategie übergehen. In den qualitativen Interviews wurden einige Erkenntnisse darüber gewonnen, warum dies der Fall ist. Die überwiegende Mehrheit der Agenturen erklärte zwar, dass sie die Evaluierung ihrer WT-Förderung für ein vorrangiges Unterfangen hielten, teilte dem Forschungsteam aber auch mit, dass sie nicht genau wüssten, wie sie diese Aufgabe angehen sollten. Allgemein wurde von den Vertretern der Agenturen darauf hingewiesen, dass die Bewertung der Forschung ein schwieriges Unterfangen sei; die Bewertung der Umsetzung der Forschung in die Praxis sei jedoch die schwierigste Komponente dieses Problems.

Emergente Strategie

Die „emergente Strategie“ ist nicht überraschend mangelhaft, wenn man sie im Zusammenhang mit dem Trend der abnehmenden Aktivitäten betrachtet, der von der Dokumentation der „beabsichtigten“ zur „realisierten“ Strategie führt. Zum Zeitpunkt der Datenerhebung nutzte nur eine Agentur (Alberta Innovates, ein öffentlicher kanadischer Provinzförderer) WT-spezifische Evaluierungsergebnisse als Grundlage für Entscheidungen und Maßnahmen.