Constances : l’exigence d’un système qualité robuste pour un suivi multicentrique à long terme
// CONSTANCES: the requirement of a solid quality system for a long-term multicentric follow-up
Résumé
Dans le cadre de la cohorte Constances, les 200 000 participants sont invités à se rendre dans l’un des 22 Centres d’examens de santé participants pour bénéficier d’un examen à l’inclusion comprenant, entre autres, des mesures paracliniques et des analyses biologiques. Ces centres, équipés de matériels de marque et de technologie hétérogènes, mobilisent de nombreux collaborateurs pour réaliser la collecte des données. Ces conditions, sources de grande variabilité interopérateurs et intercentres, sont inhérentes aux cohortes de cette taille. Dès la conception, d’importants moyens ont donc été investis pour la mise en place d’un système qualité robuste.
Le protocole et les procédures opératoires standards (POS) ont été élaborés avec des personnels de centres et des experts de diverses spécialités. Les POS définissent les spécifications minimales du matériel et décrivent précisément chaque étape de la réalisation d’une mesure pour prévenir les biais pré-identifiés. La formation des opérateurs et le suivi du respect de la mise en œuvre des POS sont réalisés grâce à un monitorage mensuel sur site. De plus, des programmes automatiques en base de données détectent d’éventuelles incohérences ou dérives. La biologie bénéficie, en complément de ces dispositions, des résultats de suivi d’un organisme externe certifié commun à l’ensemble des laboratoires d’analyses biologiques.
Constances peut ainsi offrir aux chercheurs, en complément des données collectées auprès des participants, un grand nombre d’informations permettant de juger du niveau de confiance à accorder à chaque donnée, de la nécessité d’effectuer des redressements ou censures, pour ne pas altérer les conclusions de leurs travaux.
Abstract
As part of the CONSTANCES cohort, 200,000 participants are invited to an inclusion visit in one of the 26 participating health care centers throughout France, to attend para-clinical examinations and biological analysis.
These centers, which are equipped with material of heterogeneous brands and technologies, mobilize numerous collaborators to achieve data collection. From these conditions arise a large inter-operator and inter-center variability, which is inherent to such a large cohort. Thus, from its start, important resources have been invested to set up a robust quality system.
The protocol and standard operating procedures (SOP) have been elaborated together with agents from the health care centers and medical experts from different specialties. These SOPs define the minimal specifications of the material and precisely describe each step of the operated measures to prevent pre-identified bias. The adequate training of the operators and the compliance to the SOP are assessed by monthly on site monitoring. Furthermore, automatic programs on the data base detect eventual discrepancies or drifts. In addition to these measures, laboratory data are also controlled by a certified external entity common to all biological analysis laboratories.
CONSTANCES thus offers to researchers, in addition to the data collected from the participants, a large number of information allowing the assessment of the confidence level for each data. These information provide the possibility, if necessary, to perform recovery or censure of data, in order to avoid alteration of the conclusions of their work.
Introduction
Constances bénéficie du soutien de 22 Centres d’examens de santé (CES) de la Sécurité sociale pour accueillir les participants dans 26 sites et procéder aux observations cliniques et paracliniques, dont biologiques. Dans chacun de ces centres, de nombreux intervenants participent à la collecte des données. Le personnel administratif accueillant les volontaires recueille les données démographiques et sociales, le personnel infirmier procède à l’examen paraclinique et enregistre les résultats, les médecins explorent les antécédents médicaux familiaux et consolident d’éventuels diagnostics, le laboratoire procède à l’analyse des échantillons de sang et d’urine et des psychologues administrent les tests cognitifs et fonctionnels.
Constances fournit à l’ensemble des CES le même modèle de tensiomètre, de matériel destiné aux tests cognitifs (supports de passation) et aux tests fonctionnels (chronométrage, dynamomètre, compteur). Cependant, pour le reste des explorations et pour des raisons budgétaires, c’est le matériel des CES qui est utilisé (audiomètre, spiromètre, électrocardiographe, automates de biologie), dont les modèles et technologies peuvent varier d’un centre à l’autre.
Cette grande variabilité d’opérateurs et de matériels est une source importante de biais potentiels.
Considérant l’utilisation qui sera faite des données de Constances par la communauté de la santé publique et de la recherche, il est indispensable que les données proposées soient suffisamment fiables et robustes. Dès lors, d’importants moyens ont été investis dans la mise en place d’un système qualité performant.
Nous décrivons ici le système qualité accompagnant les examens réalisés dans les CES mis en place pour obtenir des données reproductibles et contrôlées.
Protocoles opératoires standards
Le protocole constitue le socle du système qualité d’une étude. Constances, explorant des domaines très divers, a fait appel à de nombreux experts pour l’aider dans la rédaction de son protocole. Des groupes de travail ont été constitués par spécialité, avec experts et acteurs de terrain pour travailler à l’élaboration des Protocoles opératoires standards (POS). Ces documents définissent les spécifications minimales des caractéristiques techniques des dispositifs médicaux et détaillent chaque étape de la réalisation à suivre par l’opérateur. Les recommandations internationales ou, en leur absence, la revue de la littérature scientifique du domaine concerné, ont été intégrées à ces POS. Les groupes de travail ont porté une attention particulière à l’identification des biais potentiels propres à chacun des examens pour standardiser les pratiques.
Ainsi, deux POS administratifs (généralités et circuit du volontaire), neuf POS pour les explorations paracliniques (audition, biométrie, ECG, pression artérielle, spirométrie, taille et vision, bilan cognitif et fonctionnel) (tableau 1) et un protocole pour les analyses biologiques décrivant les procédures pré-analytiques et les méthodes de dosage recommandées (tableau 2) servent de référentiels à l’ensemble des CES.
Agrandir l'image
Agrandir l'imageQualification et documentation des dispositifs médicaux et autres matériels de mesure
Avant le début des inclusions, les CES ont bénéficié de visites de standardisation et de préparation au recrutement. Au cours de ces visites, l’ensemble des dispositifs médicaux et matériels utilisés en vue d’obtenir des données pour Constances a été recensé. La marque, le modèle, les certificats de vérifications et la documentation technique de chacun d’eux sont collectés et archivés pour servir de support aux chercheurs, le caractère longitudinal de la cohorte prévu sur de nombreuses années laissant supposer que ces dispositifs seront amenés à être remplacés au fil du temps. À l’aide de cette documentation, les chercheurs travaillant sur les données seront en mesure d’identifier toute évolution technologique qui pourrait expliquer d’éventuelles différences de mesures. Si les chercheurs le jugent opportun, ils pourront ainsi en tenir compte dans leurs analyses.
Pour les professionnels de l’analyse biologique, les problématiques de reproductibilité intra et inter-laboratoires liés à la variabilité des analyseurs sont identifiées et intégrées à leurs procédures depuis de nombreuses années. À cet effet, les laboratoires participant à Constances adhèrent, entre autres, à un programme commun de contrôle de qualité promu par la Caisse nationale d’assurance maladie des travailleurs salariés (CnamTS) : Asqualab. À chaque changement de matériel (étalon, réactif, analyseur) pouvant avoir un impact sur les résultats, le laboratoire procède à une comparaison de méthodes. Le laboratoire procède à l’analyse des prélèvements avec le matériel existant ainsi qu’avec le nouveau matériel. Un lien entre les deux analyses est ainsi réalisé sans rupture brutale.
L’ensemble de ces informations est collecté et mis à jour mensuellement par des Attachés de recherche épidémiologique (ARE) d’une société de recherche sous contrat (ClinSearch) à l’aide d’une application qu’elle a développée spécifiquement pour Constances. En aval, le système d’information de la cohorte récupère l’ensemble de ces données via l’application et gère en parallèle une grande base documentaire pour colliger l’ensemble de la documentation technique.
Formation et monitorage des pratiques
Chaque acteur de CES participant à l’étude est formé aux POS Constances avant toute observation réalisée sur un volontaire. La tenue d’une réunion nationale a été la première étape d’une longue période de formation à l’étude. L’ensemble des POS a été présenté à l’aide de films courts détaillant les étapes de réalisation de chaque examen. Préalablement aux inclusions, des ARE se sont rendus dans chacun des CES pour observer les pratiques du personnel et sensibiliser les opérateurs aux éventuelles différences entre les pratiques du CES et les POS de Constances. Les deux premiers jours de l’ouverture du CES aux volontaires, les ARE étaient présents pour assister le personnel dès les premières étapes du recrutement et des observations. Lorsque qu’une mise à jour des POS ou du protocole de biologie est rendue nécessaire, les nouvelles versions font l’objet d’une information spécifique.
Les dérives dans le temps s’installant dans la pratique de tout opérateur, des visites d’ARE sur site sont organisées mensuellement. Lors de ces visites l’ARE s’attache à suivre, dans la mesure du possible, le circuit complet d’un consultant ou les pratiques d’un opérateur. À l’aide d’une application informatique développée spécifiquement et détaillant toutes les étapes de chaque examen, l’ARE peut suivre et renseigner d’éventuels écarts aux POS. Les écarts ainsi consignés sont utilisés pour la formation continue du personnel. Leur analyse permet d’expliquer l’apparition de certaines variations inter-opérateurs au sein d’un même CES. L’ensemble de ces données est consolidé par le système d’information de Constances pour être mis à la disposition des chercheurs en cas de besoin.
Monitorage des données brutes
Le monitorage des données se fait à plusieurs niveaux. Le premier est caractérisé par un plan de validation déployé sur la base de données du système d’information de Constances. Il permet de repérer les données manquantes, les incohérences entre différentes sources, les valeurs hors-normes ou tout autre test de cohérence défini en amont. Des requêtes sont alors automatiquement émises et l’ARE s’emploie à résoudre les difficultés identifiées avec le CES.
Le second niveau s’opère au niveau du CES lors la visite mensuelle de l’ARE. Un tirage au sort de quelques volontaires du CES visité est réalisé. Les données intégrées à la base sont comparées à celles issues des documents sources du CES (dossier médical, ticket d’automate…). Le traitement des incohérences relevées par l’ARE dépend alors de l’origine de l’incohérence. Elle peut consister en une simple erreur de retranscription de la donnée source et, dans ces conditions, la valeur corrigée est transmise au système d’information. Dans d’autres cas, la cause peut être plus profonde : à titre d’exemples, ont été observés des problèmes de paramétrage du dispositif médical ou de formules utilisant des arrondis lors du transfert de données du dispositif vers un logiciel intermédiaire. Pour ces cas, le recueil des résultats des formules a été écarté au profit des variables opérées, et les distributeurs de dispositifs ont été sollicités pour faire évoluer le matériel.
Variabilité interopérateurs et intersites à long terme
La variabilité interopérateurs et intersites est un indicateur de qualité. Dans le cadre de Constances, ces variabilités sont également utilisées comme un outil de monitorage à distance des pratiques. Dans le cadre des examens paracliniques, sont surveillés les variations interopérateurs concernant, par exemple, la distribution des décimales du poids (tendance à arrondir), du bras de référence de la pression artérielle (non respect de l’alternance des bras pour les deux premières mesures), de l’acuité visuelle de près (accommodation de la distance de lecture si le statif n’est pas utilisé pour la faire respecter).
Concrètement, le suivi du taux de reproductibilité des manœuvres de spirométrie sur la première année (2012-2013) a révélé des disparités interopérateurs et intersites. Des actions de sensibilisation ont été engagées dès le deuxième semestre 2013 et le taux de manœuvre reproductibles a été amélioré (figure).
Agrandir l'imageConcernant les analyses biologiques, Constances dispose d’un outil robuste et performant avec le programme commun de contrôle de qualité, qui permet de surveiller la fidélité intermédiaire (reproductibilité intralaboratoire), la justesse, l’inexactitude (biais) et le coefficient de variation interlaboratoires. Les résultats sont collectés mensuellement pour chaque laboratoire et chaque examen de biologie médicale ; ils sont archivés dans la base de données de Constances, interactive avec la base recensant les composantes de l’outil de production. Les résultats sont analysés par un groupe de travail interne, en lien avec les partenaires extérieurs en charge de la qualité (ClinSearch et Asqualab, hôpital Broussais, Paris).
Le suivi sur le terrain de l’ensemble des alertes et des mesures correctives est ensuite assuré par les ARE.
Conclusion
Le recueil des données de qualité repose en grande partie sur l’implication des CES et de leur personnel, qui ont accepté d’adapter leurs pratiques et permis la standardisation des mesures. Constances a consacré de son côté d’importants investissements en ressources humaines et en budget pour mettre en place et maintenir un tel système qualité. Les données de Constances sont mises à disposition avec un matériel et des méthodes contrôlés permettant aux chercheurs d’en apprécier la qualité.
Remerciements
Aux personnels administratifs et infirmiers, médecins et biologistes des Centres d’examens de santé qui participent activement tous les jours au recrutement des volontaires de la cohorte selon les procédures décrites dans cet article.