College of Reviewers FAQ

College of Reviewers FAQ
Peer Review
I just received my College invitation, but what if I’ve already agreed to
participate in a peer review activity for CIHR this year?
College membership itself is not a peer review activity and will not interfere with any other previously
accepted peer review commitments. The invitations are separate and one does not preclude the other.
College members will still be invited to participate in peer review activities and may choose to accept or
decline them as they see fit.
Can I still review for CIHR if I am not a College member or if I decline the
College invitation?
Reviewers who aren’t College members may still review for CIHR on an ad-hoc basis, however reviewers
who wish to participate in peer review activities for CIHR more consistently would be asked to reconsider the College invitation.
College Membership
Does accepting College membership and the Terms and Conditions imply
providing blanket approval to review any application matched to my
expertise?
College members will be invited separately for specific peer review activities and may choose to accept
or decline them as they see fit.
How do breaks in service such as parental leave, illness, sabbatical, etc. affect
the end date of my College term?
The term end date for College membership is set to five years after the enrolment date, regardless of
any breaks in service.
What member information will CIHR be sharing, and for what purposes?
CIHR is committed to recognizing the significant contributions College members make to the peer
review system and to the health research enterprise. CIHR will share peer review activity data in annual
reports that summarize peer review participation.
College members will be provided with reports that summarize their annual peer review activities.
Institutions will be provided with reports that include information regarding the College members who
are affiliated with them (member names, annual participation in peer review activities, and contribution
to the College).
High-level anonymized data may be used for Government of Canada reporting purposes.
What types of audit and evaluation will CIHR carry out on College members?
CIHR is committed to peer review excellence and will be measuring participation in peer review activities
as well as assessing the performance of its College members.
What action(s) will CIHR take if a College member is not performing up to the
required standards for the College?
Performance issues will be dealt with on a case-by-case basis and the prescribed course of action by
CIHR will vary depending on the circumstance. Recommendation(s) may include training and/or
participation in a mentorship program, for example.
College Profile
Employment History: Do I include only my primary academic appointment or
all of my work positions?
Please include all of your current work positions only. Memberships on committees, other affiliations,
etc. should not be included in this section.
Employment History: Why wasn’t the information required in this section
imported from my CCV?
The possibility of importing the data from CCV was explored. CCVs are often tailored to include
information that is specific to that specific application. This information may be out-of-date if a College
member has not recently submitted an application and/or may contain details out-of-scope for what is
required for the College profile. As such, the College chose to not import the data from the CCV.
Reviewer Type: What if I don’t identify with any reviewer type?
Please select ‘Other’ and specify in the text box what reviewer type you would consider yourself to be.
CIHR will review and analyze this information to determine if new reviewer types are needed.
Why isn’t CIHR capturing any information about my degrees, certifications
and/or training in my College profile?
The College of Reviewers profile is a work in progress and will continue to evolve over the coming
months. These elements will be considered as part of future updates.
Expertise Clusters
Why can’t I select more than one primary expertise cluster?
For the purposes of peer review, it is preferable that College members select one expertise cluster as
their primary cluster. CIHR will be reviewing and analyzing the composition of clusters to determine if
revisions might be required in the future.
What if none of the expertise clusters apply to me?
If this is the case, please leave this field blank. Current cluster configurations are being piloted. As the
College is populated, CIHR will analyze the composition of the College and revise the clusters and/or
sub-clusters as needed.
Can I add more than one expertise cluster?
Yes, you can associate yourself with more than one expertise cluster. Initially, the first cluster you select
will appear as your primary cluster. As you add additional clusters, you can modify which one is listed as
your primary.
How can I add specific expertise such as methodological expertise or
specialized technologies to my College profile?
The College of Reviewers profile is a work in progress and will continue to evolve over the coming
months. These elements will be considered as part of future updates.
Fingerprint
How is my Fingerprint generated?
Your Fingerprint is generated from your research outputs, as available in Scopus - the largest abstract
and citation database, containing 49 million records and covering over 5,000 international publishers. A
software system using Natural Language Processing (NLP) identifies how frequently certain terms are
cited in the titles and abstracts of your research outputs. These terms are then mapped to concepts
using discipline-specific thesauri suitable for the scientific area of the text, and concepts are provided a
weight based on their uniqueness and the frequency in which they are identified. The order in which
concepts are provided in your Fingerprint indicates how prevalent these concepts are in your research
outputs.
How can my Fingerprint be edited?
Fingerprints can be edited through the addition or removal of research outputs. CIHR staff will be
managing the editing process and will work with College members to ensure that the research outputs
that are listed in their profile and used to generate their Fingerprint are accurate and reflect the
expertise of College members, as a whole. If you identify any misattributed research outputs, are
missing research outputs (as they are not available in the Scopus database), identify any issue with your
Scopus profile or otherwise identify issues with your Fingerprint, please identify this in the Fingerprint
Validation section of your College profile or contact the College of Reviewers, at [email protected].
CIHR staff will follow-up with College members to resolve the issue(s) at hand.
Please note that concepts are derived from your attributed research outputs and are weighted based on
the frequency of their occurrence in your research outputs. Concepts themselves cannot be added,
removed or reweighted.
How will my Fingerprint be used?
Your Fingerprint is one element that will be used to support the process of matching funding
applications to individual reviewers with the appropriate expertise. Fingerprints will also be generated
for funding applications submitted to CIHR. This will allow proposals to be matched to reviewers with
the required expertise through an alignment of common concepts. Matches will be substantiated when
reviewers are asked to assess their ability to review applications in the peer review process.
CIHR is currently assessing this new technology and will be piloting it in future competitions. Through
the assessment of this tool, strengths and gaps will be identified to inform the effective integration of
this new technology in the peer review process. Please note that CIHR staff will be reviewing
application-reviewer matches during this pilot phase to ensure the appropriateness of peer review
assignments.
FAQ concernant le college des
evaluateurs
Évaluation par les pairs
Je viens de recevoir mon invitation à faire partie du collège. Que se passe-t-il si
j’ai déjà accepté de participer à une évaluation par les pairs pour les IRSC
cette année?
Le fait d’être membre du collège ne constitue pas en soi une activité d’évaluation par les pairs et n’a
aucune incidence sur tout engagement antérieur de participer à une évaluation par les pairs. Les
invitations sont distinctes, et l’une n’exclut pas l’autre. Les membres du collège seront invités à
participer à des activités d’évaluation par les pairs et pourront décider d’accepter ou de refuser, selon
leur jugement.
Puis-je encore faire des évaluations pour les IRSC si je ne suis pas membre du
collège ou si je refuse son invitation?
Les évaluateurs qui ne sont pas membres du collège peuvent encore faire des évaluations ponctuelles
pour les IRSC, mais nous demanderons à ceux qui veulent faire des évaluations sur une base régulière
d’envisager de devenir membre du collège.
Composition du collège
Si j'accepte de faire partie du collège et les modalités qui s’y rattachent, est-ce
que cela signifie que j’accepte sans restriction de réviser n’importe quelle
demande à laquelle correspondent mes compétences?
Les membres du collège recevront des demandes distinctes d’exécuter différentes activités de révision
et pourront choisir de les accepter ou de les refuser, selon leur jugement.
Quelle incidence les interruptions de service comme un congé parental, un
congé de maladie ou un congé sabbatique auront-elles sur la date de fin de
mon mandat au sein du collège?
La fin du mandat au sein du collège est fixée à cinq ans à partir de la date de recrutement, sans égard
aux interruptions de service.
Quels renseignements sur les membres les IRSC communiqueront-ils et à
quelles fins?
Les IRSC s’engagent à reconnaître les importantes contributions des membres du collège au système
d’évaluation par les pairs et à l’entreprise de recherche en santé. Ils communiqueront des données
relatives au travail d’évaluation par les pairs dans des rapports annuels qui résument la participation aux
activités d’évaluation par les pairs.
Les membres du collège recevront des rapports qui résument leurs activités annuelles d’évaluation par
les pairs.
Les établissements recevront des rapports qui comportent de l’information concernant les membres du
collège qui leur sont affiliés (nom des membres, participation annuelle à des activités d’évaluation par
les pairs et contribution au collège).
Des données générales rendues anonymes pourront être utilisées pour la production de rapports du
gouvernement du Canada.
Quelles sortes de vérifications et d’évaluations les IRSC feront-ils à l’égard des
membres du collège?
Les IRSC ont à cœur l’excellence de l’évaluation par les pairs; c’est pourquoi ils mesureront la
participation aux activités d’évaluation par les pairs et évalueront le rendement des membres du
collège.
Quelles mesures les IRSC prendront-ils si le rendement d’un membre du
collège ne respecte pas les normes établies pour le collège?
Les questions de rendement seront traitées au cas par cas, et les mesures prises par les IRSC varieront
selon les circonstances. Les recommandations pourraient inclure de la formation ou la participation à un
programme de mentorat, par exemple.
Profil du collège
Dossier des emplois : Dois-je inclure seulement mes principales nominations
professorales ou tous les postes que j’occupe?
Veuillez inclure tous vos postes actuels seulement. La participation à des comités ou autre affiliation ne
doivent pas paraître dans cette section.
Dossier des emplois : Pourquoi l’information requise dans cette section
n’a-t-elle pas été importée de mon CVC?
Nous avons étudié la possibilité d’importer les données du CVC, mais ces derniers sont souvent adaptés
pour inclure de l’information qui est propre à une demande donnée. Par conséquent, elle peut être
périmée si un membre n’a pas présenté de demande récente, ou contenir des détails qui ne cadrent pas
avec ce que le collège exige au chapitre du profil. C’est pourquoi le collège a choisi de ne pas importer
les données du CVC.
Type d’évaluateur : Que se passe-t-il si je ne m’identifie à aucun type
d’évaluateur?
Veuillez choisir « Autre » et préciser dans la zone de texte quel type d’évaluateur vous pensez être. Les
IRSC examineront et analyseront cette information et détermineront si de nouveaux types d’évaluateurs
sont nécessaires.
Pourquoi les IRSC ne recueillent-ils pas de renseignements au sujet de mes
diplômes, certifications ou formations pour mon profil du collège?
Le profil du collège des évaluateurs est un travail en évolution et continuera de progresser au cours des
prochains mois. Ces éléments seront pris en compte dans le cadre de futures mises à jour.
Groupes d’expertise
Pourquoi ne puis-je choisir plus d’un groupe d’expertise principal?
Aux fins de l’évaluation par les pairs, il est préférable que les membres du collège ne choisissent qu’un
groupe d’expertise comme leur groupe principal. Les IRSC examineront et analyseront la composition
des groupes pour déterminer s’il faudrait apporter des changements plus tard.
Que se passe-t-il si aucun groupe d’expertise ne s’applique à moi?
Le cas échéant, laissez le champ vide. Des configurations des groupes actuels sont mises à l’essai. Au fur
et à mesure que le nombre de membres augmentera, les IRSC analyseront la composition du collège et
modifieront les groupes ou sous-groupes au besoin.
Puis-je ajouter plus d’un groupe d’expertise?
Oui, vous pouvez vous associer à plus d’un groupe d’expertise. Au départ, le premier groupe que vous
choisirez apparaîtra comme votre groupe principal. Au fur et à mesure que vous ajouterez des groupes,
vous pourrez changer celui que vous désirez considérer comme votre groupe principal.
Comment puis-je ajouter une expertise précise comme la méthodologie ou des
technologies spécialisées à mon profil du collège?
Le profil du collège des évaluateurs est un travail en évolution et continuera de progresser au cours des
prochains mois. Ces éléments seront étudiés dans le cadre de futures mises à jour.
Empreinte
Comment mon empreinte est-elle créée?
Votre empreinte est créée à partir de vos productions scientifiques répertoriées dans Scopus, principale
banque de résumés et de notices bibliographiques, qui contient plus de 49 millions d’enregistrements
provenant de plus de 5 000 éditeurs internationaux. Un système logiciel de traitement du langage
naturel (TLN) détermine la fréquence de certains termes relevés dans le titre et le résumé de vos
productions scientifiques. Ces termes sont ensuite associés à des concepts à l’aide de thésaurus
thématiques propres au domaine scientifique du texte, puis ces concepts sont pondérés en fonction de
l’unicité et de la fréquence avec lesquelles ils ont été relevés. L’ordre dans lequel les concepts
apparaissent dans votre empreinte correspond à leur fréquence dans vos productions scientifiques.
Comment puis-je modifier mon empreinte?
L’ajout ou la suppression de productions scientifiques permet de modifier une empreinte. Le personnel
des IRSC s’occupera de la mise à jour et collaborera avec les membres du collège pour s’assurer que les
productions scientifiques répertoriées à leur profil et utilisées pour créer leur empreinte correspondent
à la réalité et qu’elles reflètent bien leur expertise, dans l’ensemble. Si vous constatez des erreurs dans
les productions scientifiques qui vous sont attribuées ou des omissions (p. ex. productions non
répertoriées dans Scopus), des problèmes à l’égard de votre profil dans Scopus ou toute autre question
liée à votre empreinte, veuillez les mentionner dans la section Validation de l’empreinte de votre profil
au collège ou contacter le collège des évaluateurs à [email protected]. Les IRSC assureront le suivi
auprès des membres du collège pour résoudre les questions qui seront soulevées.
Veuillez noter que les concepts proviennent des productions scientifiques qui vous sont attribuées et
qu’ils sont pondérés en fonction du nombre d’occurrences. Il n’est pas possible d’ajouter ni de
supprimer des concepts, ni de repondérer les concepts existants.
Comment mon empreinte sera-t-elle utilisée?
L’empreinte est un élément qui servira à appuyer le processus de jumelage des demandes de
financement et des évaluateurs ayant l’expertise appropriée. Une empreinte est aussi créée pour les
demandes de financement soumises aux IRSC. Ainsi, les propositions pourront être jumelées à des
évaluateurs ayant l’expertise nécessaire en fonction de la correspondance des concepts. Les
appariements seront confirmés lorsque les évaluateurs seront invités à déterminer leur capacité
d’évaluer les demandes dans le processus d’évaluation par les pairs.
Les IRSC évaluent actuellement cette nouvelle technologie et procéderont à des essais pilotes dans le
cadre des prochains concours. L’évaluation de cet outil permettra d’en déterminer les forces et les
lacunes afin d’optimiser son intégration au processus d’évaluation par les pairs. Veuillez noter que le
personnel des IRSC examinera les jumelages demandes-évaluateurs durant la période d’essai afin de
garantir la pertinence des attributions pour l’évaluation par les pairs.