Affichage des articles dont le libellé est Evaluation. Afficher tous les articles
Affichage des articles dont le libellé est Evaluation. Afficher tous les articles

lundi 15 février 2021

Evaluation et redéploiement d'une veille

Lorsqu’une veille est installée, elle est donc convenable à la stratégie et aux besoins exprimés pour les projets en cours. Néanmoins, elle peut être confrontée à des contraintes telles que la baisse des remontées d’informations, baisse d’efficacité pour les usagers, etc. Il est donc question de faire un bilan pour l’évaluer et définir comment la redéployer. Pour ce faire, nous allons avoir des retours d’expériences, des réponses d’experts, et des propos d’éditeurs sur leurs technologies. [1]

Pour évaluer l’efficacité d’un dispositif de veille, les veilleurs sont invités à lancer des enquêtes de satisfactions auprès de leurs clients. Il est cependant conseillé de ne pas abuser du temps disponible des répondants pour obtenir le plus grand nombre possible de réponses. Ces enquêtes de satisfaction permettent « d’obtenir un retour qualitatif, surtout quand il est accompagné de commentaires judicieux. » [2]

Le veilleur doit, en effet, évaluer ses sources d’information notamment au moment de la constitution de corpus de sources et tout au long de ses activités. Or, Pierre-Yves Debliquy déplore le défaut de synchronisation entre les veilleurs et les utilisateurs finaux. D'après lui, ce sont « les utilisateurs finaux qui doivent être les premiers à s'exprimer et à dire si la veille remplit sa fonction ou pas, car ce sont eux qui vont utiliser l'information collectée par les veilleurs. » [3]

Aussi, pour améliorer le corpus de sources, il faut privilégier un bon site qui propose des informations fiables, originales et documentées. Il convient de repérer toutes les ressources disponibles sur ce site. Une autre technique consiste à  examiner les liens entrant (sites extérieurs pointant vers la sources). De nombreux outils de « backlink » sont à la disposition des veilleurs comme : Majestic, Ahrefs, Semrush, Rank Signals, etc. 

Bruno Texier recommande aux veilleurs de (re)lire le célèbre traité « De la guerre » de Carl Von Clausewitz [4]. Il conseille aux veilleurs d’appliquer la méthode du « coup d’œil » lors de la validation d’une source en étudiant ses comptes Twitter et « de garder un œil»  sur tout ce qui se passe sur le cycle de renouvellement dans la filière numérique. [5]

Selon l’expérience de Pierre-Yves Debliquy, l’évaluation d’un dispositif de veille varie entre entre une PME et un grand groupe. Il constate qu’il est judicieux de travailler par projet dans les PME, et de mettre en place un système de veille qui collecte et stocke de l’information. Aussi, selon lui, l'évaluation d'un dispositif de veille doit être permanente si les veilleurs veulent gagner la confiance de leurs utilisateurs. Il rajoute : « A mes yeux, l'intelligence collective qui existe au sein de l'organisation est plus utile qu'un logiciel de veille » [6]

Toutefois, les éditeurs de veille commencent à se mettre au service de l'évaluation. Laurence Marcelli, directrice associé de l’éditeur Iscope explique : « Notre solution propose des statistiques d’usages paramétrables permettant de connaitre le nombre d’utilisateurs et de savoir de façon anonymisée lesquels consultent quel type de contenu, quand et à quelle fréquence » avant de rajouter : « nous proposons également des exports vers des outils internes à l’entreprise pour évaluer la valeur ajoutée de la veille. » [7] Chez Kentika par exemple, des indicateurs permettant d'évaluer l'activité sont présents dans chaque volet de l'outil dédié à la collecte, à la diffusion et à la pérennisation de la veille. 

Aussi, la question de l’évaluation d’un dispositif de veille se pose également au Canada. L’institut national de de santé publique du Québec (INSPQ) a décidé de procéder à la révision de ses activités en matière veille scientifique suite au contexte de la propagation de la grippe A (H1N1) entre 2009 et 2010 [8]. « Deux types d’évaluation sont couramment effectuées à l’Institut : un qui s’applique à toutes les veilles, et un qui concerne les produits de veille », expliquent Julien Chevrier et Mahée Lacourse dans un retour d’’expérience [9] ; « la phase d’évaluation est réalisée de façon ponctuelle, à au moins une reprise dans les premiers mois d’activité de la cellule de veille et, par la suite, sur une base plus au moins régulière ou au besoin. » [10]


Sources : 

[1] : Bruno Texier, Veille : évaluez, redéployer, Archimag n°340 décembre 2020 - janvier 2021, p. 17-18.

[2] : Ibid.

[3] : Bruno Texier, Attention au manque de synchronisation entre veilleurs et clients finaux …, Archimag n°340 décembre 2020 - janvier 2021, p. 19.

[4] : Le stratège Prussien Carl Von Clausewitz (1780-1831) vantait « le coup d’œil » (en français dans le texte) permettant d’identifier les tenants et les aboutissants d’un champ de bataille. 

[5] : Bruno Texier, Veille : évaluez, redéployer, Op.cit.

[6] : Bruno Texier, Attention au manque de synchronisation entre veilleurs et clients finaux …, Op.cit.

[7] : Clémence Jost, Les éditeurs de veille au service de l'évaluation,  Archimag n°340 décembre 2020 - janvier 2021, p. 20

[8] : Bruno Texier, La veille en coopération avec les scientifiques, Archimag n°340 décembre 2020 - janvier 2021, p. 22

[9] : Ibid.

[10] : Ibid. 






 


jeudi 19 janvier 2017

Le développement des compétences numériques des citoyens: quelle prise en compte au plan national et international ?


La publication du nouveau volet de l'enquête NET tendances (1) en décembre 2016 par le CEFRIO  est  l'occasion  de faire le point sur l'évaluation du niveau des compétences numériques des citoyens ainsi que les mesures mises en oeuvre en vue du développement de ces compétences au niveau de la France et de l'Europe.

Dans un contexte d'innovations technologiques affectant toutes les activités humaines (éducation, santé..),  le quotidien des citoyens est modifié. Il devient nécessaire que les citoyens se dotent des compétences qui leur permettront d'utiliser les nouvelles technologies.

Une culture générale numérique est utile dans l'exercice de la citoyenneté mais également  dans la plupart des métiers.

Dans ce contexte, l'évaluation des compétences des citoyens en lien avec les innovations technologiques constitue un enjeu majeur qui nécessite la création de dispositifs adaptés.

L' évaluation des compétences numériques des adultes au Québec

Le CEFRIO est un organisme de recherche innovant mandaté par le gouvernement québécois, en charge du développement numérique au Québec.
L'enquête du NET tendances du CEFRIO porte sur un panel de 1000 adultes de plus de 18 ans.

Elle repose sur une auto-évaluation du niveau de compétences sur une échelle de 3 niveaux par rapport à un cadre de référence constitué de 5 grands domaines de compétences:
  • le niveau général des compétences
  • communication sur internet 
  • recherche sur internet
  • transactions en ligne
  • sécurité en ligne.
Actuellement, près d’un Québécois sur deux (45 %) considère avoir un niveau de compétences numériques élevé.

Les résultats de l'enquête précisent les facteurs de vulnérabilité à l'origine de la fracture numérique:
  •  La scolarité : le niveau de compétences est fortement lié au niveau de la scolarité ; plus le niveau de scolarité est élevé, plus les personnes interviewées exprimant un sentiment d’aisance sur le plan numérique augmente.
  •  L'âge : à partir de 55 ans, le niveau de compétences exprimé baisse.
  •  La Région : les Québécois habitant en région disent se sentir moins à l’aise avec le numérique, comparativement aux résidents de la région de Montréal.  
  • Une disparité homme-femme : les femmes sont  plus nombreuses à se sentir moins habiles pour protéger leurs renseignements personnels des virus  sur Internet ainsi que leur ordinateur.

La mesure des compétences numériques au plan international 

En 2013, l'OCDE a publié les résultats de sa première enquête internationale sur les compétences requises pour évoluer dans les sociétés d'aujourd'hui: le Programme pour l'évaluation internationale des compétences des adultes (PEICA).
Les compétences évaluées sont les compétences en littératie, en numératie
auprès des adultes de 16 à 65 ans dans 24 pays. 

Le projet de cadre de référence des compétences numériques en France

Le Plan numérique pour l'éducation lancé en mai 2015 renforce la place du numérique au sein du système éducatif.Il vise le développement de moyens d'apprentissage innovants et la responsabilisation des jeunes dans l'usage des services, ressources et outils numériques.
Dans ce contexte, nouveau projet de cadre de référence  (2) élaboré en 2016  organise en 5 domaines 16 compétences numériques développées de l'école élémentaire à l'université et évaluées selon 8 niveaux de maîtrise des compétences.

Ce cadre de référence permettra de délivrer une attestation de niveau de maîtrise pour la scolarité obligatoire.

Le référentiel national est la déclinaison du référentiel européen DIGCOM pour la France. 

Enfin, la mise en place d'une plateforme d'évaluation et de certification en ligne des compétences numériques est prévue à la rentrée 2017.

Le dispositif d'évaluation sera accessible aux élèves, étudiants et aux professionnels dans le cadre de la formation continue des adultes.

Sources:
CEFRIO compétences numériques des adultes Québécois (2016)   http://www.cefrio.qc.ca/media/uploader/Fascicule2016-Comptencesnumriquesdesadultesqubcois-final-5.pdf (consulté le 18/01/2017)

Ministère de l'Education nationale de l'enseignement Supérieur et de la Recherche -cadre de référence des compétences numériques pour l'école et le collège http://eduscol.education.fr/ (consulté le 18/01/2017)