GitHub Copilot vaut-il son prix maintenant qu’il est offert à tous?

Le 21 juin, GitHub a rendu Copilot offert à tous les développeurs individuels. « Offert à tous » (generally available) signifie que l’aperçu technique est terminé : n’importe qui peut maintenant l’installer, et c’est un produit payant. Le prix est de 10 $ US par mois ou de 100 $ US par année; il y a un essai gratuit, et les étudiants dont le statut est vérifié ainsi que les personnes qui maintiennent des projets populaires à code source ouvert peuvent l’utiliser sans frais. GitHub indique qu’il commencera à offrir Copilot aux entreprises plus tard cette année.

La question que beaucoup de gens se posent cette semaine est donc d’ordre pratique. Pendant l’aperçu, il était gratuit et facile de le laisser tourner. Il a maintenant un prix, et un prix mérite un calcul.

Ce que vous payez

Copilot est une extension d’éditeur qui fonctionne dans Visual Studio Code, Visual Studio, Neovim et les environnements de développement de JetBrains. Pendant que vous tapez du code ou un commentaire, il propose la suite : une seule ligne, une fonction entière, du code passe-partout (le code de mise en place répétitif dont la plupart des fichiers ont besoin) ou un test unitaire (un petit programme qui vérifie qu’un autre bout de code fonctionne). Vous pouvez faire défiler plusieurs suggestions et accepter, rejeter ou modifier chacune.

En coulisses, il fonctionne avec un modèle d’OpenAI entraîné sur une grande quantité de code source public. Il n’exécute pas votre code et ne vérifie pas qu’une suggestion est correcte. Il prédit du code probable à partir du contexte de votre fichier; c’est pourquoi ses suggestions peuvent être excellentes, légèrement à côté ou fausses avec assurance.

GitHub rapporte que plus de 1,2 million de développeurs ont essayé l’aperçu en douze mois et que, dans les fichiers où Copilot est activé, près de 40 % du code dans des langages populaires comme Python est maintenant écrit par lui. Ce chiffre décrit la quantité de code qu’il produit, pas le temps qu’il fait gagner, et ce n’est pas la même chose.

Un calcul du seuil de rentabilité

Le test le plus simple est le seuil de rentabilité : combien de temps Copilot doit-il vous faire gagner chaque mois pour couvrir son coût? Il vous suffit de connaître la valeur de votre heure, qu’il s’agisse de votre salaire, de votre tarif de pigiste ou de ce que vaut pour vous votre temps libre.

L’abonnement annuel ramène le coût mensuel à environ 8,33 $ US, ce qui raccourcit un peu chaque ligne.

Essayez maintenant avec une petite tâche typique. Disons que vous avez besoin d’une fonction qui lit un fichier CSV de commandes de clients et renvoie le total par client. Chronométrez-vous une fois en l’écrivant à la main. Puis, pour une tâche semblable, écrivez seulement un commentaire descriptif et le nom de la fonction, et laissez Copilot proposer le corps :

# Lire orders.csv (colonnes customer et amount) et renvoyer un dict
# qui associe chaque nom de client à la somme de ses commandes.
def totals_by_customer(path):

Comptez tout le cycle : attendre la suggestion, la lire ligne par ligne, corriger ce qui cloche et la tester. Si la tâche a pris 12 minutes à la main et 5 avec Copilot, vous avez gagné 7 minutes. Deux ou trois tâches de ce genre dans un mois couvrent déjà le coût pour la plupart des valeurs horaires.

Le piège, c’est l’étape de lecture. Une suggestion que vous acceptez sans la comprendre n’est pas du temps gagné; c’est un bogue que vous risquez de payer plus tard.

Ce que disent les premières recherches

Une équipe de recherche de GitHub s’est penchée sur cette question dans un article présenté en juin. Les chercheurs ont jumelé plus de 2 000 réponses à un sondage auprès d’utilisateurs de l’aperçu avec des données d’utilisation provenant de leurs éditeurs. Ils ont examiné le taux d’acceptation, c’est-à-dire la part des suggestions affichées qu’un développeur conserve, et ont constaté que c’était le meilleur indicateur du sentiment d’être plus productif. Le taux d’acceptation moyen dans leurs données était de 27 %, et il variait beaucoup d’un développeur à l’autre et dans le temps.

Deux points comptent pour votre décision. D’abord, l’étude mesure à quel point les gens se sentent productifs, pas un résultat au chronomètre. Ensuite, ces grands écarts signifient que votre expérience pourrait être très différente de celle d’un collègue. Voilà pourquoi l’essai gratuit vaut la peine d’être utilisé sérieusement, sur du vrai travail, avant de payer.

Comment en tirer le meilleur parti?

Donnez-lui du contexte, car le contexte est tout ce qu’il a. Copilot lit le fichier dans lequel vous travaillez : des noms de fonctions clairs, un court commentaire qui précise les entrées et les sorties et un exemple du format des données améliorent tous ses suggestions. Un commentaire comme « analyser la date au format JJ/MM/AAAA » fonctionne mieux que « analyser la date ».

Utilisez-le là où il est le plus fort : le code répétitif, les structures courantes, les tests et la syntaxe d’un langage que vous connaissez moins bien. Soyez plus prudent avec le code sensible pour la sécurité, les règles d’affaires inhabituelles et tout ce qui touche à l’argent ou aux renseignements personnels, là où une suggestion plausible mais fausse coûte cher. Quand une suggestion semble presque bonne, regardez les autres propositions avant de la modifier; l’une d’elles est peut-être plus proche.

Enfin, gardez votre propre jugement aux commandes. Lisez chaque suggestion comme si un nouveau collègue l’avait écrite, lancez vos tests et rejetez sans hésiter. Les développeurs qui traitent Copilot comme un premier jet rapide, plutôt que comme une réponse finie, sont ceux qui risquent le plus de constater que les 10 $ US par mois se récupèrent facilement.