MMLU & évaluation des modèles de langage

Objectifs

• Comprendre les benchmarks (MMLU et autres) et leurs limites
• Construire un jeu d'évaluation adapté à votre métier
• Comparer des modèles sur la qualité, le coût et la latence
• Évaluer en continu en production

Programme

1. Panorama des benchmarks3 h
2. MMLU : méthode et lecture des scores3 h
3. Construire son propre jeu d'évaluation4 h
4. Comparer qualité, coût, latence2 h
5. Évaluation continue2 h

Public & prérequis

Public : Data scientists, ingénieurs IA, DSI et responsables techniques qui choisissent des modèles.

Prérequis : Python, notions de machine learning.

Outils utilisés

PythonJeux d'évaluationAPI LLM

Évaluation et certification

Le parcours se conclut par un projet pratique évalué par un jury de praticiens. Sa réussite donne lieu à l'attestation Africa Data Entry « MMLU & évaluation des modèles de langage ».