AI Bot Search

Chat GPT vous permet de discuter avec un transformateur génératif pré-formé

Chat Generative Pre-Trained Transformer, communément appelé ChatGPT, est un chatbot lancé par OpenAI en novembre 2022. Il est construit sur la famille GPT-3 de grands modèles de langage d'OpenAI et est affiné (une approche de l'apprentissage par transfert) avec techniques d'apprentissage supervisé et par renforcement.

ChatGPT a été lancé en tant que prototype le 30 novembre 2022 et a rapidement attiré l'attention pour ses réponses détaillées et ses réponses articulées dans de nombreux domaines de connaissances. Son exactitude factuelle inégale a été identifiée comme un inconvénient important. Après la sortie de ChatGPT, OpenAI était évalué à 29 milliards de dollars

Entraînement

ChatGPT a été affiné au-dessus de GPT-3.5 en utilisant l'apprentissage supervisé ainsi que l'apprentissage par renforcement. Les deux approches ont utilisé des formateurs humains pour améliorer les performances du modèle. Dans le cas de l'apprentissage supervisé, le modèle était doté de conversations dans lesquelles les formateurs jouaient les deux côtés : l'utilisateur et l'assistant IA. Dans l'étape de renforcement, les formateurs humains ont d'abord classé les réponses que le modèle avait créées lors d'une conversation précédente. Ces classements ont été utilisés pour créer des « modèles de récompense » sur lesquels le modèle a été affiné à l'aide de plusieurs itérations de Proximal Policy Optimization (PPO). Les algorithmes d'optimisation de politique proximale présentent un avantage rentable pour faire confiance aux algorithmes d'optimisation de politique régionale ; ils annulent de nombreuses opérations coûteuses en calcul avec des performances plus rapides. Les modèles ont été formés en collaboration avec Microsoft sur leur infrastructure de supercalcul Azure.

En outre, OpenAI continue de collecter des données auprès des utilisateurs de ChatGPT qui pourraient être utilisées pour former et affiner ChatGPT. Les utilisateurs sont autorisés à voter pour ou contre les réponses qu'ils reçoivent de ChatGPT ; lors d'un vote positif ou négatif, ils peuvent également remplir un champ de texte avec des commentaires supplémentaires.