Un modèle d’IA surpuissant a été mis en ligne par la communauté open source. Ce modèle linguistique s’avère être aussi performant que PaLM 2, qui anime Google Bard, et plus puissant que la version standard de ChatGPT…

Un nouveau modèle linguistique open source vient de voir le jour. Baptisé Falcon 180B, ce modèle d’IA a été mis au point par plusieurs développeurs de la communauté Hugging Face AI, une plateforme communautaire proposée par Hugging Face, une start-up franco-américaine. Il s’appuie sur l’architecture du modèle de langage Falcon, également disponible en open source.

Le plus grand modèle d’IA open source

Le modèle se distingue fortement des autres modèles linguistiques accessibles à la communauté de développeurs et de chercheurs. Comme l’expliquent les créateurs dans l’annonce, Falcon 180B est le « plus grand modèle de langage librement disponible ». Il embarque 180 milliards de paramètres.

C’est 2,5 fois plus que Llama 2, la dernière version du modèle de langage de Meta, qui était jusqu’ici considéré comme le plus grand modèle d’IA en accès libre avec 70 milliards de paramètres. La nouvelle version de Falcon devance aussi GPT-3.5, le modèle propriétaire derrière ChatGPT, qui plafonne à 175 milliards de paramètres. Il est par contre moins imposant que certains modèles privés comme PaLM 2 de Google, qui caracole avec un total de 540 milliards de paramètres. Pour mémoire, les paramètres déterminent la capacité de traitement d’un modèle. Plus il y a de paramètres, plus un modèle pourra fournir des réponses précises.

Il tire aussi son épingle du jeu grâce à la « plus longue période préformation » pour un modèle ouvert. Pour entraîner l’IA, les chercheurs se sont en effet appuyés sur un total de 3,5 milliards de tokens. Dans le cadre de la formation d’un modèle d’une IA, un token, ou jeton en français, représente un mot, une phrase, ou même un caractère. Ces éléments sont en effet décomposés en jetons en amont du processus d’apprentissage.

Aussi performant que PaLM 2 ?

Falcon 180B est capable de tenir la dragée haute aux modèles d’IA propriétaires, soulignent les développeurs à l’origine du projet. Le modèle est plus performant que deux des versions de PaLM 2, et que la précédente itération de PaLM. Il talonne par contre la version grand format de PaLM 2, avec ses 540 milliards de paramètres. Pour les chercheurs, l’IA est finalement à égalité avec la solution Google.

Le modèle open source se paie le luxe de distancer GPT-3.5. Par contre, il n’est pas parvenu à faire mieux que GPT-4, la dernière version de GPT. L’annonce précise que Falcon 180B est appelé à évoluer dans un avenir proche avec l’aide de la communauté de développeurs.

Comme l’avait prophétisé un ingénieur de Google, le monde de l’open source est largement capable de rivaliser, voire de devancer, les innovations d’OpenAI, Microsoft ou d’autres géants de la technologie. Dans un rapport publié en mai, l’ingénieur Luke Sernau a en effet estimé que les plus grandes IA seront mises au point, non pas par des géants du numérique, mais par des développeurs de la communauté open source. D’après lui, ceux-ci ont pris une avance considérable sur les mastodontes de la Silicon Valley…