Un mod\u00e8le d\u2019IA surpuissant a \u00e9t\u00e9 mis en ligne par la communaut\u00e9 open source. Ce mod\u00e8le linguistique s\u2019av\u00e8re \u00eatre aussi performant que PaLM 2, qui anime Google Bard, et plus puissant que la version standard de ChatGPT\u2026<\/b><\/p>\n
Un nouveau\u00a0<\/span>mod\u00e8le linguistique<\/span><\/a>\u00a0open source vient de voir le jour. Baptis\u00e9\u00a0<\/span>Falcon 180B<\/b>, ce mod\u00e8le d\u2019IA a \u00e9t\u00e9 mis au point par plusieurs d\u00e9veloppeurs de la communaut\u00e9 Hugging Face AI, une plateforme communautaire propos\u00e9e par Hugging Face, une start-up franco-am\u00e9ricaine. Il s\u2019appuie sur l\u2019architecture du mod\u00e8le de langage Falcon, \u00e9galement disponible en open source.<\/span><\/p>\n Le plus grand mod\u00e8le d\u2019IA open source<\/b><\/p>\n Le mod\u00e8le se distingue fortement des autres mod\u00e8les linguistiques accessibles \u00e0 la communaut\u00e9 de d\u00e9veloppeurs et de chercheurs. Comme l\u2019expliquent les cr\u00e9ateurs dans l\u2019annonce, Falcon 180B est le\u00a0<\/span>\u00ab\u00a0plus grand mod\u00e8le de langage librement disponible\u00a0\u00bb<\/span><\/i>. Il embarque\u00a0<\/span>180 milliards de param\u00e8tres<\/b>.<\/span><\/p>\n C\u2019est 2,5 fois plus que\u00a0<\/span>Llama 2<\/span><\/a>, la derni\u00e8re version du mod\u00e8le de langage de Meta, qui \u00e9tait jusqu\u2019ici consid\u00e9r\u00e9 comme le plus grand mod\u00e8le d\u2019IA en acc\u00e8s libre avec 70 milliards de param\u00e8tres.\u00a0La nouvelle version de Falcon\u00a0<\/span>devance aussi GPT-3.5<\/b>, le mod\u00e8le propri\u00e9taire derri\u00e8re ChatGPT, qui plafonne \u00e0 175 milliards de param\u00e8tres.\u00a0Il est par contre moins imposant que certains mod\u00e8les priv\u00e9s comme\u00a0<\/span>PaLM 2 de Google<\/span><\/a>, qui caracole avec un total de 540 milliards de param\u00e8tres.\u00a0Pour m\u00e9moire, les param\u00e8tres d\u00e9terminent la capacit\u00e9 de traitement d\u2019un mod\u00e8le. Plus il y a de param\u00e8tres, plus un mod\u00e8le pourra fournir des r\u00e9ponses pr\u00e9cises.<\/span><\/p>\n Il tire aussi son \u00e9pingle du jeu gr\u00e2ce \u00e0 la\u00a0<\/span>\u00ab\u00a0plus longue p\u00e9riode pr\u00e9formation\u00a0\u00bb<\/span><\/i>\u00a0pour un mod\u00e8le ouvert. Pour entra\u00eener l\u2019IA, les chercheurs se sont en effet appuy\u00e9s sur un total de 3,5 milliards de tokens. Dans le cadre de la formation d\u2019un mod\u00e8le d\u2019une IA, un token, ou jeton en fran\u00e7ais, repr\u00e9sente un mot, une phrase, ou m\u00eame un caract\u00e8re. Ces \u00e9l\u00e9ments sont en effet d\u00e9compos\u00e9s en jetons en amont du processus d\u2019apprentissage.<\/span><\/p>\n Aussi performant que PaLM 2\u00a0?<\/b><\/p>\n Falcon 180B est capable de\u00a0<\/span>tenir la drag\u00e9e haute aux mod\u00e8les d\u2019IA propri\u00e9taires<\/b>, soulignent les d\u00e9veloppeurs \u00e0 l\u2019origine du projet. Le mod\u00e8le est plus performant que deux des versions de PaLM 2, et que la pr\u00e9c\u00e9dente it\u00e9ration de PaLM. Il talonne par contre la version grand format de PaLM 2, avec ses 540 milliards de param\u00e8tres. Pour les chercheurs, l\u2019IA est finalement \u00e0 \u00e9galit\u00e9 avec la solution Google.<\/span><\/p>\n Le mod\u00e8le open source se paie le luxe de distancer GPT-3.5. Par contre, il n\u2019est pas parvenu \u00e0 faire mieux que\u00a0<\/span>GPT-4<\/span><\/a>, la derni\u00e8re version de GPT. L\u2019annonce pr\u00e9cise que Falcon 180B est appel\u00e9 \u00e0 \u00e9voluer dans un avenir proche avec l\u2019aide de la communaut\u00e9 de d\u00e9veloppeurs.<\/span><\/p>\n