LLaMA: Open and Efficient Foundation Language Models v3.10

LLaMA: Open and Efficient Foundation Language Models v3.10







Éditeur(s) : Meta
Système (OS) :
Compatibilité : Python
Version : v3.10

Langue(s) :
MULTi




Description originale :
We introduce LLaMA, a collection of foundation language models ranging from 7B
to 65B parameters. We train our models on trillions of tokens, and show that it
is possible to train state-of-the-art models using publicly available datasets
exclusively, without resorting to proprietary and inaccessible datasets. In
particular, LLaMA-13B outperforms GPT-3 (175B) on most benchmarks, and LLaMA-65B
is competitive with the best models, Chinchilla-70B and PaLM-540B. We release
all our models to the research community.

Description traduite :
Nous présentons LLaMA, une collection de fondations de modèles de langage allant
de 7Md à 65Md de paramètres. Nous entraînons nos modèles avec des trillions de
tokens, et montrons qu'il est possible d'entraîner des modèles derniers-cri en
utilisant exclusivement des datasets disponibles publiquement, sans avoir
recours à des datasets propriétaires et inaccessibles. En particulier, LLaMA-13B
surpasse GPT-3 (175B) sur la plupart des benchmarks, et LLaMA-65B est compétitif
avec les meilleurs modèles, Chinchilla-70B et PaLM-540B. Nous publions tous nos
modèles à la communauté des chercheurs.

Publication scientifique : https://arxiv.org/abs/2302.13971





Architecture : 64 bits (x64)
Processeur :
Carte graphique : 16 Go
Mémoire vive (RAM) : 32 Go
Espace disque : 219 Go

Installation :
Vous devez suivre ce tutoriel (en anglais) : https://rentry.org/llama-tard  Si vous avez déjà utilisé Python, c'est un plus. Utilisez les modèles sans GPU (CPU only) : https://github.com/markasoftware/llama-cpu Utilisez les modèles sur M1/Pro/Max et M2/Pro/Max (avec accélération matérielle) : https://github.com/remixer-dec/llama-mps





Nombre de fichier(s) : 26
Poids Total : 219 Go