A Apple lançou um novo conjunto de modelos de linguagem de código aberto denominado OpenELM. Tais modelos prometem fornecer um alto nível de reprodutibilidade e transparência, bem como garantir a fiabilidade dos resultados e permitir investigações aprofundadas sobre o modelo.
De acordo com um estudo publicado pela Maçã para descrever e apresentar o OpenELM, ele “usa uma estratégia de escalonamento em camadas para alocar parâmetros de forma eficiente dentro de cada camada do modelo transformer, levando a uma maior precisão” em relação a modelos conhecidos atualmente.
Em comparação ao OLMo, por exemplo, o OpenELM apresenta uma melhoria de 2,36% em precisão quando testado com aproximadamente 1 bilhão de parâmetros. Esse resultado é atingido mesmo utilizando duas vezes menos tokens de pré-treinamento — o que evidencia a sua grande eficiência.
Os modelos foram treinados utilizando grandes conjuntos de dados públicos (como RedefineWeb, PILE, RedPajama e Dolma), os quais concentram informações textuais provenientes de vários tipos de fontes, como livros, artigos e sites da web — cujas quantidades de tokens utilizados estão detalhadas no artigo.
Por ser um conjunto de modelos de código aberto, a Apple fornece tanto o código quanto os dados usados para o pré-treinamento — o que permite que outros pesquisadores e desenvolvedores usem e contribuam (em certa escala) com o seu desenvolvimento de forma transparente.
Além disso, a Maçã também lançou a CoreNet, uma biblioteca de rede neural profunda utilizada para treinar o OpenELM, a qual foi disponibilizada no GitHub. Os arquivos e as instruções referentes ao OpenELM podem ser encontrados no Hugging Face, com direito aos modelos pré-treinados e os de instrução.
