Escalan el preentrenamiento para lenguajes índicos con un vasto conjunto de datos
La iniciativa integra 2.8 billones de tokens y una pipeline de generación de datos de código abierto.
La fase de preentrenamiento para modelos de inteligencia artificial orientados a lenguajes índicos ha experimentado una expansión notable. Este avance se caracteriza por el uso de un conjunto de datos que asciende a 2.8 billones de tokens, lo que indica un esfuerzo sustancial en la recopilación y procesamiento de información lingüística. Paralelamente, se ha establecido una pipeline de generación de datos de naturaleza abierta, un factor que puede facilitar la colaboración y la replicabilidad en la investigación. Esta iniciativa, destacada por Hugging Face Blog, subraya la dirección hacia una mayor robustez en los modelos de lenguaje adaptados a las particularidades de las lenguas de la región índica.
Fuente original: Hugging Face Blog
