En los últimos años, los modelos de lenguaje de aprendizaje profundo han demostrado su capacidad para generar texto coherente y de alta calidad en una amplia gama de aplicaciones. Sin embargo, uno de los desafíos aún inexplorado es utilizar estos modelos para generar partituras musicales, lo que permitiría a compositores y músicos explorar nuevas ideas y crear música original de manera más eficiente. Este trabajo se centra en el fine-tuning de modelos de lenguaje de aprendizaje profundo con el objetivo de generar partituras musicales en diferentes formatos pudiendo así emplearlas para otras tareas dentro del campo del Optical Music Recognition (OMR) o Automatic Music Transcription (AMT).