
Este trabalho realiza uma análise quantitativa e qualitativa de modelos de linguagem de grande escala (LLM) para o ensino de computação, avaliando seu desempenho em diversos aspectos educacionais. Inicialmente, avaliamos o desempenho de quatro modelos (ChatGPT, Claude, Copilot e Gemini) para o desenvolvimento de interfaces gráficas em Python no ambiente Google Colab, explorando diversos formatos de requisições e definindo métricas para compará-los. As métricas de avaliação incluem erros de compilação, execução e funcionalidade, além do tamanho da requisição, do número de interações e do número de linhas de código geradas. A partir de mais de 350 ensaios, foram geradas mais de 250 ferramentas funcionais, alcançando uma taxa de sucesso de 84%. Posteriormente, avaliamos a capacidade de tradução de código de Python para JavaScript, explorando os recursos variados para interface gráfica em navegadores e o desempenho das LLMs para JavaScript, no qual incluímos os modelos Gemini-Pro e DeepSeek. Avaliamos também o desempenho em interfaces com recursos de edição para problemas de grafos e criação de linguagens de domínio específico para ensino de grafos e modelos de aprendizado de máquina. Elaboramos também exemplos de outros usos, como geração de questionários, avaliação de questionários e avaliação de código gerado. Os exemplos avaliados abrangem diversos domínios, todos documentados e disponibilizados como um conjunto de dados. Os resultados indicam uma aceleração significativa na criação de ferramentas educacionais interativas e atrativas, destacando direções promissoras para o uso de LLMs no desenvolvimento de recursos didáticos para computação.
| selected citations These citations are derived from selected sources. This is an alternative to the "Influence" indicator, which also reflects the overall/total impact of an article in the research community at large, based on the underlying citation network (diachronically). | 0 | |
| popularity This indicator reflects the "current" impact/attention (the "hype") of an article in the research community at large, based on the underlying citation network. | Average | |
| influence This indicator reflects the overall/total impact of an article in the research community at large, based on the underlying citation network (diachronically). | Average | |
| impulse This indicator reflects the initial momentum of an article directly after its publication, based on the underlying citation network. | Average |
