El aprendizaje por refuerzo ya ha dominado la mayoría de los juegos arcade dando resultados incluso superiores a los de un jugador humano. Sin embargo, el cálculo de recompensas habitualmente hace uso de valores internos de la memoria RAM. En el caso del videojuego Tetris, podría tratarse del valor con la puntuación del jugador. Este método además de ser dependiente del juego en cuestión, no es comparable con la experiencia que tendría un jugador real. Además, existen situaciones en las que no es posible guiar el entrenamiento usando recompensas convencionales, como por ejemplo en los juegos de exploración. En su lugar, en este trabajo se propone hacer uso de las llamadas recompensas intrínsecas para entrenar un agente controlado por una red convolucional profunda usando únicamente la imagen. Las recompensas intrínsecas se suelen usar en conjunto con las clásicas, pero en esta ocasión se usarán de forma íntegra de forma que la implementación es independiente del juego en cuestión y más cercana a una experiencia humana. Los resultados muestran que la función de recompensa implementada da la suficiente información como para poder entrenar un agente que complete niveles de algunos videojuegos y que sea capaz de navegar los distintos escenarios.