Este artículo presenta un instrumento para la evaluación de la calidad de los agregadores de noticias. Para su creación toma como herramientas de referencia el conjunto de los siete agregadores de noticias chinos con mayor número de usuarios activos. Estas plataformas han sido estudiadas aplicando técnicas de evaluación heurística y análisis experto. De esta forma, se han identificado las características que dotan de calidad a estas aplicaciones, que se han formalizado y operacionalizado mediante la creación de un nuevo instrumento de evaluación. Este instrumento se presenta como una lista de chequeo, caracterizada por el elevado número de factores de calidad que analiza. En total, la lista de chequeo está compuesta por 8 parámetros y 73 indicadores, todos ellos agrupados en torno a tres dimensiones de calidad: experiencia de usuario, contenido y modelo de negocio. Se concluye que la terna que conforman estas tres dimensiones de calidad es clave para identificar y comprender las características que, desde el punto de vista de la sostenibilidad periodística, hacen a estos agregadores exitosos.