Si es contenido duplicado ni lo dudes, borra.... lo digo porque dices que tienes contenido repetido...
Las entradas esas que dices que son malas y cortas, no se, analiza la url y la temática, quizás te interese reescribirlas, añadirle contendido de calidad....estos posts pueden servir para dar fuerza a posts superiores a través de enlazado interno (tendrás que planificar la estructura de enlazado para que no tenga patrones y sea natural). Analiza si merece la pena.
Como dicen los otros usuarios, si borras google desindexa con el tiempo. Aunque lo ideal es informar a Google de tal cosa a través de Search Console en Indice de Google-Eliminación de URL.
Preguntas como saber los errores 404, como desindexar, etc...todo esto se hace a través de Search Console (el antiguo herramientas de webmaster de Google). Es fundamental que tengas una cuenta de Google y acceder a esta herramienta para ver todas estas cosas, dar de alta tus webs, enviar sitemaps y mil cosas más como saber por que keywords posicionas y su posición, nada más y nada menos...y encima gratis. Im-pres-cin-di-ble.
Espero haberte ayudado, saludos.