Duda en Google Webmaster Tools

Hola a todos, tengo una duda que me muestra Google Webmaster Tools, Mi portfolio esta hecho en Wordpress, para el SEO utilizo el plugin YOAST, pero para el Sitemap el plugin Google XML Sitemaps, teniendo desactivada la opcion de Sitemap en el Yoast.
Pero cuando cambie a Google XML Sitemap y desactive el de YOAST en mi Google Webmaster en la parte de Sitemaps, me indica que he enviado 12 URL pero solo 6 URL han sido indexadas, ¿a que puede ser debido?.

Aclaración !!!

Entro en mi sitemap.xml y me muestra todas las entradas de mi blog y paginas de Wordpress.

Eso no quiere decir que no estén indexadas. Lo mejor es mirarlo en Google con site:tuweb.com Las herramientas de Google no son nada fiables, saludos.

Eso es lo mas raro, que lo he hecho y alguna no estan indexadas y otras que ya borré si salen, y producen un error 404.
Estoy pensando en borrar todos los plugin de SEO en Wordpress y el sitemap y empezar de la indexación y demás, ¿seria una buena idea o me afectara negativamente?

Por quitar el sitemap no te va a perjudicar. Yo no utilizo sitemaps y me indexa las entradas y/o vídeos a los pocos minutos. Lo único que te diría es que si son pocas las url que devuelven error 404 las elimines desde las herramientas de Google.