Vamos por partes para que nos entendamos.
Básicamente hay dos tipos de penalizaciones:
Algoritmica: Ocurre cuando el algoritmo de google se actualiza y afecta los resultados de busqueda, provocando que un sitio caiga desde pocas posiciones hasta 60, todas de un solo golpe. Cientos de miles de sitios son afectados al mismo tiempo y google NUNCA te informa del porque.
Manual: Por algún motivo google, ha detectado que el sitio inclumple sus politicas y penaliza al sitio, en este caso solo el sitio en cuestion se ve afectado Y SIEMPRE llega un mensaje al web master tools, diciendo 3 lineas de la razón por la que pasa esto.
Panda: Afecta a los sitios que google considera que pueden ser de baja calidad, estos son los que tienen poco contenido, copiado etc.
Penguin: Afecta a los sitios de acuerdo a la calidad de enlaces entrantes que posee.
Aunque terminologicamente hablando, panda y penguin son actualizaciones de algoritmo, las razónes por las que google penaliza manualmente son las mismas por las que penaliza algoritimicamente.
En conclusión y sin animo de que se vuelva una discusión, puedes ser afectado manual o algoritmicamente ya sea por panda o penguin.
Como saberlo?, manual te llega correo, algoritmica no te llega correo.