Xenu "Out of memory"

Mensajes
218
Puntuación de reacción
0
Como reza el título, ese es el problema que tengo con Xenu. Casi cualquier web interesante que quiero scrapear me pasa eso. Lo mismo con Screaming Frog, que acaba petando (este no avisa nada). Tengo 4 GB de Ram.

Básicamente lo uso para ver qué enlaces salientes rotos hay.

¿A alguien se le ocurre alguna forma de solucionarlo?
 
Mensajes
360
Puntuación de reacción
0
claro siempre me pasa lo mismo, lo mejor es bajar los treds a 20 o 15, esto sera mas lento; pero te tardara mas en comenzar a fallar xenu. pero siempre pasara esto cuando pases las 1 millon de url. lo mejor es que te compres un vps con por lo menos 8GB de ram. saludos :mola:
 
Mensajes
218
Puntuación de reacción
0
claro siempre me pasa lo mismo, lo mejor es bajar los treds a 20 o 15, esto sera mas lento; pero te tardara mas en comenzar a fallar xenu. pero siempre pasara esto cuando pases las 1 millon de url. lo mejor es que te compres un vps con por lo menos 8GB de ram. saludos :mola:

Hombre, me sale más barato comprar 8gb de ram xD
 
Mensajes
5
Puntuación de reacción
0
Yo tengo 32GB de RAM y me peta igual, así que el problema es el programa. Porque siempre me empieza a petar a partir del millón de URL's.

No sé si alguien ha encontrado una solución, pero yo en principio lo único que se me ocurre es exportar y volver a comenzar de nuevo con las URLS restantes.
 
Mensajes
218
Puntuación de reacción
0
Yo tengo 32GB de RAM y me peta igual, así que el problema es el programa. Porque siempre me empieza a petar a partir del millón de URL's.

No sé si alguien ha encontrado una solución, pero yo en principio lo único que se me ocurre es exportar y volver a comenzar de nuevo con las URLS restantes.

Hay una versión de 64 bits beta que no peta por ese motivo... pero sí por otros xD (es una beta).

Pillate un server dedicado de 32 gb de RAM a 50€/mes Hetzner Online AG: Dedicated Root Server EX40

Parece que no es un problema de cuanta me moria tiene mi pc, peta antes de llegar a los 3gb
 

Rhazz

Platino
Usuario de Bronce
Mensajes
1,400
Puntuación de reacción
0
Estoy teniendo este problema desde que llegó al millón de URLs a revisar (revisó, creo, más de 800k ya) y me interesa revisar las faltantes y que siga.
Mi idea de hallar la forma de quitar los ya revisamos (exportarlos y almacenarlos en otro lugar, pero no en el proyecto porque Xenu no lo soporta).
Por cierto, dejo una cita del sitio oficial de Xenu:

9. What is the maximum number of URLs that can be checked?
There is no fixed number, but it seems to be above one million. The problem is that Windows XP applications have a size of 2GB max.
A 64 bit beta version is available which may or may not allow more URLs. Just unpack the ZIP file and move the XENU.EXE and ZLIBWAPI.DLL files at the place where have the XENU.EXE file currently (rename the old XENU.EXE file first to save it). The new one is based on Microsoft Visual Studio 2010. The 64 bit EXE file is about 10 times as big as the 32 bit version that is based on the good old Visual Studio 1998. Microsoft has confirmed the problem.
 
Arriba