Glosario
SEO
Crawl Budget
La cantidad de páginas que Google rastreará e indexará de tu sitio en un período determinado.
Crawl budget es el número de páginas que Googlebot visita en tu sitio durante un período de rastreo. Para sitios pequeños (< 10,000 páginas) no suele ser un problema, pero para ecommerce con miles de SKUs es crítico.
Para optimizar el crawl budget: bloquear en robots.txt las páginas sin valor SEO (filtros, resultados de búsqueda interna), usar canonical tags correctamente, eliminar páginas huérfanas, y mantener el sitemap actualizado.
En Shopify, los mayores consumidores de crawl budget son: páginas de tags/vendors, variantes con URLs propias, y resultados de búsqueda interna. Configurar robots.txt correctamente es esencial.