Generador de robots.txt

Cree archivos robots.txt para gestionar el acceso de rastreadores de motores de búsqueda. Soporta múltiples user agents, restricciones de rutas, retrasos de rastreo y configuración de sitemap.