# Robots.txt para Tesoros del Caribe - Inmobiliaria VIP de Lujo
# Optimizado para buscadores internacionales y SEO de propiedades de lujo

User-agent: *
Allow: /
Allow: /propiedades
Allow: /propiedades/
Allow: /sobre-nosotros
Allow: /contacto

# Páginas restringidas
Disallow: /api/

# Parámetros de seguimiento no indexables
Disallow: /*?property_id=
Disallow: /*?utm_
Disallow: /*?fbclid=
Disallow: /*?gclid=
Disallow: /*?ref=
Disallow: /*?source=
Disallow: /*?campaign=

# Assets permitidos para SEO y rendimiento
Allow: /assets/images/
Allow: /assets/css/
Allow: /assets/js/
Allow: /assets/fonts/
Allow: /assets/videos/
Allow: /images/

# Configuración especial para Google
User-agent: Googlebot
Allow: /
Allow: /assets/images/
Allow: /assets/css/
Allow: /assets/fonts/
Allow: /assets/videos/
Crawl-delay: 0

# Configuración para Bing
User-agent: Bingbot
Allow: /
Allow: /assets/images/
Allow: /assets/videos/
Crawl-delay: 1

# Configuración para Yandex
User-agent: YandexBot
Allow: /
Allow: /assets/images/
Crawl-delay: 2

# Permitir crawlers de redes sociales
User-agent: facebookexternalhit
Allow: /
Allow: /assets/images/
Crawl-delay: 1

User-agent: Twitterbot
Allow: /
Allow: /assets/images/
Crawl-delay: 1

User-agent: LinkedInBot
Allow: /
Allow: /assets/images/
Crawl-delay: 1

User-agent: WhatsApp
Allow: /
Allow: /assets/images/
Crawl-delay: 1

# Bloquear bots agresivos y scrapers
User-agent: AhrefsBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MajesticSEO
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: DataForSeoBot
Disallow: /

User-agent: PetalBot
Disallow: /

# Crawl-delay predeterminado para otros crawlers
User-agent: *
Crawl-delay: 2

# Sitemaps
Sitemap: https://tesorosdelcaribe.com/sitemap.xml

# Información adicional
# Última actualización: 2025-08-05