# ═══════════════════════════════════════════════
# robots.txt for otcmarketapi.com
# ═══════════════════════════════════════════════

# Allow all legitimate crawlers full access
User-agent: *
Allow: /

# ═══════════════════════════════════════════════
# Block admin and internal paths
# ═══════════════════════════════════════════════
Disallow: /admin/
Disallow: /api/internal/
Disallow: /private/
Disallow: /*?session=
Disallow: /*?token=
Disallow: /*?key=

# ═══════════════════════════════════════════════
# Explicit permission for major crawlers
# ═══════════════════════════════════════════════
User-agent: Googlebot
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: Bingbot
Allow: /

User-agent: Slurp
Allow: /

User-agent: DuckDuckBot
Allow: /

User-agent: Baiduspider
Allow: /

User-agent: YandexBot
Allow: /

User-agent: Applebot
Allow: /

User-agent: facebookexternalhit
Allow: /

User-agent: Twitterbot
Allow: /

User-agent: LinkedInBot
Allow: /

User-agent: WhatsApp
Allow: /

User-agent: TelegramBot
Allow: /

# ═══════════════════════════════════════════════
# Sitemap location
# ═══════════════════════════════════════════════
Sitemap: https://otcmarketapi.com/sitemap.xml

# ═══════════════════════════════════════════════
# Crawl-delay for polite bots (optional)
# ═══════════════════════════════════════════════
Crawl-delay: 1