Robots.txt जनरेटर

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /private/
Disallow: /api/

Sitemap: https://example.com/sitemap.xml

अपनी वेबसाइट के रूट डायरेक्टरी में robots.txt के रूप में सेव करें