Вебмастера, использующие движок DLE 8.2 зачастую не могут составить грамотный robots.txt
Вот код, правильный код:
User-Agent: *
Disallow: /out/
Disallow: /user/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /images/
Disallow: /forum/
Disallow: /backup/
Disallow: /files/
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
User-agent: *
Allow: /
Sitemap: http://твой сайт .ru/uploads/sitemap.xml
Host: Твой сайт .ru