Оптимизация индексации - этап создания и настройки специальных служебных файлов необходимых для правильной и оперативной индексации содержимого сайта поисковыми роботами.

Файл robots.txt содержит специальные инструкции для поисковых роботов разрешающие или запрещающие индексацию определенных страниц или каталогов, указывает на зеркала сайтов и т.п.

Файл sitemap.xml информирует поисковые системы о страницах веб сайта которые нужно проиндексировать. Этот файл, конечно, не гарантия того, что все страницы будут обязательно проиндексированы, но он предоставляет поисковику полную информацию о составе страниц сайта и этим способствует полной индексации страниц.