На vbulletin 14k страниц, надо добавить все в sape
На форуме vbulletin немногим более 14.000 страниц, необходимо чтобы все эти страницы были проиндексированы в sape.ru.
На sape существует ограничение по индексированию внутренних ссылок: Для главной - 500, для 2-го уровня - 150 (http://www.sape.ru/faq.php?q_id=209). При переиндексации моего форума в базу sape добавляется в районе 4.000 страниц, задача стоит в том чтобы добавить остальные 12.000. Надо создать скрипт карты сайта, по которой робот sape обошёл бы и проиндексировал все 14.000 страниц форума. Т.е. с главной страницы проиндексировал - 500 ссылок, а с каждой страницы 2 уровня по 150 уникальных.
Надо чтобы скрипт был многоразовый - можно было самостоятельно запустить в любой момент (к примеру через месяц) и создать новую карту сайта, включая новые ссылки, для переиндексации в sape.
Примечание:
1. все страницы форума уже находятся в Яндексе
2. очень правильный сайтмэп генерируется каждый день и ссылка на него указана в robots.txt
Необходимо, чтобы скрипт был интегрирован в vbulletin, работал как дополнительный модуль к форуму, размещая ссылки в указанном месте на страничках, к примеру в темплейте footer. Прямо на главной (странице 1 уровня) должно быть 500 ссылок и в их числе должны быть:
- в первую очередь, ссылки на все разделы и подразделы форума
- оставшиеся ссылки должны вести на темы, причем желательно с наибольшим PR.
Со страниц 2 уровня должны быть сгенерировано по 150 уникальных ссылок на другие страницы (на страницы 3 уровня). При нехитром подсчете получается, что если на 500 страничек разместить по 150 уникальных ссылок, то можно охватить 500х150=75к ссылок, а нам надо всего 14к, поэтому всё реально осуществимо.
Такая задача под силу?