Fublin, я как-то смотрел выступление одного менеджера гугла, так он рассказывал почему они не собираются учить робота полностью исключать дубликаты страниц. Там очень много факторов которые могут отрицательно повлиять на индекацию в целом и к тому же это будет отличный подарок черным оптимизаторам, которые сумеют вытеснить, например своими методами, оригинальный сайт с оригинальным контентом.