Koenig, рут файл с массивом основных ссылок (первая вложенность)
дальше циклически файл 2 вложенность до второго уровня и т.д.)
собирается пробегом по линкам с первого файла
и т.д.
array_unique чистит массив перед записью.
если я правильно понял суть, конечно