Честно говоря я сомневаюсь в целесообразности задумки.
Если средний трафик относительно небольшой, то вполне возможно все хранить на одном сервере, а обрабатывать связкой Apache + Nginx.
Ну а для очень большого траффа, там уже нужен CDN, у них специальный софт и географически распределенные сервера, для каждого региона свой ближайший.
Иначе самому придется реализовывать что-то вроде CDN.
===
Хотя в оправдание идеи могу сказать следующее:
Есть довольно много хостингов, где за смешные деньги дают огромные (иногда даже неограниченные) пространства на диске и безлимитный трафик. Тогда по идее, можно все файлы сбросить туда, а ответственную часть (WWW сервер, база данных) держать где-то в надежном месте.
Но сам же и обосру хорошую идею
Дешевый и безлимитный сыр бывает только в мышеловках. Трафик действительно безлимитный, но он ограничен по скорости и ты просто не сможешь там прокачать какие-то запредельные объемы. Иначе получается, что за 12$ в год можно было бы создать какой-то мегасайт.
Да и хранение файлов там попадает под такие жосские правила. что ты просто не сможешь там держать сколько нибудь приличный объем лицензионного контента.
# ramzes (11.11.2016 / 12:22)
по скольку хранить на обычном сервере 100+гб статики сильно дорого
Глянь сюды:
https://www.kimsufi.com/en/servers.xml
Это подразделение OVH.
Это все реальные Dedicated серверы
2 терабайта вполне приличный объем.
Хотя, если у тебя гигантский объем, но нет нагрузки на проц, может будет выгоднее хоститься на облаке у Amazon, там просто надо по их калькулятору пересчитать месячный расход. Но мне кажется, что Kimsufi намного дешевле.
Когда должен выполняться перенос файла, сразу после получения или, скажем, в 3 часа ночи?
2. Через что будет передаваться файл, ftp, ssh или еще что то. Я бы предложил ssh, ибо не надо париться об авторизации и подобном
3. Кто будет качать файлы на донор? PHP, Python, Bash, C, etc. От выбора языка многое зависит. Думаю ты выберешь PHP, но тогда нужно позаботиться о времени выполнения скрипта или просто использовать PHP-CLI, он по умолчанию имеет неограниченные lifetime
____
сразу, либо отложенно, но не в фиксированное время, а по таймеру, в одно время слить 50 видеофайлов по 100+мб, нуегонафиг
передаваться будет по фтп.
качать будет (сейчас Сайт сам сливает на донор по фтп, т.к. я не хочу в скрипт вбивать фтп данные Сайта, только донора), но можно в принципе и изменить на отдачу команды донору, например файл списка задач, и кроном на Доноре таскать файлы из этого списка, возвращая на Сайт список оставшихся, что бы Сайт удалял со своего диска файлы вне списка, или как то так)
в бд ни каких изменений не требуется по факту передачи файла, т.к. основа адреса общая, хеш файла, скрипт без проблем найдет файл и на диске Сайта, и отправит запрос на Донор.
в данном случае добавится использование file_exists и все.
AlkatraZ, когда у тебя 20гб будут забиваться одним только тобой за две недели, а активных пользователей более тысячи, ты начнешь сомневаться в оплате рейд10 под файловое хранилище.
я на тестовом сайте на 20гб между делом насрал
# ramzes (11.11.2016 / 16:32)
AlkatraZ, когда у тебя 20гб будут забиваться одним только тобой за две недели, а активных пользователей более тысячи, ты начнешь сомневаться в оплате рейд10 под файловое хранилище.
я на тестовом сай
Тогда что-то не так с самой идеей проекта.
# AlkatraZ (11.11.2016 / 16:33)
Тогда что-то не так с самой идеей проекта.
все там так. мультимедиа. вагон аудио-видео файлов.
# Simba (11.11.2016 / 16:33)
Дёшево и с сетью хреново 
Убедились на джоне...
С сетью как раз таки у них нормально. Там на самом дешевом тарифе проц Атом.
Для нас он оказался недостаточен.
# ramzes (11.11.2016 / 16:34)
все там так. мультимедиа. вагон аудио-видео файлов.
С Youtube или Xvideos собираешься конкурировать?
# AlkatraZ (11.11.2016 / 16:34)
С сетью как раз таки у них нормально. Там на самом дешевом тарифе проц Атом.
Для нас он оказался недостаточен.
Угу) Пользователи файлы загружать не могут с мобильного интернета) Пол России на мобильном интернете, как бы не больше)
