В свете грядущего переезда в новый датацентр, мы решили облегчить себе этот процесс путем выноса всех контентных картинок и прочих файлов на Amazon S3. Добра этого за год насобоиралось уже под 20Гб и бекапить такое количество информации на Amazon стало дороже, чем просто размещать там.
Плюсы такого решения:
- не нужно бекапить (данные сохраняются в несколько локейшинов самим сервисом)
- при переезде, контент не нужно копировать и синхронизировать (это сильно все усложняет)
- не нужно думать над тем как запаковать миллионы файлов в многоуровневые папочные структуры на диске (иначе будет безжалостно тормозить файловая система)
- быстрее доступ из России, Беларуси, Казахстана
- дешевле
- не нужно городить распределенную FS для доступа к файлам со всех физических серверов
- при жестком умирании сервера, более быстрое восстановлени (нужно поднять только систему и базу)
- надежность (S3 за последний год не сбоил ни разу)
- меньше нагрузка на веб сервера
Из минусов видится только один
- зарубежный трафик для пользователей из Украины
Мораль: если будете делать проект с кучей мелкого контента, будьте готовы к тому, что в один день вы поймете, что чем поддерживать это все легче и дешевле вынести его на Amazon S3.
Меня на Амазоне смутила плата за POST и GET-запросы. Действительно дешевле, чем свой хостинг?
ОтветитьУдалитьСлегка походит на стрельбу по воробьям из пушки :)
ОтветитьУдалитьНе те объёмы, имхо, если конечно не планируется рост до сотен гигабайт.
Как по мне, тут была бы кстати именно распределённая fs типа glusterfs, хотя s3 менее геморно, конечно.
Дима, а почему не те объемы?
ОтветитьУдалитьЯ не первый раз в Украине встречаю мнение, что s3 это что-то такое не реальное, предназначенное исключительно для интернет-монстров. Почему?
Там удобная и прозрачная система, как по мне, вполне подходящая для разных сервисов, в том числе маленьких, а уарупром уже немного даже выросли:-)
+1 S3 - штука дійсно дуже непогана. Я також переніс туди статику. Плата дійнсно не така вже й висока + якщо автоматизовувати це добро то для python є непогана бібліотечка + для перегляду різні плагіни для firefox.
ОтветитьУдалитьАртур, вовсе нет, это один из немногих _правильных_ способов организовать любое хранилище файлов для проекта любого размера. Но просто как и любой инструмент S3 лучше использовать для тех целей, где он лучше других.
ОтветитьУдалитьВ данном случае, при наличии нескольких физических серверов и относительно мелких файлов-картинок(может тут не прав?) и необходимости вещать это добро на уанет, s3 не оптимальный выбор. Если же планируется сильный рост этих залежей файлов и администрировать это всё дело некому или лень, тогда да, лучше S3 не найти пожалуй. Разве что ещё Rackspace cloud files, там хоть и траф дороже исходящий, но на вход дешевле и доставка файлов по CDN "из коробки", а амазон за cloudfront дополнительных денег хочет.
@dimadubina
ОтветитьУдалитьдешевле чем бекапить раз в неделю все на Амазон. Ты ведь не хочешь в один прекрасный день потерять все из-за того что придут маски-шоу или оба веника сгорят, или хакнут тебя, такое бывает.
Нам это стоит сейчас 50-100$/месяц, на 200 000 хитов в день, недорого.
@Dmitry Utkin
ОтветитьУдалитьу нас проект на 4 страны, а пинг из России в Украину идет больше чем из России в Ирландию, то же самое и с другим СНГ. Да и контент у нас растет быстро (х2 в 3-4 месяца), и бекапить его уже дороже чем хранить в нормальном хранилище, тем более что оно будет понадежнее чем любое самописное.
Использование Amazon S3 хорошо подходит для относительно небольших проектов, которым внедрение и содержание своей инфраструктуры будет слишком дорого обходиться, но требования успели подрасти.
ОтветитьУдалитьА так, всяких удобных и быстрых систем для хранения и обработки больших объемов данных имеется немало. Тот же tokyocabinet, например.
а можно там подключить свой поддомен?
ОтветитьУдалитьа то урл вида: http://d23aq1n9nyianb.cloudfront.net/bub2-bl.gif
хуже чем st.site.ru/bub2-bl.gif