июля 26, 2009

Перенесли контент на Amazon S3

В свете грядущего переезда в новый датацентр, мы решили облегчить себе этот процесс путем выноса всех контентных картинок и прочих файлов на Amazon S3. Добра этого за год насобоиралось уже под 20Гб и бекапить такое количество информации на Amazon стало дороже, чем просто размещать там.

Плюсы такого решения:
- не нужно бекапить (данные сохраняются в несколько локейшинов самим сервисом)
- при переезде, контент не нужно копировать и синхронизировать (это сильно все усложняет)
- не нужно думать над тем как запаковать миллионы файлов в многоуровневые папочные структуры на диске (иначе будет безжалостно тормозить файловая система)
- быстрее доступ из России, Беларуси, Казахстана
- дешевле
- не нужно городить распределенную FS для доступа к файлам со всех физических серверов
- при жестком умирании сервера, более быстрое восстановлени (нужно поднять только систему и базу)
- надежность (S3 за последний год не сбоил ни разу)
- меньше нагрузка на веб сервера

Из минусов видится только один
- зарубежный трафик для пользователей из Украины

Мораль: если будете делать проект с кучей мелкого контента, будьте готовы к тому, что в один день вы поймете, что чем поддерживать это все легче и дешевле вынести его на Amazon S3.

9 комментариев:

  1. Меня на Амазоне смутила плата за POST и GET-запросы. Действительно дешевле, чем свой хостинг?

    ОтветитьУдалить
  2. Слегка походит на стрельбу по воробьям из пушки :)
    Не те объёмы, имхо, если конечно не планируется рост до сотен гигабайт.
    Как по мне, тут была бы кстати именно распределённая fs типа glusterfs, хотя s3 менее геморно, конечно.

    ОтветитьУдалить
  3. Дима, а почему не те объемы?
    Я не первый раз в Украине встречаю мнение, что s3 это что-то такое не реальное, предназначенное исключительно для интернет-монстров. Почему?
    Там удобная и прозрачная система, как по мне, вполне подходящая для разных сервисов, в том числе маленьких, а уарупром уже немного даже выросли:-)

    ОтветитьУдалить
  4. +1 S3 - штука дійсно дуже непогана. Я також переніс туди статику. Плата дійнсно не така вже й висока + якщо автоматизовувати це добро то для python є непогана бібліотечка + для перегляду різні плагіни для firefox.

    ОтветитьУдалить
  5. Артур, вовсе нет, это один из немногих _правильных_ способов организовать любое хранилище файлов для проекта любого размера. Но просто как и любой инструмент S3 лучше использовать для тех целей, где он лучше других.
    В данном случае, при наличии нескольких физических серверов и относительно мелких файлов-картинок(может тут не прав?) и необходимости вещать это добро на уанет, s3 не оптимальный выбор. Если же планируется сильный рост этих залежей файлов и администрировать это всё дело некому или лень, тогда да, лучше S3 не найти пожалуй. Разве что ещё Rackspace cloud files, там хоть и траф дороже исходящий, но на вход дешевле и доставка файлов по CDN "из коробки", а амазон за cloudfront дополнительных денег хочет.

    ОтветитьУдалить
  6. @dimadubina
    дешевле чем бекапить раз в неделю все на Амазон. Ты ведь не хочешь в один прекрасный день потерять все из-за того что придут маски-шоу или оба веника сгорят, или хакнут тебя, такое бывает.
    Нам это стоит сейчас 50-100$/месяц, на 200 000 хитов в день, недорого.

    ОтветитьУдалить
  7. @Dmitry Utkin
    у нас проект на 4 страны, а пинг из России в Украину идет больше чем из России в Ирландию, то же самое и с другим СНГ. Да и контент у нас растет быстро (х2 в 3-4 месяца), и бекапить его уже дороже чем хранить в нормальном хранилище, тем более что оно будет понадежнее чем любое самописное.

    ОтветитьУдалить
  8. Использование Amazon S3 хорошо подходит для относительно небольших проектов, которым внедрение и содержание своей инфраструктуры будет слишком дорого обходиться, но требования успели подрасти.

    А так, всяких удобных и быстрых систем для хранения и обработки больших объемов данных имеется немало. Тот же tokyocabinet, например.

    ОтветитьУдалить
  9. а можно там подключить свой поддомен?
    а то урл вида: http://d23aq1n9nyianb.cloudfront.net/bub2-bl.gif
    хуже чем st.site.ru/bub2-bl.gif

    ОтветитьУдалить