Запустились в Молдове

На прошлой неделе открыли проект в пятом регионе - Молдове. В этой стране мы размещаемся в домене Prom.md. Все услуги как и в Казахстане и Беларуси пока бесплатны.

Молдавский интернет интересен несколькими особенностями, которые нам удалось почерпнуть при беглом осмотре:
- значительную часть молднета составляют проекты компании Simpals с очень качественным исполнением. Учитывая данную монополию, выглядит он качественнее уанета.
- в молднете есть (правда у тех же Simpals) замечательная сеть рекламы, которой так не хватает нашим сайтам, с блекджеком и шлюхами онлайн медиапланером и множеством форматов, в том числе и подобии наших товарных информеров.
- сайты-визитки компаний минимум трехязычные (русский, молдавский, румынский)
- говнообменные сети вроде маркетгида при осмотре были не найдены.
- Google поисковик №1.

Добавили новый способ монетизации

Реализовали новый способ монетизации - контекстный товарный информер, выглядит так:

Пока доступен только по CPM модели, для CPC надо писать серьезную антискликивалку.
Стоит недорого (10 грн за 1000 показов с налогами) и вроде даже понемногу продается.

Еще мы теперь размещаемся в сети Go2Net. Что хорошо в сетях, так это то, что небольшие продажи есть с самого начала, но CTR правда они считать не умеют :(.

Перенесли контент на Amazon S3

В свете грядущего переезда в новый датацентр, мы решили облегчить себе этот процесс путем выноса всех контентных картинок и прочих файлов на Amazon S3. Добра этого за год насобоиралось уже под 20Гб и бекапить такое количество информации на Amazon стало дороже, чем просто размещать там.

Плюсы такого решения:
- не нужно бекапить (данные сохраняются в несколько локейшинов самим сервисом)
- при переезде, контент не нужно копировать и синхронизировать (это сильно все усложняет)
- не нужно думать над тем как запаковать миллионы файлов в многоуровневые папочные структуры на диске (иначе будет безжалостно тормозить файловая система)
- быстрее доступ из России, Беларуси, Казахстана
- дешевле
- не нужно городить распределенную FS для доступа к файлам со всех физических серверов
- при жестком умирании сервера, более быстрое восстановлени (нужно поднять только систему и базу)
- надежность (S3 за последний год не сбоил ни разу)
- меньше нагрузка на веб сервера

Из минусов видится только один
- зарубежный трафик для пользователей из Украины

Мораль: если будете делать проект с кучей мелкого контента, будьте готовы к тому, что в один день вы поймете, что чем поддерживать это все легче и дешевле вынести его на Amazon S3.

Яндекс вернул нам трафик

Не прошло и 6 недель...

После вчерашнего АПа, наконец-то траффик из Яндекса вернулся к докризисным показателям. Единственная оставшаяся проблема, это сильный перекос в индексации на поддомены, но пытаемся побороть и это общаясь с службой качества поиска.

Странные проблемы с Godaddy в России

Вчера днем ruprom.net не был доступен из некоторых сетей РФ и Хорватии, в том числе и датацентра в котором хостился, nslookup неймсервера в котором, выдавал следующее:

nslookup ruprom.net NS51.DOMAINCONTROL.COM
;; connection timed out; no servers could be reached

Godaddy пока не ответил на поднятый тикет в чем же именно была проблема из-за которой оба неймсервера домена ruprom.net были недоступны из некоторых сетей, но теперь прийдется наверное арендовать еще бекапный неймсервер где-то в Украине/России для надежности.

Разъяснения Яндекса по поводу ситуации с роботами + наши коментарии

Вчера Александр Садовский, руководитель отдела веб-поиска Яндекс ответил на наши пожелания своим разъяснением.

В целом нас порадовал тот факт, что столь крупная компания не уходит от ответа на вопросы, в принципе, рядовых пользователей, но точное мнение передает следующий мой коментарий к посту.

Немного больше подумал над сутью данного разъяснения, мне кажется что мы уходим от сути проблемы, она совсем не в ненадежности нашего «не совсем хостинга».

1. Мы не хостинг в классическом понимании, мы скорее система создания сайтов, нечто подобное ucoz.ru или narod.ru но узко заточеное под сайты визитки компаний. Графа надежность хостинга (соглашусь с коментариями, что это странное оправдание, так как врядли бот парсил нашу таблицу) в uaprom.net/tour-4 означает только что у нах нормальное оборудование, хороший up-time и хорошая скорость отдачи (в случае обычных нагрузок). У нас и есть подобие IPS, но Яндекс бот был включен в список ботов которым наша IPS доверяет, поэтому он не был отсечен.

2. Для поддоменов вроде company.uaprom.net/robots.txt Crawl-delay Яндексу стоит в 5 сек, но даже это не поможет учитывая то, что их 15 000 (формально можно делать 3 000 запросов в секунду). Очевидно что тут нужно учитывать не субъективную надежность хостинга, а иметь обратную связь между скоростью индексации (на один IP) адреса и временем ответа, не смотря на Crawl-delay. Так как эти параметры объективно связаны, то это раз и навсегда избавит Яндекс от претензий вроде той что была предъявлена.

3. Нам очень хотелось чтобы также Яндекс позволил отдельно блокировать разные роботы, как это делают многие другие системы. Чтобы вполне логичное блокирование YandexSomething в случае некоректного его поведения не приводило к выпаданию сайта из индекса. Также хотелось бы услышать временную оценку того, когда наши сайты будут восстановлены в индексе из-за этой ошибки (до прежних значений количества страниц основных доменов).

4. Еще раз спасибо за публичный ответ, я думаю что несмотря на довольно негативный фон, из этой дискусии все стороны (и Яндекс и вебмастеры) могут извлечь выгоду если будут сделаны правильные выводы. Стоит отметить, что мы очень хорошо относимся к сервисам Яндекса и всячески интегрируемся с ними (Карты, Директ, РСЯ) так как они, по нашему мнению, действительно лучше аналогов.

Я сомневаюсь что такого результата можно достигнуть через службу поддержки, (мы не раз и не десять пытались) все таки публичное обсуждение иногда более эффективно, возможно Яндекс выполнит в итоге пожелания и это обсужждение принесет еще большую пользу всем нам.

PS. Сайты потихоньку начинают индексироваться, и оба сайта БЕСПЛАТНО взяли в Яндекс.Каталог, за что отдельное спасибо, а ведь помните как было раньше?

Пожелания Яндексу

На выходных нормально так выпали из Яндекса, в связи с чем, я подготовил, на мой взгляд хороший, список куда включил все наболевшее в наших отношениях с лидером поиска рунета.
Список опубликован тут.
Дополняйте, раз уж Яндекс лидер, пусть он будет лучше :)

Теперь у нас появился review process для robots.txt так как здравый смысл иногда не работает, а ошибки очень больно бьют по проекту.