Вчера днем ruprom.net не был доступен из некоторых сетей РФ и Хорватии, в том числе и датацентра в котором хостился, nslookup неймсервера в котором, выдавал следующее:
nslookup ruprom.net NS51.DOMAINCONTROL.COM
;; connection timed out; no servers could be reached
Godaddy пока не ответил на поднятый тикет в чем же именно была проблема из-за которой оба неймсервера домена ruprom.net были недоступны из некоторых сетей, но теперь прийдется наверное арендовать еще бекапный неймсервер где-то в Украине/России для надежности.
Prom.ua — всеукраинский торговый центр в интернете, в котором представлен самый широкий в Украине ассортимент потребительских и промышленных товаров и услуг от более чем 200 тыс. компаний.
июля 15, 2009
июня 24, 2009
Разъяснения Яндекса по поводу ситуации с роботами + наши коментарии
Вчера Александр Садовский, руководитель отдела веб-поиска Яндекс ответил на наши пожелания своим разъяснением.
В целом нас порадовал тот факт, что столь крупная компания не уходит от ответа на вопросы, в принципе, рядовых пользователей, но точное мнение передает следующий мой коментарий к посту.
Я сомневаюсь что такого результата можно достигнуть через службу поддержки, (мы не раз и не десять пытались) все таки публичное обсуждение иногда более эффективно, возможно Яндекс выполнит в итоге пожелания и это обсужждение принесет еще большую пользу всем нам.
PS. Сайты потихоньку начинают индексироваться, и оба сайта БЕСПЛАТНО взяли в Яндекс.Каталог, за что отдельное спасибо, а ведь помните как было раньше?
В целом нас порадовал тот факт, что столь крупная компания не уходит от ответа на вопросы, в принципе, рядовых пользователей, но точное мнение передает следующий мой коментарий к посту.
Немного больше подумал над сутью данного разъяснения, мне кажется что мы уходим от сути проблемы, она совсем не в ненадежности нашего «не совсем хостинга».
1. Мы не хостинг в классическом понимании, мы скорее система создания сайтов, нечто подобное ucoz.ru или narod.ru но узко заточеное под сайты визитки компаний. Графа надежность хостинга (соглашусь с коментариями, что это странное оправдание, так как врядли бот парсил нашу таблицу) в uaprom.net/tour-4 означает только что у нах нормальное оборудование, хороший up-time и хорошая скорость отдачи (в случае обычных нагрузок). У нас и есть подобие IPS, но Яндекс бот был включен в список ботов которым наша IPS доверяет, поэтому он не был отсечен.
2. Для поддоменов вроде company.uaprom.net/robots.txt Crawl-delay Яндексу стоит в 5 сек, но даже это не поможет учитывая то, что их 15 000 (формально можно делать 3 000 запросов в секунду). Очевидно что тут нужно учитывать не субъективную надежность хостинга, а иметь обратную связь между скоростью индексации (на один IP) адреса и временем ответа, не смотря на Crawl-delay. Так как эти параметры объективно связаны, то это раз и навсегда избавит Яндекс от претензий вроде той что была предъявлена.
3. Нам очень хотелось чтобы также Яндекс позволил отдельно блокировать разные роботы, как это делают многие другие системы. Чтобы вполне логичное блокирование YandexSomething в случае некоректного его поведения не приводило к выпаданию сайта из индекса. Также хотелось бы услышать временную оценку того, когда наши сайты будут восстановлены в индексе из-за этой ошибки (до прежних значений количества страниц основных доменов).
4. Еще раз спасибо за публичный ответ, я думаю что несмотря на довольно негативный фон, из этой дискусии все стороны (и Яндекс и вебмастеры) могут извлечь выгоду если будут сделаны правильные выводы. Стоит отметить, что мы очень хорошо относимся к сервисам Яндекса и всячески интегрируемся с ними (Карты, Директ, РСЯ) так как они, по нашему мнению, действительно лучше аналогов.
Я сомневаюсь что такого результата можно достигнуть через службу поддержки, (мы не раз и не десять пытались) все таки публичное обсуждение иногда более эффективно, возможно Яндекс выполнит в итоге пожелания и это обсужждение принесет еще большую пользу всем нам.
PS. Сайты потихоньку начинают индексироваться, и оба сайта БЕСПЛАТНО взяли в Яндекс.Каталог, за что отдельное спасибо, а ведь помните как было раньше?
июня 22, 2009
Пожелания Яндексу
На выходных нормально так выпали из Яндекса, в связи с чем, я подготовил, на мой взгляд хороший, список куда включил все наболевшее в наших отношениях с лидером поиска рунета.
Список опубликован тут.
Дополняйте, раз уж Яндекс лидер, пусть он будет лучше :)
Теперь у нас появился review process для robots.txt так как здравый смысл иногда не работает, а ошибки очень больно бьют по проекту.
Список опубликован тут.
Дополняйте, раз уж Яндекс лидер, пусть он будет лучше :)
Теперь у нас появился review process для robots.txt так как здравый смысл иногда не работает, а ошибки очень больно бьют по проекту.
июня 19, 2009
Месть Яндекса
Как вы думаете что происходит когда вы добавляете в robots.txt
А происходит следующее, Яндекс перестает индексировать ваш сайт вообще!

И это не глюк интерфейса вебмастера, логи nginx-а говорят о том же.
Причину почему он тупит сейчас выясняем, но на будущее стоит осторожнее относиться к Яндексу, он очень обидчив и мстителен, надеюсь что по-неосторожности.
UPD спасибо @gray_ru обещали починить
User-agent: YandexSomething
Disallow: /
А происходит следующее, Яндекс перестает индексировать ваш сайт вообще!

И это не глюк интерфейса вебмастера, логи nginx-а говорят о том же.
Причину почему он тупит сейчас выясняем, но на будущее стоит осторожнее относиться к Яндексу, он очень обидчив и мстителен, надеюсь что по-неосторожности.
UPD спасибо @gray_ru обещали починить
июня 15, 2009
YandexSomething - гоу бийонд
Сегодня наш сервер переполнил количество соединений с СУБД из-за излишней прожорливости YandexSomething бота. Этот бот как я узнал в здесь - это робот, индексирующий новостные потоки партнеров Яндекс-Новостей.
Собственно вопрос к серверу 77.88.30.248 и разработчикам робота, что он делал в 20:00-21:00 часов 15 июня на серверах uaprom.net и ruprom.net и почему при этом было выкачано 19238 страниц, причем в 20:40 их было выкачано 717 то есть 12 страниц в секунду?
Пруфлог:
Пришлось сделать
Помогло, здоровье сервера дороже каких-то новостей.
UPD Не пытайтесь повторить это не прочитав этот пост
Собственно вопрос к серверу 77.88.30.248 и разработчикам робота, что он делал в 20:00-21:00 часов 15 июня на серверах uaprom.net и ruprom.net и почему при этом было выкачано 19238 страниц, причем в 20:40 их было выкачано 717 то есть 12 страниц в секунду?
Пруфлог:
sudo cat /var/log/nginx0.7/access.log| grep -v css|grep -v js| grep -v img | grep YandexSom | grep -c '15/Jun/2009:20'
19238
sudo cat /var/log/nginx0.7/access.log| grep -v css|grep -v js| grep -v img | grep YandexSom | grep -c '15/Jun/2009:20:40'
717
Пришлось сделать
User-agent: YandexSomething
Disallow: /
Помогло, здоровье сервера дороже каких-то новостей.
UPD Не пытайтесь повторить это не прочитав этот пост
мая 13, 2009
Мы получили стратегического инвестора
Не прошло и полтора года как мы начали свое собственное дело:)
Собственно пресс-релиз:

Созданные год назад в Украине B2B-сервисы UAProm.net и RUProm.net получили стратегического инвестора — 51% акций был выкуплен европейским медиа интернет-холдингом Allegro Group
13 мая 2009 г. Киев. Основатели интернет-сервисов http://Prom.ua и Tiu.ru сообщили о регистрации компании «УАПРОМ» совместно с Allegro Group, уже владеющей в Украине интернет-аукционом Aukro.ua. В обмен на инвестиции Allegro Group получила 51% долю в компании.
Стороны объявили, что все привлекаемые средства пойдут на развитие сервиса, а основатели взяли на себя обязательства в течение трех лет работать в компании над развитием проектов.
Ресурсы UAProm.net и RUProm.net ориентированы на представителей всех видов бизнеса и позволяют им существенно упростить выход на интернет-рынок, предоставляя инструменты для самостоятельного создания корпоративного сайта с размещением предлагаемых компанией товаров и услуг, проведения рекламных кампаний.
UAProm.net и RUProm.net были запущены весной 2008 года. На данный момент сервисами пользуются свыше 40 тысяч компаний из Украины, России и других стран. Платными услугами пользуются более 100 компаний, а суммарная посещаемость двух порталов превышает 20 тысяч человек в сутки.
Комментируя сделку, Николай Палиенко, генеральный директор и сооснователь «УАПРОМ», заявил: «За прошедший год нашими клиентами стали 40 тысяч компаний, многие из которых впоследствии воспользовались платными услугами. Нам удалось предложить им действительно уникальный и доступный набор инструментов, который оказался эффективным для бизнеса».
Более подробную информацию можно получить:
По телефонам : (044)369-51-13, (068)124-35 22
По электронной почте: info@uaprom.net
Прочитать на сайте: http://company.uaprom.net/n6811-evropejskij-internet-holdingallegro.html
Об Allegro Group: крупнейшая компания в области интернет-коммерции в Центральной и Восточной Европе. Allegro Group принадлежат более 15-ти интернет-сервисов, главные из которых — Allegro.pl в Польше (10 млн пользователей, 5,2 млрд PLN доход за 2008 год), Molotok.ru, интернет-аукционы Aukro в Чехии, Словакии, Украине, Румынии, Болгарии, Беларуси и Казахстане.
Подробнее: http://www.naspers.com/index.cfm?content=7107
О сервисах UAProm.net и RUProm.net: созданы группой специалистов, которые до этого работали в известном американском интернет-стартапе Sonopia. Являются одними из наиболее быстрорастущих B2B-площадок в украинском и российском интернете. Сервисы были открыты для доступа в апреле 2008 года, в июле 2008 года было объявлено об официальном запуске.
Подробнее: http://company.uaprom.net/n702-uapromnet-novyj-ukrainskij.html
Собственно пресс-релиз:
Европейский интернет-холдинг Allegro Group инвестирует в UAProm.net и RUProm.net

Созданные год назад в Украине B2B-сервисы UAProm.net и RUProm.net получили стратегического инвестора — 51% акций был выкуплен европейским медиа интернет-холдингом Allegro Group
13 мая 2009 г. Киев. Основатели интернет-сервисов http://Prom.ua и Tiu.ru сообщили о регистрации компании «УАПРОМ» совместно с Allegro Group, уже владеющей в Украине интернет-аукционом Aukro.ua. В обмен на инвестиции Allegro Group получила 51% долю в компании.
Стороны объявили, что все привлекаемые средства пойдут на развитие сервиса, а основатели взяли на себя обязательства в течение трех лет работать в компании над развитием проектов.
Ресурсы UAProm.net и RUProm.net ориентированы на представителей всех видов бизнеса и позволяют им существенно упростить выход на интернет-рынок, предоставляя инструменты для самостоятельного создания корпоративного сайта с размещением предлагаемых компанией товаров и услуг, проведения рекламных кампаний.
UAProm.net и RUProm.net были запущены весной 2008 года. На данный момент сервисами пользуются свыше 40 тысяч компаний из Украины, России и других стран. Платными услугами пользуются более 100 компаний, а суммарная посещаемость двух порталов превышает 20 тысяч человек в сутки.
Комментируя сделку, Николай Палиенко, генеральный директор и сооснователь «УАПРОМ», заявил: «За прошедший год нашими клиентами стали 40 тысяч компаний, многие из которых впоследствии воспользовались платными услугами. Нам удалось предложить им действительно уникальный и доступный набор инструментов, который оказался эффективным для бизнеса».
Более подробную информацию можно получить:
По телефонам : (044)369-51-13, (068)124-35 22
По электронной почте: info@uaprom.net
Прочитать на сайте: http://company.uaprom.net/n6811-evropejskij-internet-holdingallegro.html
Об Allegro Group: крупнейшая компания в области интернет-коммерции в Центральной и Восточной Европе. Allegro Group принадлежат более 15-ти интернет-сервисов, главные из которых — Allegro.pl в Польше (10 млн пользователей, 5,2 млрд PLN доход за 2008 год), Molotok.ru, интернет-аукционы Aukro в Чехии, Словакии, Украине, Румынии, Болгарии, Беларуси и Казахстане.
Подробнее: http://www.naspers.com/index.cfm?content=7107
О сервисах UAProm.net и RUProm.net: созданы группой специалистов, которые до этого работали в известном американском интернет-стартапе Sonopia. Являются одними из наиболее быстрорастущих B2B-площадок в украинском и российском интернете. Сервисы были открыты для доступа в апреле 2008 года, в июле 2008 года было объявлено об официальном запуске.
Подробнее: http://company.uaprom.net/n702-uapromnet-novyj-ukrainskij.html
марта 27, 2009
Подписаться на:
Сообщения (Atom)