|
|
|
| Здравствуйте. Помогите пожалуйста понять ситуацию
Вот у меня есть сайт на каком то хостинге.
Есть измерительные системы, показывающие графики нагрузки, использования памяти и т.д.
А мне говорят на хостинге, что мой сайт грузит аптаймом.
Я спрашиваю, а как вы узнали, с потолка?
Мне ответили, что они компетентные специалисты, такие как я никто, пустое место и им видней.
То что они ведут не прилично - наверное из программистов много кто согласятся.
Но вот и вопрос
Как программисту замерить аптайм?
Аптайм, как я понимаю просто размер очереди или процент времени использования процессора.
Если у них нет системы замеров, то и нельзя утверждать ничего
Подскажите пожалуйста, кто что знает об этом | |
|
|
|
|
|
|
|
для: добряк
(11.03.2013 в 21:23)
| | Вообще-то, понятие Uptime больше свойственно для самого хостинга и характеризует непрерывность его работы. Некоторые хостинги гарантируют чуть ли не 99.9% времени доступности.
Если же Ваш сайт имеет скрипты, которые выполняются слишком долго или чрезмерно нагружают процессор, то другие сайты на это время становятся недоступны. Если такие события происходят слишком часто, то хостинг блокирует акаунт такого клиента или предлагает ему перейти на более дорогой тариф, на котором для сайта выделяется больше ресурсов.
По определению, хостер всегда прав, поскольку он видит виновника в панели управления. А в некоторых случаях непосредственно указывает на скрипт, вызывающий проблему.
Радикальным способом решения проблемы является переход на VDS/VPS. | |
|
|
|
|
|
|
|
для: Владимир55
(12.03.2013 в 12:10)
| | ВЫ можете посоветовать хостера?
Перешeл на nic.ru, все работает устойчиво, но 100 ответов 503 за сутки.
Ваш совет - будет советом, а то как я попаду, это мой случай и к вам никаких вопросов не будет.
Еще заметил - где клиентов много, там к ним как скоту.
Где клиентов мало - все условия.
Такое было на TIMEWEB.
Uptime мне кажется часто хостеры понимают, как $ загрузки CPU, но не все в частности TIMEWEB
Это согласуется теорией очередей.
Кто обслуживается - Uptime, вне обслуживания Downtime. Получается, если высокий Uptime, то долго обслуживается. Это мои аналогии, может и не правильные.
Но все таки как замерить и какого выбрать хостера? | |
|
|
|
|
|
|
|
для: добряк
(12.03.2013 в 12:29)
| | Но все таки как замерить
Насколько я понимаю, замерить можно только со стороны хостера. Но можно запросить у него подробные условия пользования, которые нормальные хостеры предоставляют в таком виде:
- нагрузка __ % допустима до 1 сек.;
- нагрузка __ % допустима до 5 сек.;
- нагрузка __ % допустима до 30 сек.;
- нагрузка по тарифному плану – постоянно.
Обычно хостеры предоставляют возможность увидеть на графике или в цифрах загрузку в данный конкретный момент, поэтому появляется возможность промоделировать загрузку, запуская на своем сайте отдельные скрипты.
Лично я в своих системах веду логи для всех сильно нагруженных скриптов, фиксируя для каждого их вызова пик памяти и время исполнения. | |
|
|
|
|
|
|
|
для: Владимир55
(12.03.2013 в 13:27)
| | http://www.php.net/manual/en/w32api.examples-uptime.php - к делу не относится, но!
Последнее ( ваша фраза) разумно.
Интересно а формат строки лога каков? | |
|
|
|
|
|
|
|
для: добряк
(12.03.2013 в 13:40)
| | Формат соответствует протоколируемым параметрам: инициатор вызова скрипта, время вызова скрипта, память, время исполнения и результат исполнения. Пишу в базу таким образом, чтобы видеть результаты десяти последних вызовов. | |
|
|
|
|
|
|
|
для: Владимир55
(12.03.2013 в 14:19)
| | А как то делаете анализ долгоработающей ?
Что означает в формате "память" и "результат исполнения" | |
|
|
|
|
|
|
|
для: добряк
(12.03.2013 в 14:24)
| | А как то делаете анализ долгоработающей ?
Да. Лично я придаю большое значение оптимизации и стараюсь построить систему так, чтобы время выполнения даже самого нагруженного скрипта не превышало 10 секунд. Общих рецептов оптимизации я не знаю, поэтому каждую задачу решаю самостоятельно на уровне алгоритма общей работы и оптимизации базы данных. Если таким образом сократить время до желаемых пределов не удается, то разбиваю процесс на части. Повторный запуск того же самого скрипта хостинг считает не продолжением, а новым процессом.
Что означает в формате "память" и "результат исполнения"
Типы полей базы данных в логах – в соответствии с записываемой информацией. Размер памяти – INT, результат исполнения – VARCHAR. В общем, как обычно. | |
|
|
|
|
|
|
|
для: Владимир55
(12.03.2013 в 16:05)
| | 10 сек!!!
Меня тут атаковали, bingbot msnbot. Точнее была серия атакчерез 2-3 недели.
В последней атаке хостер, кто то новенький там, полез в базу и попортил.
У меня на гугле массы ошибок, рейтинг упал.
Я перехал на nic, у них за сутки 84 случая 503 ответов сервера
Вместо 80000 посетителей теперь 300-400. Падаю дальше
http://www.softtime.ru/forum/read.php?id_forum=1&id_theme=89152&page=1
Прочитал статью.
Тема: Помогите атакует поисковый робот! bingbot (Прочитано 2761 раз)
http://joomlaforum.ru/index.php/topic,192646.0.html
Выставил просто таймаут на 2 сек и тыкаю защиты от кривых запросов.
Одно не могу придумать. Если боты каждую секунду 5-10 запросв делают, как быть?
всякие sleep только время наращивают
10сек!!!
у меня 420 000 страниц, я вчера говорил со спецом хостинга nic.com, так он сказал, что у меня все параметры отличные, но аптайм высокий.
На этом хостинге я думаю никогда мне выше 300 посещений не поднятся.
Мне кажется 10сек это много, правда если страничек мало, то может и пойдет | |
|
|
|
|
|
|
|
для: добряк
(12.03.2013 в 16:57)
| | Мне кажется 10сек это много
Это не те секунды.
Открытие страницы пользователем должно быть очень быстрым, а вот сервисы панели управления могут исполняться значительно медленнее. Например, закачка прайса или наценка/скидка в интернет-магазине могут занимать час и больше. Вот такие сервисы я имею в виду.
Большие сайты, в том числе миллионник, я сразу размещал на ВДС. Хотя он имел только статические страницы, но система сбора статистики тоже дает некоторую нагрузку, а потому, чтобы избежать лишней мороки, мне показалось лучше сразу решить проблему размещения на сервере.
Кстати, и производительность изначально выбранного ВДС пришлось увеличивать, когда посещаемость достигла двадцати тысяч в сутки, поскольку иногда одновременно присутствовало до 100-200 посетителей и сайт начинал заметно тормозить.
Почему бы Вам не переехать на ВДС? | |
|
|
|
|
|
|
|
для: Владимир55
(12.03.2013 в 17:44)
| | Я имел ввиду время работы, с точки зрения загрузки аптаймом хотинга, скрипт Php+ формирование HTML, без учета времени трассировки по инету
Что такое ВДС, подскажите пожалуйста | |
|
|
|
|
|
|
|
для: добряк
(12.03.2013 в 17:52)
| | С точки зрения загрузки хостинга 10 сек - это очень немного. Как правило, для такого времени хостинг выделяет довольно много ресурсов.
А про ВДС неплохо сказано здесь http://ru.wikipedia.org/wiki/VPSи здесь http://www.netangels.ru/support/overview/vds/ | |
|
|
|
|
|
|
|
для: Владимир55
(12.03.2013 в 17:57)
| | VPS/VDS - понятия я знаю. Я думал это (ВДС) имя фирмы хостинга.
Я бы переехал не NIC.RU но не найти подходящего.
Надо свой ставить или хостинг DNC | |
|
|
|
|
|
|
|
для: добряк
(12.03.2013 в 18:09)
| | Мне понравилось "Солнце" http://www.ihc.ru/vps.html. И параметры, и панель, и техподдержка.
Там только ОС надо тщательно выбирать. Не помню почему, но лично у меня Ubuntu не пошла, а CentOS в самый раз.
Впрочем, ОС можно самостоятельно сменить. | |
|
|
|
|
|
|
|
для: Владимир55
(12.03.2013 в 18:24)
| | Если бы раньше нашел, я бы там купил.
Я устал, с этими атаками, я кучу денег потерял, сам выматался, надо отдохнуть | |
|
|
|
|
|
|
|
для: Владимир55
(12.03.2013 в 18:24)
| | Сегодня вчитался в строки
http://ru.wikipedia.org/wiki/VPS
Существует заблуждение, что VPS предоставляет клиенту больше ресурсов. Однако это не совсем верно: в то время как сайту, размещённому на виртуальном хостинге, доступны все ресурсы физического сервера[уточнить] (но множеству сайтов приходится конкурировать за эти ресурсы), сайту на VPS доступны лишь ограниченные ресурсы самого VPS, однако они гарантированы и конкуренция отсутствует. В итоге сайт будет работать чуть медленнее, но стабильней.
Я настроен на VDS, но задумался.
так же тут прочитал
http://book.majordomo.ru/article/63/
Удивил Virtuozzo, что идентичен обычному виртуальному хостингу
Хочу резюме сказать. Сегодня этих систем плодятся и рахмножаются, как кошки.
Специалисты на хостинге все по разному объясняют, путаница растет как и хаос в этом мире
Но ваше предложение показалось самым оптимальным | |
|
|
|
|
|
|
|
для: добряк
(13.03.2013 в 14:31)
| | Существует заблуждение, что VPS предоставляет клиенту больше ресурсов
Это может быть и заблуждением, а может быть и правдой.
Дело в том, что ресурсов у обычного хостинга, как правило, намного больше, чем у любого VDS/VPS, но современные хостинги устроены таким образом, что этими ресурсами невозможно воспользоваться, даже если они не заняты, ибо установлено множество ограничений как на акаунт, так и на отдельный скрипт. Например, на физическом сервере, обслуживающем самый дешевый тариф хостинга beget, ОЗУ больше 100Гб, но в свое распоряжение пользователь больше 1 Гб не получит даже на короткое время.
Если Вы будете использовать VDS/VPS, то сами увидите, как причудливо система использует свои ресурсы.
Предположим, что Вы взяли тариф с ОЗУ 1 Гб. Посмотрев распределение памяти, Вы обнаружите, что свободной памяти почти нет – все занято.
Если этот же сайт перенесете на тариф с ОЗУ 8 Гб, то увидите, что свободной памяти по-прежнему нет!
То есть, система старается по полной использовать все физические возможности, оставляя в резерв совсем немного. Вот почему нет смысла сначала занимать дешевый тариф VDS и лишь потом переходить на более мощный – все настройки, подобранные экспериментальным путем, придется подбирать заново!
Я сам впервые использовал VDS лет пять назад. С ним тоже пришлось повозиться, чтобы сайт открывался быстро и в базе был минимум отказов. Но большим стимулом было то, что результат действий предсказуем, а ситуация управляема. В отличие от хостинга, где постоянно что-то меняется непонятным образом. | |
|
|
|
|
|
|
|
для: Владимир55
(13.03.2013 в 16:37)
| | ну правильно.
Если у меня одна страничка на просто сайте и там сто таких мы друг другу мешать особо не будем.
Если у меня 1 000 000 страниц, сто тысяч посетителей и еще там сто с визитками. То все поочереди будут вешаться и ругаться.
Онако если мы перейдем на VDS, мы будем работать в режиме( придумано при царе горохе) с разделяемыми ресурсами. Даже если один булет все время вешаться другие спокойно будут работать.
Общая идея стара, интепретаций много. В реальном мире так разбивают любую систему обслуживания на сектора( ремонт машин), со своей бухгалтерией и всем остальным. В результате никто ни кому не мешает. Однако стоит сделать для секторов общие ресурсы кассира, инструменты и остальное тут же начнется неразбериха и сбои | |
|
|
|
|
|
|
|
для: Владимир55
(13.03.2013 в 16:37)
| | После разговора с тех службой я стабильно поднимаюсь.
Был на 1100 месте, сейчас на 800 месте, вот так.
Только раньше я платил 35 рублей, а сейчас 300 рублей, а они похоже хотят взуть меня на 1000 рублей. А результат будет тотже что и за 35 рублей.
У меня отключился интернет и я вроде не написал следующее
Был я раньше на TIMEWEB. Они все время переносили на другие сервера и теряли файлы.
Ушел я с тарифа старт http://www.siteko.net/sharedhosting.php
Когда мой сайт стал громить мелкософт ботами, то они мне предложили VPS1
http://www.siteko.net/vpshosting.php
Но они влезали в файлы и ломали скрипт. Стоит мне исправить и через пять минут проверить, опять скрипт кривой. Из-за этого у меня в Гугле 730 ошибок DNS и 1300 ошибок 503, после чего он меня опустил. было это 1 марта, с повтором через несколько дней. Винили ботов и тариф.
Если бы не ломали, я бы не ушел
Поэтому я считаю, дешевле и проще поставить два ноутбука( второй дублирует) и проблем не будет.
Так сделали http://rutracker.org/http://vk.com/и другие умные люди.
!!! Лучше объединить в этом направлении и тогда каждому успех гарантирован | |
|
|
|
|
|
|
|
для: добряк
(13.03.2013 в 17:35)
| | Сайт на 80000 пользователей в день за 35 рублей в месяц - это уж что-то слишком дешево! Кстати, на таких дешевых хостингах обычно не размещают серьезные сайты, а используют их для доров, так что такое соседство Вашему сайту не в жилу...
Поэтому я считаю, дешевле и проще поставить два ноутбука( второй дублирует) и проблем не будет.
Вполне вероятно, что так будет лучше всего.
Я тоже думал об этом, но так и не решился, хотя у меня в квартире две выделенки на 30 и 40 Мбит/с (мне и супруге), плюс незадействованная на 60. Но почему-то мне кажется, что собственный комп не будет работать так же быстро, как профессионально настроенный сервер.
К тому же, постоянно включенный компьютер - мне это не нравится.
А сколько страниц Вашего сайта в Яндексе и в Гугле? | |
|
|
|
|
|
|
|
для: Владимир55
(13.03.2013 в 18:05)
| | Извините, опечатка. 8 000 посетителей в день конечно. Просто я думаю никто не даст сервер за 35 рублей на 80 000. Мне в начале говорили тех служба, что у меня не будет работать, что не выдержит и сразу все полетит. Я оптимизировал, свой движок, точнее нет движка есть некие придумки. С августа все работало, посещаемость росла, нагрузка нормальная. Но вот роботы налетели и я не доглядел дыр в которые перегружают сайт и он зависает.
Мне и тут, nic.ru, позавчера вроде сказали, что у меня параметры отличные, но высокий аптайм и вряд ли кто захочет со мной из хостеров работать. Взять возмут, ничего не скажут, но в случае чего меня во всем и обвинят
Я этого слова, аптайм, раньше не слышал, пришел сюда уточнять смысл.
Исходя из того, что они оценивают стоимость хостинга для сайта по количеству страниц и кол. посетителей, я считаю надо свой хостинг.
Поэтому я считаю, дешевле и проще поставить два ноутбука( второй дублирует) и проблем не будет.
Вполне вероятно, что так будет лучше всего.
Денвер же работает и там все будет работать так же.
Есть статьи как денвер вывести. Конечно будут атаковать, но надо шлюз сделать и зону регистрации и другие опасные вывести в инет. Или не шлюз, а ftp импорт экспорт
Я раньше только и занимался связыванием разных баз. Там способов и вариантов на придумано не мало.
Кратко. Массив всех страниц для чтения на домашнем, а странички регистрации, ввода комментария( там 5 страниц) в инете на любом хосте. Это я так пишу, так как плохо ОУ знаю.
У нас на работАХ, все делалось на разделяемых физически участках. Например, 50 магазинов, в офисе 280 компов, все важное сливалось, что-то локально обрабатывалось и отчет высылался.
А сколько страниц Вашего сайта в Яндексе и в Гугле?
В яндексе о, в гугле все наверное 423 000, было больше, но это так.
Как мне кажется я знаю методику безгранично наращивать число страниц, без потери скорости обработки. Типа как в http://www.avito.ru/. Но это не главное для меня.
Без своего , даже примитивного хостинга, всю догрогу разборки и неприятности - результат - еле-еле продвигаться.
Вы сами посмотрите в WHOIS или где то там, какие хостинги используют лидеры интернет.
У всех свои | |
|
|
|
|
|
|
|
для: Владимир55
(13.03.2013 в 18:05)
| | Очень важный вопрос - это http://www.softtime.ru/forum/read.php?id_forum=5&id_theme=89160&page=1. Без него продвигаться можно медленно по аналитике Гугла. Медленно и с ошибками в выводах, пока не решить как перехватывать ответ HTTP 503 сервера клиенту. Кстати без этого вы не увидете разрешений от атак( 400-403) | |
|
|
|
|
|
|
|
для: добряк
(13.03.2013 в 18:59)
| | В яндексе о
Вас это не смущает? | |
|
|
|
|
|
|
|
для: Владимир55
(13.03.2013 в 19:17)
| | Денвер же работает и там все будет работать так же
Я все время удивляюсь, насколько реальный сервер работает быстрее Денвера на моем компьютере. В десятки, а может и в сотни раз. | |
|
|
|
|
|
|
|
для: Владимир55
(13.03.2013 в 19:19)
| | У меня денвер быстрее.
Дело в том, что они используют зеркальные винчестера - это даёт удвоение скорости и надежность
Дальше у них нет всякой ерунды, как у нас на винде
Но что касается меня, я знаю способ бесконечного наращивания количества страниц без потери скорости.
В вашем случае один раз надо найти двух админов( с дублером), первому за консультацию платить второго задействовать для установки Линукса или ... и Апач или.... Схемы резервирования дублированием - везде применяются.
Вообще, я с 1996 года с 1 с работал, столько наслышался странных разговоров из субъективных чувств какая прога быстрее. На самом деле у одних винчестер быстрый, у других память огромная, у третьих процессор заточен под прогу.
Вообще сколько не ускоряй всегда остается узкое место, обычно винчестер и операции с ним.
Далее на мой взгляд, гугл смотрит на сколько быстрый сайт. Но гораздо важнее, что бы не было ошибок сервера HTTP и DNS.
Представьте вы зашли на гугл, дали поиск. Открыли первого - Ошибка 503, Открыли второго ошика 401, открыли третьего ошибка 500. Что вы скажите. Наверное, пошлете этот гугл.
На самом деле, сайты с ошибками HTTP и не стабильно работающие, с ошибками адресации и т.д всегда в самом конце. Но гораздо важнее что ошибка 503 - сайт временно недоступен, если их много в самый конец ставят
Собственно я вернусь к вашей мысли, которую у вас арендовал, отдаю с благодарностью
Надо следить за лидерами и делать как они, - это ваши слова в сентябре месяце.
А лидеры - это набираете слово в поисковике и .... | |
|
|
|
|
|
|
|
для: добряк
(13.03.2013 в 19:42)
| | Как мне кажется я знаю методику безгранично наращивать число страниц, без потери скорости обработки.
Но что касается меня, я знаю способ бесконечного наращивания количества страниц без потери скорости.
Если Вы умеете в современных условиях извлекать пользу из объема сайта, то этот способ будет Вам очень полезен.
Лично я закрыл более 30 своих сайтов, хотя некоторые из них имели 30-40 тысяч страниц, поскольку в новых условиях практически невозможно обеспечить их высокую эффективность. Если страниц много, но некоторые из них сделаны некачественно, то от их наличия общая посещаемость падает. Я бы считал оптимальным 100-150 хорошо сделанных страниц, и на такой сайт уйдет 4-5 месяцев.
Это если говорить о коммерческих сайтах в конкурентной тематике, получающих посетителей из поисковых машин. Ну, а социальные сети и доски объявлений, получающих посетителей из других источников – там все иначе. | |
|
|
|
|
|
|
|
для: Владимир55
(13.03.2013 в 23:03)
| | Сегодня нашел
http://www.softtime.ru/forum/read.php?id_forum=5&id_theme=30333
У меня похожее было, по нарастающей сгущались тучи.
Вот так проморгал и попал я
Сравнил файл access.log со своим - столько атак, страшно стало, я даже и не знал
А вот от Гугла запрос
2013.03.15 00:48:53 | 208.115.113.88 | Mozilla/5.0 (compatible; Ezooms/1.0; ezooms.bot@gmail.com) | | /мой сайт/?find=Военная | |
|
Если бы не воткнул защиту, сайт бы подвис и была ошибка в работе
Частота запросов в секунду
178.252.127.244 - - [14/Mar/2013:18:58:17 +0400] "GET /сайт/jquery/dlg.css HTTP/1.0" 200 1758 "http://сайт/сайт/?id=284701
178.252.127.244 - - [14/Mar/2013:18:58:18 +0400] "GET /сайт/jquery/js/jquery-1.4.2.min.js HTTP/1.0" 200 72174 "http://сайт/сайт/?id=284701
178.252.127.244 - - [14/Mar/2013:18:58:18 +0400] "GET /сайт/jquery/dlg.js HTTP/1.0" 200 11674 "http://сайт/сайт/?id=284701
178.252.127.244 - - [14/Mar/2013:18:58:18 +0400] "GET /сайт/jquery/js/jquery-ui-1.8.2.custom.min.js HTTP/1.0" 200 206991 "http://сайт/сайт/?id=284701
178.252.127.244 - - [14/Mar/2013:18:58:18 +0400] "GET /сайт/highslide/highslide.css HTTP/1.0" 200 20637 "http://сайт/сайт/?id=284701
178.252.127.244 - - [14/Mar/2013:18:58:18 +0400] "GET /сайт/highslide/highslide-with-html.js HTTP/1.0" 200 72040 "http://сайт/сайт/?id=284701
178.252.127.244 - - [14/Mar/2013:18:58:18 +0400] "GET /сайт/highslide/highslide-full-fix.js HTTP/1.0" 200 99911 "http://сайт/сайт/?id=284701.22 (KHTML, like Gecko)
178.252.127.244 - - [14/Mar/2013:18:58:18 +0400] "GET /сайт/templates/f246.gif HTTP/1.0" 200 9463 "http://сайт/сайт/?id=284701/25.0.1364.160 Safari/537.22"
178.252.127.244 - - [14/Mar/2013:18:58:18 +0400] "GET /сайт/templates/wallpapers_Luminox.jpg HTTP/1.0" 200 165487 "http://сайт/сайт/?id=284701
178.252.127.244 - - [14/Mar/2013:18:58:19 +0400] "GET /сайт/highslide/graphics/outlines/rounded-white.png HTTP/1.0" 200 2050 "http://сайт/сайт/?id=284701
178.252.127.244 - - [14/Mar/2013:18:58:19 +0400] "GET /сайт/templates/ax_loading2.gif HTTP/1.0" 200 19566 "http://сайт/сайт/?id=284701
178.252.127.244 - - [14/Mar/2013:18:58:19 +0400] "GET /сайт/highslide/graphics/loader.white.gif HTTP/1.0" 200 673 "http://сайт/сайт/?id=284701
178.252.127.244 - - [14/Mar/2013:18:58:19 +0400] "GET /сайт/highslide/graphics/zoomout.cur HTTP/1.0" 200 326 "http://сайт/сайт/?id=284701
178.252.127.244 - - [14/Mar/2013:18:58:19 +0400] "GET /сайт/ax_cat1.php?cat=Appetime HTTP/1.0" 200 33494 "http://сайт/сайт/?id=284701
178.252.127.244 - - [14/Mar/2013:18:58:20 +0400] "GET /сайт/base/img/Appetime/SVD540006.jpg HTTP/1.0" 200 21803 "http://сайт/сайт/?id=284701
178.252.127.244 - - [14/Mar/2013:18:58:20 +0400] "GET /сайт/templates/tn_asterisk.gif HTTP/1.0" 200 661 "http://сайт/сайт/?id=284701
178.252.127.244 - - [14/Mar/2013:18:58:20 +0400] "GET /сайт/base/img/Appetime/SVD780001.jpg HTTP/1.0" 200 20554 "http://сайт/сайт/?id=284701
178.252.127.244 - - [14/Mar/2013:18:58:20 +0400] "GET /сайт/base/img/Appetime/SVD780002.jpg HTTP/1.0" 200 22910 "http://сайт/сайт/?id=284701
178.252.127.244 - - [14/Mar/2013:18:58:20 +0400] "GET /сайт/base/img/Appetime/SVD780003.jpg HTTP/1.0" 200 24864 "http://сайт/сайт/?id=284701
178.252.127.244 - - [14/Mar/2013:18:58:20 +0400] "GET /сайт/base/img/Appetime/SVD780004.jpg HTTP/1.0" 200 26647 "http://сайт/сайт/?id=284701
178.252.127.244 - - [14/Mar/2013:18:58:20 +0400] "GET /сайт/base/img/Appetime/SVD780005.jpg HTTP/1.0" 200 24466 "http://сайт/сайт/?id=284701
178.252.127.244 - - [14/Mar/2013:18:58:20 +0400] "GET /сайт/base/img/Appetime/SVD780006.jpg HTTP/1.0" 200 18442 "http://сайт/сайт/?id=284701
178.252.127.244 - - [14/Mar/2013:18:58:20 +0400] "GET /сайт/base/img/Appetime/SVD780007.jpg HTTP/1.0" 200 22331 "http://сайт/сайт/?id=284701
178.252.127.244 - - [14/Mar/2013:18:58:20 +0400] "GET /сайт/base/img/Appetime/SVJ211103.jpg HTTP/1.0" 200 20872 "http://сайт/сайт/?id=284701
178.252.127.244 - - [14/Mar/2013:18:58:20 +0400] "GET /сайт/base/img/Appetime/SVJ211108.jpg HTTP/1.0" 200 19850 "http://сайт/сайт/?id=284701
178.252.127.244 - - [14/Mar/2013:18:58:20 +0400] "GET /сайт/base/img/Appetime/SVJ320037.jpg HTTP/1.0" 200 21376 "http://сайт/сайт/?id=284701
178.252.127.244 - - [14/Mar/2013:18:58:20 +0400] "GET /сайт/base/img/Appetime/SVJ320045.jpg HTTP/1.0" 200 18311 "http://сайт/сайт/?id=284701
178.252.127.244 - - [14/Mar/2013:18:58:20 +0400] "GET /сайт/base/img/Appetime/SVJ211114.jpg HTTP/1.0" 200 52263 "http://сайт/сайт/?id=284701
178.252.127.244 - - [14/Mar/2013:18:58:20 +0400] "GET /сайт/base/img/Appetime/SVJ211116.jpg HTTP/1.0" 200 53664 "http://сайт/сайт/?id=284701
178.252.127.244 - - [14/Mar/2013:18:58:20 +0400] "GET /сайт/base/img/Appetime/SVJ320051.jpg HTTP/1.0" 200 57165 "http://сайт/сайт/?id=284701
178.252.127.244 - - [14/Mar/2013:18:58:25 +0400] "GET /сайт/?id=284701&name=anatomiya-lyubvi-ili-zhenschiny-glazami-cheloveka HTTP/1.0" 500 40625 "-" "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.22 (KHTML, like Gecko) Chrome/25.0.1364.160 Safari/537.22"
|
Поиск в яндекс
1Click details | Федоров Евгений Алексеевич - Депутат Государственной...
178.252.127.244. User Agent. Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; GTB6.6; .NET
Боже что творится | |
|
|
|
|
|
|
|
для: добряк
(15.03.2013 в 00:47)
| | Воткните nginx перед apache, чтобы за статикой запросы к нему не шли. | |
|
|
|
|
|
|
|
для: cheops
(15.03.2013 в 07:17)
| | Спасибо, но не очень понятно | |
|
|
|
|
|
|
|
для: добряк
(15.03.2013 в 00:47)
| | У меня была практически такая же ситуация: система сканирования сети для подбора доноров съела все ресурсы. Ну, я их заблокировал, да и все на этом. | |
|
|
|
|
|
|
|
для: Владимир55
(15.03.2013 в 10:47)
| | Еще вспомнил - на больших сайтах я ставлю защиту от скачивания: пользователь может посмотреть 10-15 (в зависимости от содержания сайта) любых страниц, после чего ему доступ к сайту запрещен.
Для основных поисковых роботов исключение. | |
|
|
|
|
4.2 Мб |
|
|
для: Владимир55
(15.03.2013 в 10:47)
| | Извиняюсь, что не написал, чем сбил вас с толку наверне
Это файл Apache access.log - типовой, как у всех
Блин. Допустил ошибку с таймоутом - выход, с сообщеним плохой запрос, при превышении времени исполнения запроса. Скрипт стал исполнятся вместо максимум 0,2 сек - 8 сек.
В результате опять скатился в рейтинге
На файле, статистике сканирования, видно что если он раньше за день обходил 20 000-50 000 страниц, то теперь совсем каплю. Я думаю что это означает, что принимать решение робот об изменении ранга или рейтинга будет после полного обхода, а при медленном сайте это месяц
А вы делаете защиту от перегрузки сайта временем исполнения. | |
|
|
|
|
|
|
|
для: добряк
(15.03.2013 в 12:07)
| | А вы делаете защиту от перегрузки сайта временем исполнения.
Нет, только ограничиваю количество просмотров с одного адреса.
Как можно предположить, в данном случае Ваш сайт скачивается с адреса 178.252.127.244 (вероятнее всего, Вашим конкурентом, вознамерившимся украсть контент для дублирования Вашей услуги). Обычно для такой операции используются качалки и в этом нет ничего противоправного, но сервер сильно нагружается (да и конкурентов плодить не хочется).
Когда у меня произошел подобный случай, я сделал ограничение на скачивание с одного IP адреса. Посмотрел свою статистику и обнаружил, что больше 10 страниц просматривает совсем небольшое количество посетителей и ими вполне можно пожертвовать в интересах большинства.
С Вашего сайта, как я понимаю, сами книги не скачиваются, а только находится их перечень, так что врядли кому-то из пользователей нужно просматривать десятки и сотни страниц. А если так, то защита, подобная моей, вполне может решить эту проблему раз и навсегда.
И еще.
Нужно ли Вам переиндексировать 50 000 страниц в день? Сейчас я вижу в Гугле 680 тысяч страниц и вряд ли они обновляются каждый день. А если так, то можно:
- отдавать роботу предполагаемую дату обновления каждой страницы, чтобы он приходит реже;
- установить интервал индексирования.
Это существенно разгрузит сервер. | |
|
|
|
|
|
|
|
для: Владимир55
(15.03.2013 в 14:00)
| |
access.log
37.122.26.120 - - [15/Mar/2013:14:38:54 +0400]
37.122.26.120 - - [15/Mar/2013:14:38:54 +0400]
37.122.26.120 - - [15/Mar/2013:14:38:54 +0400]
37.122.26.120 - - [15/Mar/2013:14:38:54 +0400]
37.122.26.120 - - [15/Mar/2013:14:38:54 +0400]
37.122.26.120 - - [15/Mar/2013:14:38:54 +0400]
37.122.26.120 - - [15/Mar/2013:14:38:54 +0400]
37.122.26.120 - - [15/Mar/2013:14:38:54 +0400]
37.122.26.120 - - [15/Mar/2013:14:38:54 +0400]
37.122.26.120 - - [15/Mar/2013:14:38:54 +0400]
37.122.26.120 - - [15/Mar/2013:14:38:54 +0400]
37.122.26.120 - - [15/Mar/2013:14:38:54 +0400]
37.122.26.120 - - [15/Mar/2013:14:38:54 +0400]
37.122.26.120 - - [15/Mar/2013:14:38:54 +0400]
37.122.26.120 - - [15/Mar/2013:14:38:54 +0400]
37.122.26.120 - - [15/Mar/2013:14:38:54 +0400]
|
Через каждые 3-4 секунды новый появляется. ! ! ! Но хостер не пропускает основную массу.
А как ваш сайт чувсвтвует себя когда в запросе параметры типа =кпукпкеруепиLkjh; j; j;j;j;hioiswqstewtyzstycvskne;vk'rtghitpgujv947r89346r348rt2323pdjwe pjkc[edcjhlsdkldf;gvndf;vb;dfvbgn;dfvb;erlgweidfuwfdwytdrtasqtsqwkmweerfmk erfmvfrfgbmgfb
Или в поисковом запросе сыплют одну грязь | |
|
|
|
|
|
|
|
для: добряк
(15.03.2013 в 14:54)
| | 37.122.26.120 - - [15/Mar/2013:14:38:54 +0400]
Через каждые 3-4 секунды новый появляется
В профессиональном скрипте-качалке задается список прокси, которые при скачивании выбираются случайным образом. Может быть, временно сайт отключить? Задать отклик 403.
А как ваш сайт чувсвтвует себя когда в запросе параметры типа =кпукпкеруепиLkjh; j...
Или в поисковом запросе сыплют одну грязь
Если это поисковая фраза, по которой найдена страница, то следовало бы разобраться, почему сайт на нее откликается. Запустить в поиск и посмотреть, какая страница Вашего сайта появится в выдаче и что в ней есть. | |
|
|
|
|
|
|
|
для: Владимир55
(15.03.2013 в 15:51)
| | Вчера XENU запустил.( я давно о нем знаю, но чего то не запускал)
40% якобы битые, кривые и без таймаута виснут.
Вывод. Если Гугле понимает русский и правильно потом ползает, то XENU и наверное другие неправильно дают запросы если у меня выдирают ссылки.
Поясню, вот GET строка алфавитного указателя, воткнутая роботом или XENU:
?a=Р В Р’ВВﲘ%12핆F
Вот на них и виснет
Получается : 1 каталогизация, 2 поиск, 3, алфавитный указатель, 4 карта сайта HTML - для XENU и ему подобным ботам непонятны и они вызывают сбойную работу сайта, а без таймаута вообще зависания. А гугл обходит ссылки нормально, почти
Русские слова они берут из меню и вставляют GET строку.
Оттуда она выползает типа рђрірёр°с†рёсџ - что означает авиация.
Без исправления обход по всей базе и максимальное время работы с нулевым результатом, что не соответствует действительности
Исправил следующим образом
<?
if (@iconv('utf-8', 'cp1251', $sw1 ) ) {
$sw = iconv('utf-8' , 'cp1251' , $sw1 );
}else {
$sw = $sw1;
}
$sw = preg_replace("/[^\w\x7F-\xFF\s]/", " ", $sw);
>
// sw поисковое слово или фраза
// Иначе говоря, я пытаюсь определить расские буквы(кодировка) или нет. Если не русские, то конвертирую
|
( кстати, вы обратили внмание, как на форуме работает поиск , если появляются не буквы и не цифры)
Сразу результат положительный появился. Меняю остальное.
P.S.
Получается, что мелкими недоработками и разными сервисными удобствами и украшениями типа highslide - я только проблемы себе создал. | |
|
|
|
|
|
|
|
для: Владимир55
(15.03.2013 в 15:51)
| | Вот незнакомая ошибка XENU( козда максимальное число процесслв и потоков включаю)
error code: 12002 (timeout)
|
Не знаю, это внутренне обохначение у XENU или нормированнна в документации.
Может вы занете?
Извиняюсь нашел,
http://support.microsoft.com/kb/193625
Сведения: коды ошибок WinInet (с 12001 по 12156)
12002 ERROR_INTERNET_TIMEOUT
Запрос просрочен.
Наверное на максимальной скорости не успевает | |
|
|
|
|
|
|
|
для: Владимир55
(15.03.2013 в 15:51)
| | Я вообще дикую глупость сделал, что стал использовать в GET строке русские слова.
Вот зять
http://rutracker.org/forum/viewforum.php?f=86 - везде числовые индексы и английские названия
Или
vk.com - только сейчас они вводят словесные индексы на английском я зыке.
Похоже если я даже исправлю, то все равно боты будут шарить по старым ссылкам.
Надо думать проект отстрелялся 10 месяцев и пора хоронить или бросить и наблюдать.
Хотя я и исправил, но появится новый бот и новые проблемы будут.
Вот что значит в самом начале проблем не было, я и оставил эту глупость.
Как то задал вопрос на форуме, как лучше GET ссылки делать.
Первый и единственный раз мне ответил Кузнецов, что ответ на ваш вопрос стоит денег.
Я не стал платить. Заплатил огромной потерей времени.
Это моя дурная привычка из 1с, там людям можно внушение сделать и они будут делать по инструкции. Тут же - все возможно
Кстати, я тут один похоже имя русскими буквами прописал
Ну таких придурков как я - мало.
Вопрос: Подскажите пожалуйста, как Гугль рекомендует делать правильно GET ссылки.
Я конечно порою, но там у него неудобно искать и времени много потерял | |
|
|
|
|
|
|
|
для: добряк
(16.03.2013 в 11:31)
| | Я не пробовал XENU, поскольку в мой сайт изначально встроен собственный скрипт с этими же функциями.
Для кодирования УРЛа использую rawurlencode - полагаю, что Гугл это устраивает. Число переменных менее шести.
Гугл ценит Modified-Since.
Ради любопытства прокликал 20 страниц Вашего сайта из списка проиндексированных гуглом. На всех отклик 404. Вот это нехорошо!
Кстати, Вы можете еще больше разгрузить сервер, забанив Яндекс. Не запретить к индексации, а именно забанить, поскольку при запрете индексации роботы продолжают просматривать страницы. | |
|
|
|
|
|
|
|
для: Владимир55
(16.03.2013 в 12:15)
| | Для кодирования УРЛа использую rawurlencode - полагаю,
У меня другая ситуация: Русккие буквы в ссылках и в УРЛ
Гугл ценит Modified-Since.
Это что такое?
Ради любопытства прокликал 20 страниц Вашего сайта из списка проиндексированных гуглом. На всех отклик 404. Вот это нехорошо!
Вы уверены, что это мой сайт и именно из моих тот о который обсуждаем?
Как вы прокликали, где и какие?
Гугл пишет что Ошибка 404 - 5 ошибок.
Вы подскажите пожалуйста какие страницы, для меня это очень важно
P.S. Я писал что повреждений много. Как выясняется из-за моей оплошности и привычки делать как в 1с.
Но выясняется, с ваших слов, что ошибок еще больше.
Подскажите адреса пожалуйста, XENU не нашел и на гугле те, которые исправлены | |
|
|
|
|
|
|
|
для: добряк
(16.03.2013 в 12:25)
| | Да они идут все подряд... Такое впечатление, что сайт вообще удален.
http://download-books.ru/users/lati
http://download-books.ru/stati
http://download-books.ru/clubs
http://download-books.ru/users
http://download-books.ru/forum
http://download-books.ru/comments
http://download-books.ru/actions
http://download-books.ru/catalog
http://download-books.ru/login
http://download-books.ru/chat
http://download-books.ru/users/admin
http://download-books.ru/users/Mehribon
http://download-books.ru/users/vesi
http://download-books.ru/users/artemrybalkin
http://download-books.ru/users/viktorvlasenko
http://download-books.ru/users/alekseisychkov
http://download-books.ru/users/igorvexler
http://download-books.ru/users/model | |
|
|
|
|
|
|
|
для: Владимир55
(16.03.2013 в 12:39)
| | Где вы взяли ссылки, интересно ка узнали название сайта, где я прокол сделал?
Они закрыты по правилам Гугле, он это любит
Я сегодня хотел залить, но не успеваю
Ну завтра залью, это уже мне погоды не делает.
Нашел, где вы увидели | |
|
|
|
|
|
|
|
для: Владимир55
(16.03.2013 в 12:39)
| | Для меня радость сегодня, ч о Гугл увеличел скорость обхода.
А то 1раз в 3- 5 минут, сейчас
2013.03.15 23:55:06 | 66.249.75.180 | Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) |
2013.03.15 23:55:13 | 66.249.75.180 | Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) |
2013.03.15 23:55:33 | 66.249.75.180 | Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) |
2013.03.15 23:56:49 | 66.249.75.180 | Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) |
2013.03.15 23:57:02 | 66.249.75.180 | Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) |
2013.03.15 23:57:07 | 66.249.75.180 | Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) |
2013.03.15 23:57:20 | 66.249.75.180 | Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) |
2013.03.15 23:57:41 | 66.249.75.180 | Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) |
2013.03.15 23:57:46 | 66.249.75.180 | Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) |
2013.03.15 23:57:50 | 66.249.75.180 | Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) |
2013.03.15 23:59:22 | 66.249.75.180 | Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) |
2013.03.15 23:59:32 | 66.249.75.180 | Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) |
2013.03.15 23:59:40 | 66.249.75.180
Надо ждать приятных новостей
Вот вопрос: "Без тез форумов, клубов, юзеров, блогов, каталогов.... Гугл вернет рейтинг или фиг тайм? | |
|
|
|
|
|
|
|
для: добряк
(16.03.2013 в 13:09)
| | Если страница удалена навсегда, то следует выдавать отклик 301.
Либо выдавать 404, но показывать страницу обработки. | |
|
|
|
|
|
|
|
для: Владимир55
(16.03.2013 в 13:20)
| | Если страница удалена навсегда, то следует выдавать отклик 301.
Либо выдавать 404, но показывать страницу обработки.
Кто такая траница обработки и ЧЕГО она должна обрабатывать?
Я писал, сегодня завтра вылью эты форумы и чаты с юзерами.
Но мне интересно, без них вернется ли рейтинг.
Все это я взял у Гугла, его скрипт на этот случай
Я не рассуждаю и не измышляю
Программные ошибки 404
https://support.google.com/webmasters/bin/answer.py?hl=ru&answer=2409443
Создание полезных страниц 404
https://support.google.com/webmasters/bin/answer.py?hl=ru&answer=93641
виджет оптимизации страницы 404 Настройка вашей страницы 404
https://support.google.com/webmasters/bin/answer.py?hl=ru&answer=136085
Я мог допустить неточность в спешке. Но я все делал по указаниям.
Если вы конкретное полезное замечание сделаете, то буду благодарен.
Сегодня - Завтра я вылью, мне надо было с главным закончить, хотя может главнее было вылить весь сайт
Но сейчас все параметры пошли в рост, скорость обхода роботом 5 дней падала из-за моей ошибки в таймауте.
Мне интересно узнать, а нужны мне все эти форумы, клубы, чаты?
От них только морока
Когда то в 1с работал, много связей имею, теперь от них рекламу размещаю. | |
|
|
|
|
|
|
|
для: добряк
(16.03.2013 в 13:38)
| | Кто такая траница обработки и ЧЕГО она должна обрабатывать?
Можете посмотреть вот здесь: "Ошибка 404. Корректная обработка 404 ошибки" http://orionxl.ru/obrabotka-404-oshibki.html
Кроме того, можете на каком-либо солидном сайте набрать адрес заведомо несуществующей страницы и посмотреть, как это делается на практике.
Мне интересно узнать, а нужны мне все эти форумы, клубы, чаты. От них только морока
добряк, откуда же мне знать, нужны они Вам или не нужны? Согласитесь, что сам вопрос звучит странно. | |
|
|
|
|
|
|
|
для: Владимир55
(16.03.2013 в 13:56)
| | Можете посмотреть вот здесь: "Ошибка 404. Корректная обработка 404 ошибки" http://orionxl.ru/obrabotka-404-oshibki.html
Спасибо, но я интуитивно больше Гуглу верю. Он меня сканирует, он мне делает замечания, я исправляю в соответствии с его советами.
Гугл в конце концов меня рекламирует, он для меня главнее, но если хуже не будет, зачем от добра отказываться.
Как говорил Марк Твен:"Не отказывайтесь от добра, если оно вам не принесет зла". Видать разное добро бывает
А за статейку спасибо. Скоропалительного досужего мнения не выношу, на досуге почитаю.
Вам благодарен за участие, критику, советы.
Мне интересно узнать, а нужны мне все эти форумы, клубы, чаты. От них только морока
>добряк, откуда же мне знать, нужны они Вам или не нужны? Согласитесь, что сам вопрос звучит странно.
Я не спрашиваю Вас как-бы, я поясняю что наблюдаю, будет ли рейтинг расти без этой мороки.
Ведь за юзарами надо следить, иначе грязь будет и еще хуже может быть.
С другой стороны не обновляемый сайт имеет ниже ранг.
Но, я просто рассуждаю в слух, у меня вот есть гипотеза и я её проверяю.
Сейчас я открою еще 4 сайта и мне не хочется их администрировать.
Но время и эксперимент решатели.
А у вас я просто спросил ваше мнение. Но у вас его нет. Ну и жаль
Бывает и такое | |
|
|
|
|
|
|
|
для: Владимир55
(16.03.2013 в 13:56)
| | Исправил вроде http://www.softtime.ru/forum/pstadd.php?id_forum=2&id_theme=89151&id_post=531741
но не совсем, роботы гуляют очень активно
В самом начале
Проведи конструктивную критику. | |
|
|
|
|
|
|
|
для: Владимир55
(16.03.2013 в 13:20)
| | Хочу спросить, так как не знаю какой монитор у вас.
Там где часы, список, слева маленькая картинка - она видна или лишний груз? | |
|
|
|
|