В сегодняшнем видео Мэтт Каттс, руководитель Google Webspam team, приоткроет завесу и расскажет вам о том, какое железо и программное обеспечение используется для поисковых роботов Google (их также называют поисковыми пауками, спайдерами, гуглоботами и краулерами. В общем, как только не обзывают бедных роботов).
Мне самому было интересно узнать эти подробности. Это как передача “В мире животных”, только про дорогих нашему сердцу нашим сайтам поисковых роботов Гугла.
После перевода видео в конце поста я привел интересные видео о дата-центрах Google, которые вам могут быть интересны.
На каком оборудовании и софте работают поисковые роботы Google
Мэтт Каттс: Сегодняшний вопрос поступил из города Кардифф, Великобритания. Тристан Перри задал интересный вопрос: “Привет, Мэтт! Расскажи о том, на каком оборудовании и серверном программном обеспечении работают поисковые роботы Google (web-краулеры)?”
Очень интересный вопрос. Одним из секретов Google является то, что вместо того, чтобы использовать крупноразмерное и тяжелое оборудование, мы стремимся к использованию такого оборудования, которое внешне очень похоже на обычные компьютеры. В этом можно убедиться, если посетить какой-либо из дата-центров Google. Если вы открывали корпус своего компьютера, то в нашем оборудовании вы узнаете много знакомых частей.
И что интересно, вместо того, чтобы выделять специальные сервера для поисковых роботов Google, мы задействуем множество серверов, которые одновременно могут быть использованы и для других целей. В результате мы имеем целый флот, настоящую армаду машин, которая служит для решения различных задач и процессов.
Конечно, наше оборудование не такое же точно, как обычные компьютеры, но имеет с ними много общего. И у нас нет разницы между серверами для поисковых роботов и другими серверами. Могут быть различия в размере оперативной памяти или жестких дисков, но принципиальной разницы в серверном оборудовании Google нет.
Что касается серверного программного обеспечения, то на этот счет у нас в Google есть шутка. Она звучит так: “Мы сами не строим машины. Мы сами не делаем колеса. Мы сами лишь вулканизируем резину на колесах”.
Суть в том, что мы обращаем внимание на все компоненты оборудования. Если рассматривать эффективность дата-центра, то там, например, существует эффективность материнских плат в энергопотреблении. Если уделять внимание всем подобным моментам, то можно получить намного больший эффект и увеличить мощность оборудования.
В этом плане имеет смысл использовать сторонних поставщиков и их готовые решения. Google старается использовать много компьютеров и серверов под управлением операционной системы Linux. У нас работает много специалистов по ядру Linux.
Мы также стараемся создавать программное обеспечение под наши специфические задачи.
Если говорить о наших серверах, то мы не используем Apache, мы не используем IIS. На серверах Google используется GWS, что расшифровывается как Google Web Server.
Таким образом, наши собственные бинарные файлы, которые созданы нашими разработчиками с нуля, позволяют нам увеличивать эффективность нашего программного обеспечения. Мы уверены, что всегда можно найти то, что можно улучшить и оптимизировать для повышения эффективности.
Я лишь вкратце рассказал о том оборудовании и программном обеспечении, которое используется для поисковых роботов Google.
Это был мой перевод видео Мэтта Каттса.
Я еще нашел следующие видеоматериалы по теме дата-центров Google.
Видеообзор дата-центра. Размах и мощности впечатляют!
Видео о том, как обеспечивается безопасность в дата-центрах Гугла. Все очень серьезно, как и должно быть:
Любителям компьютерного железа будет интересен это видеоролик о серверах, используемых в Google:
Комментариев нет:
Отправить комментарий