Сегодня Google и другие поисковые системы умнее, чем когда-либо: они используют машинное обучение для обработки и ранжирования информации и могут понимать естественную человеческую речь. Но в Интернете не всегда было так легко ориентироваться! Было время, когда вам нужно было знать точную формулировку названия веб-сайта, чтобы найти его. Результаты поиска были пронизаны спамом. Индексирование нового контента поисковыми системами может занять несколько недель.
Поисковые системы, безусловно, изменились! На этой временной шкале вы узнаете об истории и эволюции поисковых систем с 1990 года до наших дней.
Как работают поисковые системы
ПОИСК ИНФОРМАЦИИ
Пользовательский запрос побуждает движки возвращать результаты, которые ранжируются иерархически с использованием сигналов доверия и релевантности.
ВЕБ-КРАУЛИНГ
Методично и автоматически просматривает Интернет.
ИНДЕКСИРОВАНИЕ
Страницы анализируются по заголовкам и конкретным полям. Это самая быстрая форма поиска.
1990 г.
Арчи
Первая поисковая система - она выполняла поиск по FTP-сайтам для создания индекса загружаемых файлов.
Из-за ограниченного пространства были доступны только списки, а не содержание для каждого сайта.
1991 г.
Виртуальная библиотека World Wide Web (VLib)
Тим Бернерс-Ли создал виртуальную библиотеку.
Веб-сервер ЦЕРН размещал список веб-серверов в раннем возрасте Интернета.
1992 г.
Вероника
Имена и заголовки искомых файлов, хранящиеся в индексных системах Gopher
1993 г.
Джагхед
Также выполнял поиск имен и заголовков файлов в индексных системах Gopher, но поиск выполнялся только на одном сервере за раз.
Странник Всемирной паутины
Создано Мэтью Греем; бот подсчитал активные веб-серверы и «измерил рост» Интернета. Вскоре бот был обновлен для захвата реальных URL-адресов.
База данных называлась Wandex.
Бот обращался к одной и той же странице сотни раз в день и вызывал задержку.
Примитивный поиск в Интернете
JumpStation: информация о заголовке и заголовке страницы с помощью простого линейного поиска.
World Wide Web Worm: индексированные заголовки и URL-адреса (эти два результата перечислены в том порядке, в котором они были найдены, без ранжирования).
RBSE Spider (имел рейтинговую систему).
Если точное название не совпадало, было очень сложно что-либо найти.
1994 г.
Infoseek
Веб-мастера могли отправлять страницы в режиме реального времени
EINet Galaxy
Эффективно использует различные функции веб-поиска.
Ненужная библиотека из-за небольшого размера Интернета
ALIWEB
Созданный Мартином Костером, он сканировал метаинформацию и позволял пользователю отправлять страницы, которые они хотели проиндексировать, вместе с описанием.
Нет ботов и не используется чрезмерная пропускная способность
Люди не знали, как отправлять свои сайты
Поиск Yahoo!
Создано Дэвидом Фило и Джерри Янгом, начиная с набора благоприятных веб-страниц, включающих рукотворное описание с каждым URL-адресом.
Увеличение размера повлияло на то, что они стали доступными для поиска каталогами.
Информационные сайты добавляются бесплатно, но они расширены за счет включения коммерческих сайтов. Это все еще доступно за 300 долларов в год.
Долгое время ожидания для включения
WebCrawler
Первый сканер, который проиндексировал целые страницы, но был слишком популярен, чтобы его можно было использовать в дневное время.
Lycos
Обнародован каталог из 54 000 документов.
Поиск ранжированной релевантности и соответствие используемых префиксов и близость слов
К августу 1994 г. они идентифицировали 394 000 документов; 1,5 миллиона к январю 1995 г.
1995 г.
Выглядит умным
Конкурирует с Yahoo! за счет увеличения коэффициента включения взад и вперед.
Возбуждение
Создано шестью студентами Стэнфордского университета.
AltaVista
Неограниченная пропускная способность (впервые).
Первый, разрешивший запросы на естественном языке.
Расширенные методы поиска.
Добавьте или удалите собственный URL в течение 24 часов.
Советы по поиску и новые функции.
AOL покупает WebCrawler
Netscape начинает использовать Infoseek в качестве поиска по умолчанию
1996 г.
Начало Google: BackRub
Ларри и Сергей начали работу над BackRub, поисковой системой, которая использовала обратные ссылки для поиска.
Он ранжировал страницы с использованием обозначения цитирования, что означает, что любое упоминание веб-сайта на другом сайте будет считаться голосом в пользу упомянутого сайта.
«Авторитет» или надежность веб-сайта зависит от количества людей, связанных с этим сайтом, и от того, насколько надежны эти сайты.
Инктоми: HotBot
Поисковая система Hotbot указана на Hotwire
Inktomi впервые предложила модель платного включения, но она оказалась не такой эффективной, как оплата за клик в Overture.
Lycos обнаружил 60 миллионов документов (больше, чем любая другая поисковая система).
AskJeeves / Ask.com
Запуск поисковой системы на естественном языке, в которой редакторы пытались сопоставить поисковые запросы.
Работает на DirectHit, цель которого - ранжировать ссылки по популярности. Легко рассылать спам.
Использует кластеризацию для организации сайтов по тематической популярности (локальные веб-сообщества)
1997 г.
Excite покупает WebCrawler
1998 г.
Поиск MSN
Полагался на Overture, Looksmart и Inktomi, пока Google не доказал свою модель обратных ссылок.
Google запускает
Увертюра
Ранее Goto.com была первой компанией, которая успешно предоставила услугу поиска мест размещения с оплатой за клик.
1999 г.
Excite куплен @home за 6,5 миллиарда долларов
AllTheWeb
Элегантный интерфейс с расширенными функциями, который в конечном итоге был внедрен в Yahoo! поиск
Google получает финансирование от Sequoia Capital, а также от нескольких других инвесторов.
AOL выбирает Google в качестве поискового партнера.
2000 г.
LookSmart покупает некоммерческий каталог Zeal за 20 миллионов долларов
Выпущен движок Teoma
2001 г.
Банкротство Excite привело к тому, что Infospace купила его за 10 миллионов долларов.
AskJeeves покупает Teoma взамен DirectHit.
Inktomi подвергается риску случайного предоставления публичному доступу к базе данных спам-сайтов (более миллиона).
2002 г.
Yahoo! снова начинает работать над своей поисковой системой, начиная получать другие поисковые каталоги. До этого они использовали свои поисковые службы на аутсорсинге.
LookSmart превращается в провайдера с оплатой за клик, разрушая надежность.
LookSmart покупает WiseNut.
2003 г.
Overture планирует приобрести AltaVista за 80 миллионов долларов в акциях и 60 миллионов долларов наличными.
AllTheWeb куплен Overture за 70 миллионов долларов
Компания Inktomi выкупила Yahoo! за 235 миллионов долларов
LookSmart испытывает укол отторжения, когда Microsoft бросает их и теряет более 65% своего годового дохода.
Yahoo! покупает Overture за 1,63 миллиарда долларов
Google выпускает свое первое официально названное обновление «Бостон», объявленное на северо-восточной выставке SES Boston.
2004 г.
MSN запускает предварительную версию новой поисковой системы
Lycos продан Daum Communications, второму по величине интернет-порталу в Корее.
2005 г.
MSN отказывается от Yahoo! Органические результаты по собственной технологии в январе 2005 г.
IAC (владелец ticketmaster.com, match.com) покупает Ask Jeeves за 1,85 миллиарда долларов, меняет название на Ask.com и отказывается от Teoma.
Появление «nofollow»: Google, Microsoft и Yahoo! убирает спам-блоги повсюду с помощью ссылок nofollow
Щелчок
Владелец Overture Билл Гросс запускает поисковую систему Snap, которая показывает объемы поиска, доходы и рекламодателей.
Оказалось, что это слишком сложно, недостаточно упрощенно для обычного веб-серфера.
2006 г.
MSN отказывается от программы поисковых объявлений Yahoo!
LookSmart закрывает Zeal
Microsoft объявляет о запуске продукта Live Search
2007 г.
Google меняет поисковую выдачу навсегда с помощью «универсального поиска» - интеграции простых, 10-листинговых результатов поиска с такими функциями, как новости, видео, изображения, локальные и другие тематики.
2008 г.
Google выпускает «Google Suggest» - пользователи получают раскрывающиеся списки предлагаемых тем, связанных с их запросами.
Cuil
Управляемая и разрабатываемая бывшими сотрудниками Google, по состоянию на февраль 2009 года она проиндексировала 127 миллиардов веб-страниц.
2009 г.
Bing
Ребрендинг MSN/Live Search.
Встроенные поисковые подсказки для связанных поисков прямо в наборе результатов.
2010 г.
Кофеин
Система веб-индексирования, выпущенная Google, обеспечивает на 50% более свежие результаты поиска.
Живой поиск Google
Пользователи получают результаты поиска в режиме реального времени по мере ввода своих запросов.
2011 г.
Схема
С целью поддержки и продвижения схем для более структурированных интернет-данных Google, Yahoo !, и Microsoft объединились для создания Schema.org.
Панда
«Панда» знаменует собой значительное изменение в алгоритме ранжирования Google. Негативное влияние, в частности, окажет на контент-фермы и сайты-скребки. Затронуто 12% результатов поиска Google в США.
2012 г.
Пингвин
Обновление Google «Пингвин» продолжает держать SEO-специалистов в напряжении. В первую очередь наказываются сайты: те, кто покупает ссылки или получает их через ссылочные сети, предназначенные для повышения рейтинга в поиске.
Bing запускает социальную боковую панель. Пользователи видят результаты поиска через призму своих социальных сетей.
2013
Колибри
Первый алгоритм поиска с возможностью анализировать цель запроса, а не только сам язык.
2014 г.
Yahoo! подписывает договор о предоставлении услуг поисковой системы Mozilla Firefox по умолчанию в США.
Голубь - обновление Google для предоставления более полезных, релевантных и точных результатов местного поиска.
Google уделяет приоритетное внимание безопасности веб-сайтов: призывает к «HTTPS везде» и начинает использовать HTTPS в качестве сигнала ранжирования.
2015 г.
Mobilegeddon - Google выпускает обновление, призванное повысить удобство использования страниц для мобильных устройств в результатах мобильного поиска.
Bing выпускает собственное обновление алгоритма, оптимизированного для мобильных устройств
RankBrain - Google сообщает, что машинное обучение уже несколько месяцев играет важную роль в его алгоритме ранжирования.
2016 г.
Google выпускает (неофициально названный) «Possum» - результаты локального поиска разнообразны; сайты, рассылающие спам, наказываются
«Пингвин» работает в режиме реального времени и становится частью основного алгоритма ранжирования Google.
2017 г.
«Google начинает наказывать сайты с агрессивными межстраничными объявлениями и всплывающими окнами, которые мешают работе мобильных пользователей.
Google алгоритм поиска обновления неофициально называют «Фред» наказывает сайты с низким качеством обратных ссылок, а также сайты, отдающих приоритет монетизация над опытом пользователя
История поисковых систем
Современные поисковые системы просто невероятны - сложные алгоритмы позволяют поисковым системам обрабатывать ваш поисковый запрос и возвращать результаты, которые, как правило, довольно точны, предоставляя вам ценные информационные фрагменты среди огромного массива информационных данных.
Как показывает наша инфографика «История поисковых систем в Интернете», поисковые системы прошли долгий путь с момента появления своих первых прототипов. От усовершенствований поисковых роботов и классификации и индексации сети до введения новых протоколов, таких как robots.txt, чтобы веб-мастера могли контролировать сканирование веб-страниц, до внедрения голосового поиска, разработка поисковых систем стала кульминацией несколько поисковых технологий, разработанных на основе разных поисковых систем. Alta Vista была первой поисковой системой, которая обрабатывала запросы на естественном языке; Lycos хорошо начал с системы категоризации сигналов релевантности, сопоставления ключевых слов с префиксами и близости слов; а Ask Jeeves представила возможность использования редакторов-людей для соответствия фактическим поисковым запросам пользователей.
Как работают поисковые системы?
Прежде всего, давайте спросим, что такое поисковая система? Поисковая система - это программа, которая выполняет поиск сайтов в Интернете по ключевым словам. Поисковая система берет ваше ключевое слово и возвращает страницы результатов поисковой системы (SERP) со списком сайтов, которые она считает релевантными или связанных с вашим ключевым словом в поиске.
Цель многих сайтов - попасть в первую выдачу по наиболее популярным ключевым словам, связанным с их бизнесом. Рейтинг сайта по ключевым словам очень важен, потому что чем выше рейтинг сайта в поисковой выдаче, тем больше людей его увидят.
SEO или поисковая оптимизация - это метод, используемый для увеличения вероятности получения ранжирования первой страницы с помощью таких методов, как создание ссылок, теги заголовков SEO, оптимизация контента, метаописание и исследование ключевых слов.
Поисковые системы Google и другие основные поисковые системы, такие как Bing и Yahoo, используют большое количество компьютеров для поиска в больших объемах данных в Интернете.
Системы веб-поиска каталогизируют всемирную паутину с помощью паука или поискового робота. Эти роботы-сканеры были созданы для индексирования контента; они сканируют и оценивают содержание страниц сайта и информационных архивов в сети.
Алгоритмы и определение лучших поисковых систем
Различные поисковые системы в Интернете используют разные алгоритмы для определения того, какие веб-страницы наиболее релевантны для определенного ключевого слова поисковой системы и какие веб-страницы должны появляться в верхней части страницы результатов поисковой системы.
Релевантность - это ключ к поисковым системам в Интернете - пользователи, естественно, предпочитают поисковую систему, которая даст им самые лучшие и наиболее релевантные результаты.
Поисковые системы часто довольно осторожны со своими алгоритмами поиска, поскольку их уникальный алгоритм пытается генерировать наиболее релевантные результаты. Лучшие поисковые системы и, как следствие, самые популярные поисковые системы, оказываются наиболее релевантными.
История поисковой системы
История поисковой системы началась в 1990 году с Archie, FTP-сайта, на котором размещен индекс загружаемых списков каталогов. Поисковые системы продолжали быть примитивными списками каталогов, пока поисковые системы не развились для сканирования и индексации веб-сайтов, в конечном итоге создавая алгоритмы для оптимизации релевантности.
Yahoo начинался как просто список любимых веб-сайтов, но со временем стал достаточно большим, чтобы стать индексным каталогом с возможностью поиска. Фактически, их поисковые службы были переданы на аутсорсинг до 2002 года, когда они действительно начали работать над своей поисковой системой.
История поисковой системы Google
Уникальный и улучшающийся алгоритм Google сделал его одной из самых популярных поисковых систем всех времен. Другие поисковые системы по-прежнему испытывают трудности с сопоставлением алгоритма релевантности, созданного Google путем изучения ряда факторов, таких как социальные сети, входящие ссылки, свежий контент и т. д.
Как свидетельствует вышеупомянутая инфографика, Google появился на сцене поисковых систем в 1996 году. Google был уникальным, потому что он ранжировал страницы в соответствии с нотацией цитирования, при которой упоминание одного сайта на другом сайте становилось голосом в пользу этого сайта.
Google также начал оценивать сайты по авторитету. Авторитетность или надежность веб-сайта определялась тем, сколько других веб-сайтов ссылались на него, и насколько надежными были те, которые ссылаются на внешние сайты.
Историю поиска Google можно увидеть, взглянув на изменения, происходящие на главной странице Google за эти годы. Примечательно видеть, насколько простой и примитивной была когда-то самая популярная сейчас поисковая система.
История поисковой системы Google: взгляд в прошлое
Изображение исходной домашней страницы поисковой системы Google 1997 года, когда Google был частью stanford.edu.
Домашняя страница поисковой системы Google в 2005 году
Текущий вид Google.
Список альтернативных поисковых систем
Хотя Google по праву считается самой популярной поисковой системой, существует также ряд альтернативных поисковых систем, которые можно использовать.
Существуют разные поисковые системы для уникальных нужд. Например, вы можете захотеть, чтобы поисковая система помогала вам искать именно блоги, или, возможно, вам нужны поисковые системы для детей, которые возвращают только сайты, подходящие для детей.
Вот список поисковых систем, отвечающих определенным интересам:
BlogSearchEngine - отличная поисковая система по блогам
Indeed и Monster - поисковые системы
SongMeanings и LyricsMode - поисковые системы для текстов песен.
Эти бесплатные поисковые системы позволяют легко находить информацию, отвечающую вашим уникальным потребностям.
Поисковые системы Deep Web
В дополнение к стандартным поисковым системам существуют также системы глубокого поиска.
Глубокая сеть относится к областям Интернета, которые не поддаются нормальному индексированию и поэтому не могут быть легко найдены и проиндексированы поисковыми роботами. Эти альтернативные поисковые системы специализируются на этих данных, которые нелегко найти.
Yippy - популярная поисковая система в глубокой сети, особенно полезная для ниш и малоизвестных интересов.
Deep Dyve - это поисковая система в глубокой сети научных статей и журналов.
10 лучших поисковых систем
Ниже приведен список наших 10 лучших поисковых систем в Интернете. Хотя выбор «лучшей» поисковой системы зависит от ваших уникальных желаний и потребностей, ниже приведен список популярных поисковых систем, некоторые из которых более уникальны, чем другие.
Google - предлагает все, от поиска изображений до поиска по картам, поиска по новостям и т. д. Благодаря впечатляющей релевантности ключевых слов и постоянно совершенствующемуся алгоритму поиска легко понять, почему Google по-прежнему является действующим чемпионом.
Bing - поисковая система на базе Microsoft гордится тем, что является «механизмом принятия решений», предлагая варианты поиска в боковом столбце и предоставляя дополнительные параметры поиска.
Yahoo - хотя Yahoo в последнее время страдает, это все еще классическая и популярная поисковая система.
Ask - чистый макет и удобная группировка результатов.
Поиск AOL - AOL по-прежнему используется, в основном, людьми, которые все еще используют AOL. Они где-то там.
DogPile - некогда альтернатива Google возвращается и является отличной альтернативой более крупным поисковым системам.
Duck Duck Go - не отслеживает историю поиска и избегает спамерских сайтов.
Интернет-архив - эта поисковая система позволяет пользователям путешествовать во времени, чтобы увидеть, как веб-страницы выглядели в минувшие годы. Очень интересная поисковая система, с которой можно поиграть.
Поисковые системы, безусловно, изменились! На этой временной шкале вы узнаете об истории и эволюции поисковых систем с 1990 года до наших дней.
Как работают поисковые системы
ПОИСК ИНФОРМАЦИИ
Пользовательский запрос побуждает движки возвращать результаты, которые ранжируются иерархически с использованием сигналов доверия и релевантности.
ВЕБ-КРАУЛИНГ
Методично и автоматически просматривает Интернет.
ИНДЕКСИРОВАНИЕ
Страницы анализируются по заголовкам и конкретным полям. Это самая быстрая форма поиска.
1990 г.
Арчи
Первая поисковая система - она выполняла поиск по FTP-сайтам для создания индекса загружаемых файлов.
Из-за ограниченного пространства были доступны только списки, а не содержание для каждого сайта.
1991 г.
Виртуальная библиотека World Wide Web (VLib)
Тим Бернерс-Ли создал виртуальную библиотеку.
Веб-сервер ЦЕРН размещал список веб-серверов в раннем возрасте Интернета.
1992 г.
Вероника
Имена и заголовки искомых файлов, хранящиеся в индексных системах Gopher
1993 г.
Джагхед
Также выполнял поиск имен и заголовков файлов в индексных системах Gopher, но поиск выполнялся только на одном сервере за раз.
Странник Всемирной паутины
Создано Мэтью Греем; бот подсчитал активные веб-серверы и «измерил рост» Интернета. Вскоре бот был обновлен для захвата реальных URL-адресов.
База данных называлась Wandex.
Бот обращался к одной и той же странице сотни раз в день и вызывал задержку.
Примитивный поиск в Интернете
JumpStation: информация о заголовке и заголовке страницы с помощью простого линейного поиска.
World Wide Web Worm: индексированные заголовки и URL-адреса (эти два результата перечислены в том порядке, в котором они были найдены, без ранжирования).
RBSE Spider (имел рейтинговую систему).
Если точное название не совпадало, было очень сложно что-либо найти.
1994 г.
Infoseek
Веб-мастера могли отправлять страницы в режиме реального времени
EINet Galaxy
Эффективно использует различные функции веб-поиска.
Ненужная библиотека из-за небольшого размера Интернета
ALIWEB
Созданный Мартином Костером, он сканировал метаинформацию и позволял пользователю отправлять страницы, которые они хотели проиндексировать, вместе с описанием.
Нет ботов и не используется чрезмерная пропускная способность
Люди не знали, как отправлять свои сайты
Поиск Yahoo!
Создано Дэвидом Фило и Джерри Янгом, начиная с набора благоприятных веб-страниц, включающих рукотворное описание с каждым URL-адресом.
Увеличение размера повлияло на то, что они стали доступными для поиска каталогами.
Информационные сайты добавляются бесплатно, но они расширены за счет включения коммерческих сайтов. Это все еще доступно за 300 долларов в год.
Долгое время ожидания для включения
WebCrawler
Первый сканер, который проиндексировал целые страницы, но был слишком популярен, чтобы его можно было использовать в дневное время.
Lycos
Обнародован каталог из 54 000 документов.
Поиск ранжированной релевантности и соответствие используемых префиксов и близость слов
К августу 1994 г. они идентифицировали 394 000 документов; 1,5 миллиона к январю 1995 г.
1995 г.
Выглядит умным
Конкурирует с Yahoo! за счет увеличения коэффициента включения взад и вперед.
Возбуждение
Создано шестью студентами Стэнфордского университета.
AltaVista
Неограниченная пропускная способность (впервые).
Первый, разрешивший запросы на естественном языке.
Расширенные методы поиска.
Добавьте или удалите собственный URL в течение 24 часов.
Советы по поиску и новые функции.
AOL покупает WebCrawler
Netscape начинает использовать Infoseek в качестве поиска по умолчанию
1996 г.
Начало Google: BackRub
Ларри и Сергей начали работу над BackRub, поисковой системой, которая использовала обратные ссылки для поиска.
Он ранжировал страницы с использованием обозначения цитирования, что означает, что любое упоминание веб-сайта на другом сайте будет считаться голосом в пользу упомянутого сайта.
«Авторитет» или надежность веб-сайта зависит от количества людей, связанных с этим сайтом, и от того, насколько надежны эти сайты.
Инктоми: HotBot
Поисковая система Hotbot указана на Hotwire
Inktomi впервые предложила модель платного включения, но она оказалась не такой эффективной, как оплата за клик в Overture.
Lycos обнаружил 60 миллионов документов (больше, чем любая другая поисковая система).
AskJeeves / Ask.com
Запуск поисковой системы на естественном языке, в которой редакторы пытались сопоставить поисковые запросы.
Работает на DirectHit, цель которого - ранжировать ссылки по популярности. Легко рассылать спам.
Использует кластеризацию для организации сайтов по тематической популярности (локальные веб-сообщества)
1997 г.
Excite покупает WebCrawler
1998 г.
Поиск MSN
Полагался на Overture, Looksmart и Inktomi, пока Google не доказал свою модель обратных ссылок.
Google запускает
Увертюра
Ранее Goto.com была первой компанией, которая успешно предоставила услугу поиска мест размещения с оплатой за клик.
1999 г.
Excite куплен @home за 6,5 миллиарда долларов
AllTheWeb
Элегантный интерфейс с расширенными функциями, который в конечном итоге был внедрен в Yahoo! поиск
Google получает финансирование от Sequoia Capital, а также от нескольких других инвесторов.
AOL выбирает Google в качестве поискового партнера.
2000 г.
LookSmart покупает некоммерческий каталог Zeal за 20 миллионов долларов
Выпущен движок Teoma
2001 г.
Банкротство Excite привело к тому, что Infospace купила его за 10 миллионов долларов.
AskJeeves покупает Teoma взамен DirectHit.
Inktomi подвергается риску случайного предоставления публичному доступу к базе данных спам-сайтов (более миллиона).
2002 г.
Yahoo! снова начинает работать над своей поисковой системой, начиная получать другие поисковые каталоги. До этого они использовали свои поисковые службы на аутсорсинге.
LookSmart превращается в провайдера с оплатой за клик, разрушая надежность.
LookSmart покупает WiseNut.
2003 г.
Overture планирует приобрести AltaVista за 80 миллионов долларов в акциях и 60 миллионов долларов наличными.
AllTheWeb куплен Overture за 70 миллионов долларов
Компания Inktomi выкупила Yahoo! за 235 миллионов долларов
LookSmart испытывает укол отторжения, когда Microsoft бросает их и теряет более 65% своего годового дохода.
Yahoo! покупает Overture за 1,63 миллиарда долларов
Google выпускает свое первое официально названное обновление «Бостон», объявленное на северо-восточной выставке SES Boston.
2004 г.
MSN запускает предварительную версию новой поисковой системы
Lycos продан Daum Communications, второму по величине интернет-порталу в Корее.
2005 г.
MSN отказывается от Yahoo! Органические результаты по собственной технологии в январе 2005 г.
IAC (владелец ticketmaster.com, match.com) покупает Ask Jeeves за 1,85 миллиарда долларов, меняет название на Ask.com и отказывается от Teoma.
Появление «nofollow»: Google, Microsoft и Yahoo! убирает спам-блоги повсюду с помощью ссылок nofollow
Щелчок
Владелец Overture Билл Гросс запускает поисковую систему Snap, которая показывает объемы поиска, доходы и рекламодателей.
Оказалось, что это слишком сложно, недостаточно упрощенно для обычного веб-серфера.
2006 г.
MSN отказывается от программы поисковых объявлений Yahoo!
LookSmart закрывает Zeal
Microsoft объявляет о запуске продукта Live Search
2007 г.
Google меняет поисковую выдачу навсегда с помощью «универсального поиска» - интеграции простых, 10-листинговых результатов поиска с такими функциями, как новости, видео, изображения, локальные и другие тематики.
2008 г.
Google выпускает «Google Suggest» - пользователи получают раскрывающиеся списки предлагаемых тем, связанных с их запросами.
Cuil
Управляемая и разрабатываемая бывшими сотрудниками Google, по состоянию на февраль 2009 года она проиндексировала 127 миллиардов веб-страниц.
2009 г.
Bing
Ребрендинг MSN/Live Search.
Встроенные поисковые подсказки для связанных поисков прямо в наборе результатов.
2010 г.
Кофеин
Система веб-индексирования, выпущенная Google, обеспечивает на 50% более свежие результаты поиска.
Живой поиск Google
Пользователи получают результаты поиска в режиме реального времени по мере ввода своих запросов.
2011 г.
Схема
С целью поддержки и продвижения схем для более структурированных интернет-данных Google, Yahoo !, и Microsoft объединились для создания Schema.org.
Панда
«Панда» знаменует собой значительное изменение в алгоритме ранжирования Google. Негативное влияние, в частности, окажет на контент-фермы и сайты-скребки. Затронуто 12% результатов поиска Google в США.
2012 г.
Пингвин
Обновление Google «Пингвин» продолжает держать SEO-специалистов в напряжении. В первую очередь наказываются сайты: те, кто покупает ссылки или получает их через ссылочные сети, предназначенные для повышения рейтинга в поиске.
Bing запускает социальную боковую панель. Пользователи видят результаты поиска через призму своих социальных сетей.
2013
Колибри
Первый алгоритм поиска с возможностью анализировать цель запроса, а не только сам язык.
2014 г.
Yahoo! подписывает договор о предоставлении услуг поисковой системы Mozilla Firefox по умолчанию в США.
Голубь - обновление Google для предоставления более полезных, релевантных и точных результатов местного поиска.
Google уделяет приоритетное внимание безопасности веб-сайтов: призывает к «HTTPS везде» и начинает использовать HTTPS в качестве сигнала ранжирования.
2015 г.
Mobilegeddon - Google выпускает обновление, призванное повысить удобство использования страниц для мобильных устройств в результатах мобильного поиска.
Bing выпускает собственное обновление алгоритма, оптимизированного для мобильных устройств
RankBrain - Google сообщает, что машинное обучение уже несколько месяцев играет важную роль в его алгоритме ранжирования.
2016 г.
Google выпускает (неофициально названный) «Possum» - результаты локального поиска разнообразны; сайты, рассылающие спам, наказываются
«Пингвин» работает в режиме реального времени и становится частью основного алгоритма ранжирования Google.
2017 г.
«Google начинает наказывать сайты с агрессивными межстраничными объявлениями и всплывающими окнами, которые мешают работе мобильных пользователей.
Google алгоритм поиска обновления неофициально называют «Фред» наказывает сайты с низким качеством обратных ссылок, а также сайты, отдающих приоритет монетизация над опытом пользователя
История поисковых систем
Современные поисковые системы просто невероятны - сложные алгоритмы позволяют поисковым системам обрабатывать ваш поисковый запрос и возвращать результаты, которые, как правило, довольно точны, предоставляя вам ценные информационные фрагменты среди огромного массива информационных данных.
Как показывает наша инфографика «История поисковых систем в Интернете», поисковые системы прошли долгий путь с момента появления своих первых прототипов. От усовершенствований поисковых роботов и классификации и индексации сети до введения новых протоколов, таких как robots.txt, чтобы веб-мастера могли контролировать сканирование веб-страниц, до внедрения голосового поиска, разработка поисковых систем стала кульминацией несколько поисковых технологий, разработанных на основе разных поисковых систем. Alta Vista была первой поисковой системой, которая обрабатывала запросы на естественном языке; Lycos хорошо начал с системы категоризации сигналов релевантности, сопоставления ключевых слов с префиксами и близости слов; а Ask Jeeves представила возможность использования редакторов-людей для соответствия фактическим поисковым запросам пользователей.
Как работают поисковые системы?
Прежде всего, давайте спросим, что такое поисковая система? Поисковая система - это программа, которая выполняет поиск сайтов в Интернете по ключевым словам. Поисковая система берет ваше ключевое слово и возвращает страницы результатов поисковой системы (SERP) со списком сайтов, которые она считает релевантными или связанных с вашим ключевым словом в поиске.
Цель многих сайтов - попасть в первую выдачу по наиболее популярным ключевым словам, связанным с их бизнесом. Рейтинг сайта по ключевым словам очень важен, потому что чем выше рейтинг сайта в поисковой выдаче, тем больше людей его увидят.
SEO или поисковая оптимизация - это метод, используемый для увеличения вероятности получения ранжирования первой страницы с помощью таких методов, как создание ссылок, теги заголовков SEO, оптимизация контента, метаописание и исследование ключевых слов.
Поисковые системы Google и другие основные поисковые системы, такие как Bing и Yahoo, используют большое количество компьютеров для поиска в больших объемах данных в Интернете.
Системы веб-поиска каталогизируют всемирную паутину с помощью паука или поискового робота. Эти роботы-сканеры были созданы для индексирования контента; они сканируют и оценивают содержание страниц сайта и информационных архивов в сети.
Алгоритмы и определение лучших поисковых систем
Различные поисковые системы в Интернете используют разные алгоритмы для определения того, какие веб-страницы наиболее релевантны для определенного ключевого слова поисковой системы и какие веб-страницы должны появляться в верхней части страницы результатов поисковой системы.
Релевантность - это ключ к поисковым системам в Интернете - пользователи, естественно, предпочитают поисковую систему, которая даст им самые лучшие и наиболее релевантные результаты.
Поисковые системы часто довольно осторожны со своими алгоритмами поиска, поскольку их уникальный алгоритм пытается генерировать наиболее релевантные результаты. Лучшие поисковые системы и, как следствие, самые популярные поисковые системы, оказываются наиболее релевантными.
История поисковой системы
История поисковой системы началась в 1990 году с Archie, FTP-сайта, на котором размещен индекс загружаемых списков каталогов. Поисковые системы продолжали быть примитивными списками каталогов, пока поисковые системы не развились для сканирования и индексации веб-сайтов, в конечном итоге создавая алгоритмы для оптимизации релевантности.
Yahoo начинался как просто список любимых веб-сайтов, но со временем стал достаточно большим, чтобы стать индексным каталогом с возможностью поиска. Фактически, их поисковые службы были переданы на аутсорсинг до 2002 года, когда они действительно начали работать над своей поисковой системой.
История поисковой системы Google
Уникальный и улучшающийся алгоритм Google сделал его одной из самых популярных поисковых систем всех времен. Другие поисковые системы по-прежнему испытывают трудности с сопоставлением алгоритма релевантности, созданного Google путем изучения ряда факторов, таких как социальные сети, входящие ссылки, свежий контент и т. д.
Как свидетельствует вышеупомянутая инфографика, Google появился на сцене поисковых систем в 1996 году. Google был уникальным, потому что он ранжировал страницы в соответствии с нотацией цитирования, при которой упоминание одного сайта на другом сайте становилось голосом в пользу этого сайта.
Google также начал оценивать сайты по авторитету. Авторитетность или надежность веб-сайта определялась тем, сколько других веб-сайтов ссылались на него, и насколько надежными были те, которые ссылаются на внешние сайты.
Историю поиска Google можно увидеть, взглянув на изменения, происходящие на главной странице Google за эти годы. Примечательно видеть, насколько простой и примитивной была когда-то самая популярная сейчас поисковая система.
История поисковой системы Google: взгляд в прошлое
Изображение исходной домашней страницы поисковой системы Google 1997 года, когда Google был частью stanford.edu.
Домашняя страница поисковой системы Google в 2005 году
Текущий вид Google.
Список альтернативных поисковых систем
Хотя Google по праву считается самой популярной поисковой системой, существует также ряд альтернативных поисковых систем, которые можно использовать.
Существуют разные поисковые системы для уникальных нужд. Например, вы можете захотеть, чтобы поисковая система помогала вам искать именно блоги, или, возможно, вам нужны поисковые системы для детей, которые возвращают только сайты, подходящие для детей.
Вот список поисковых систем, отвечающих определенным интересам:
BlogSearchEngine - отличная поисковая система по блогам
Indeed и Monster - поисковые системы
SongMeanings и LyricsMode - поисковые системы для текстов песен.
Эти бесплатные поисковые системы позволяют легко находить информацию, отвечающую вашим уникальным потребностям.
Поисковые системы Deep Web
В дополнение к стандартным поисковым системам существуют также системы глубокого поиска.
Глубокая сеть относится к областям Интернета, которые не поддаются нормальному индексированию и поэтому не могут быть легко найдены и проиндексированы поисковыми роботами. Эти альтернативные поисковые системы специализируются на этих данных, которые нелегко найти.
Yippy - популярная поисковая система в глубокой сети, особенно полезная для ниш и малоизвестных интересов.
Deep Dyve - это поисковая система в глубокой сети научных статей и журналов.
10 лучших поисковых систем
Ниже приведен список наших 10 лучших поисковых систем в Интернете. Хотя выбор «лучшей» поисковой системы зависит от ваших уникальных желаний и потребностей, ниже приведен список популярных поисковых систем, некоторые из которых более уникальны, чем другие.
Google - предлагает все, от поиска изображений до поиска по картам, поиска по новостям и т. д. Благодаря впечатляющей релевантности ключевых слов и постоянно совершенствующемуся алгоритму поиска легко понять, почему Google по-прежнему является действующим чемпионом.
Bing - поисковая система на базе Microsoft гордится тем, что является «механизмом принятия решений», предлагая варианты поиска в боковом столбце и предоставляя дополнительные параметры поиска.
Yahoo - хотя Yahoo в последнее время страдает, это все еще классическая и популярная поисковая система.
Ask - чистый макет и удобная группировка результатов.
Поиск AOL - AOL по-прежнему используется, в основном, людьми, которые все еще используют AOL. Они где-то там.
DogPile - некогда альтернатива Google возвращается и является отличной альтернативой более крупным поисковым системам.
Duck Duck Go - не отслеживает историю поиска и избегает спамерских сайтов.
Интернет-архив - эта поисковая система позволяет пользователям путешествовать во времени, чтобы увидеть, как веб-страницы выглядели в минувшие годы. Очень интересная поисковая система, с которой можно поиграть.
