Что такое интернет, кто создал всемирную паутину World Wide Web и как работает глобальная сеть. World Wide Web - всемирная паутина

"Всемирная паутина" (World Wide Web, WWW)

"Всемирная паутина" (WWW - World Wide Web) - самый популярный и интересный сервис Интернета, популярное и удобное средство работы с информацией. Самое распространенное имя для компьютера в Интернете сегодня - www, больше половины потока данных Интернета приходится на долю WWW. Количество серверов WWW сегодня нельзя оценить точно, но по некоторым оценкам их более 30 млн. Скорость роста WWW даже выше, чем у самой сети Интернет.

WWW - это всемирное хранилище информации, в котором информационные объекты связаны структурой гипертекста. Гипертекст - это прежде всего система документов с перекрестными ссылками, способ представления информации при помощи связей между документами. Поскольку система WWW позволяет включить в эти документы не только тексты, но и графику, звук и видео, гипертекстовый документ превратился в гипермедиа-документ.

Немного истории WWW. "Всемирная паутина" (WWW) - одна из важных составных частей всемирной сети. И у нее - своя история.

Это интересно. В Швейцарии находится Европейская лаборатория по изучению физических частиц (CERN), В 1980 г. человек по имени Тим Бернес-Ли, работавший в то время в Церне, начал разработку проекта глобальной компьютерной сети, которая обеспечивала бы физикам всего мира доступ к различной информации. На это ушло девять лет. В I989 г, после многолетних технических экспериментов мистер Тим предложил конкретный вариант, который и явился началом World Wide Web, или сокращенно WWW.

Со временем многие поняли, что такими услугами смогут пользоваться разные люди, не только физики. WWW стала быстро расти. Многие люди помогали ей в этом: одни разрабатывали аппаратные средства, другие создавали программное обеспечение, развивающее WWW, третьи улучшали линии связи. Все это позволило ей стать тем, чем она сейчас является - "всемирной паутиной".

Принципы работы клиента и сервера. WWW работает по принципу клиент-сервер, точнее, клиент-серверы: существует множество серверов, которые по запросу клиента возвращают ему гипермедийный документ - документ, состоящий из частей с разнообразным представлением информации (текст, звук, графика, трехмерные объекты и т.д.), в котором каждый элемент может являться ссылкой на другой документ или его часть. Ссылки в документах WWW организованы таким образом, что каждый информационный ресурс в глобальной сети Интернет однозначно адресуется, и документ, который вы читаете в данный момент, способен ссылаться как на другие документы на этом же сервере, так и на документы (и вообще на ресурсы Интернета) на других компьютерах Интернета. Причем пользователь не замечает этого и работает со всем информационным пространством Интернета как с единым целым.

Ссылки WWW указывают не только на документы, специфичные для самой WWW, но и на прочие сервисы и информационные ресурсы Интернета. Более того, большинство программ-клиентов WWW (браузеры, навигаторы) не просто понимают такие ссылки, но и являются программами-клиентами соответствующих сервисов: FTP, gopher, сетевых новостей Usenet, электронной почты и т.д. Таким образом, программные средства WWW являются универсальными для различных сервисов Интернета, а сама информационная система WWW играет интегрирующую роль.

Перечислим некоторые термины, использующиеся в WWW.

Первый термин - html - это набор управляющих последовательностей команд, содержащихся в html-документе и определяющих те действия, которые программа просмотра (браузер) должна выполнить при загрузке этого документа. Это означает, что каждая страница является обычным текстовым файлом, содержащим текст, который виден всем, и некоторые инструкции для программы, невидимые для людей в виде ссылки на другие страницы, изображения, серверы. Таким образом, заполняются анкеты, регистрационные карты, проводятся социологические опросы.

Второй термин - URL (uniform resource locator - универсальный указатель на ресурс). Так называются те самые ссылки на информационные ресурсы Интернета.

Еще один термин - http (hypertext transfer protocol - протокол передачи гипертекста). Это название протокола, по которому взаимодействуют клиент и сервер WWW.

WWW - сервис прямого доступа, требующий полноценного подключения к Интернету и, более того, часто требующий быстрых линий связи в случае, если документы, которые вы читаете, содержат много графики или другой нетекстовой информации.

Бурное развитие сети Интернет, которое началось с начала 90-х годов, во многом обусловлено появлением новой технологии WWW. В основу этой технологии положена технология гипертекста, распространенная на все компьютеры, подключенные к сети Интернет.

При использовании технологии гипертекста текст структурируется и в нем выделяются слова-ссылки. При активизации ссылки (например, с помощью мыши) происходит переход на заданный в ссылке фрагмент текста или на другой документ. Так, мы могли бы наш текст преобразовать в гипертекст, выделив слова "технология гипертекста" в первом абзаце и зафиксировав, что при активизации этой ссылки произойдет переход на начало второго абзаца.

Технология WWW позволяет осуществлять переходы не только внутри исходного документа, но и на любой документ, находящийся на данном компьютере и, что самое главное, на любой документ любого компьютера, подключенного в данный момент к Интернету. Документы, реализованные по технологии WWW, называются Web-страницами.

Структурирование документов и создание Web-страниц осуществляется с помощью языка HTML (Hyper Text Markup Language). Текстовый редактор Word позволяет сохранять документы в формате Web-страниц. Просмотр Web-страниц осуществляется с помощью специальных программ просмотра браузеров. В настоящее время наиболее распространенными браузерами являются Internet Explorer, Netscape Navigator, Opera.

Если компьютер подключен к Интернет, то можно загрузить один из браузеров и отправиться в путешествие по "Всемирной паутине". Вначале необходимо загрузить Web-страницу с одного из серверов Интернет, затем найти ссылку и активизировать ее. В результате будет загружена Web-страница с другого сервера Интернет, который при этом может находиться в другой части света. В свою очередь можно активизировать ссылку на данной Web-странице, загрузится следующая Web-страница и т.д.

Сеть Интернет растет очень быстрыми темпами, и найти нужную информацию среди десятков миллионов документов становится все сложнее. Для поиска информации используются специальные поисковые серверы, которые содержат точную и постоянно обновляемую информацию о содержимом десятков миллионов Web-страниц.

Структура и принципы Всемирной паутины

Всемирная паутина вокруг Википедии

Всемирную паутину образуют миллионы веб-серверов сети Интернет , расположенных по всему миру. Веб-сервер является программой , запускаемой на подключённом к сети компьютере и использующей протокол HTTP для передачи данных. В простейшем виде такая программа получает по сети HTTP-запрос на определённый ресурс, находит соответствующий файл на локальном жёстком диске и отправляет его по сети запросившему компьютеру. Более сложные веб-серверы способны динамически распределять ресурсы в ответ на HTTP-запрос. Для идентификации ресурсов (зачастую файлов или их частей) во Всемирной паутине используются единообразные идентификаторы ресурсов URI (англ. Uniform Resource Identifier ). Для определения местонахождения ресурсов в сети используются единообразные локаторы ресурсов URL (англ. Uniform Resource Locator ). Такие URL-локаторы сочетают в себе технологию идентификации URI и систему доменных имён DNS (англ. Domain Name System ) - доменное имя (или непосредственно -адрес в числовой записи) входит в состав URL для обозначения компьютера (точнее - одного из его сетевых интерфейсов), который исполняет код нужного веб-сервера.

Для обзора информации, полученной от веб-сервера, на клиентском компьютере применяется специальная программа - веб-браузер . Основная функция веб-браузера - отображение гипертекста. Всемирная паутина неразрывно связана с понятиями гипертекста и гиперссы́лки . Большая часть информации в Вебе представляет собой именно гипертекст. Для облегчения создания, хранения и отображения гипертекста во Всемирной паутине традиционно используется язык HTML (англ. HyperText Markup Language ), язык разметки гипертекста. Работа по разметке гипертекста называется вёрсткой, ма́стера по разметке называют веб-мастером или вебмастером (без дефиса). После HTML-разметки получившийся гипертекст помещается в файл , такой HTML-файл является основным ресурсом Всемирной паутины. После того, как HTML-файл становится доступен веб-серверу, его начинают называть «веб-страницей». Набор веб-страниц образует веб-сайт . В гипертекст веб-страниц добавляются гиперссылки. Гиперссылки помогают пользователям Всемирной паутины легко перемещаться между ресурсами (файлами) вне зависимости от того, находятся ресурсы на локальном компьютере или на удалённом сервере. Гиперссылки веба основаны на технологии URL.

Технологии Всемирной паутины

Для улучшения визуального восприятия веба стала широко применяться технология CSS , которая позволяет задавать единые стили оформления для множества веб-страниц. Ещё одно нововведение, на которое стоит обратить внимание, - система обозначения ресурсов URN (англ. Uniform Resource Name ).

Популярная концепция развития Всемирной паутины - создание семантической паутины . Семантическая паутина - это надстройка над существующей Всемирной паутиной, которая призвана сделать размещённую в сети информацию более понятной для компьютеров. Семантическая паутина - это концепция сети, в которой каждый ресурс на человеческом языке был бы снабжён описанием, понятным компьютеру. Семантическая паутина открывает доступ к чётко структурированной информации для любых приложений, независимо от платформы и независимо от языков программирования . Программы смогут сами находить нужные ресурсы, обрабатывать информацию, классифицировать данные, выявлять логические связи, делать выводы и даже принимать решения на основе этих выводов. При широком распространении и грамотном внедрении семантическая паутина может вызвать революцию в Интернете. Для создания понятного компьютеру описания ресурса, в семантической паутине используется формат RDF (англ. Resource Description Framework ), который основан на синтаксисе XML и использует идентификаторы URI для обозначения ресурсов. Новинки в этой области - это RDFS (англ.) русск. (англ. RDF Schema ) и SPARQL (англ. Protocol And RDF Query Language ) (произносится как «спа́ркл»), новый язык запросов для быстрого доступа к данным RDF.

История Всемирной паутины

Изобретателями всемирной паутины считаются Тим Бернерс-Ли и в меньшей степени, Роберт Кайо . Тим Бернерс-Ли является автором технологий HTTP, URI/URL и HTML. В 1980 году он работал в Европейском совете по ядерным исследованиям (фр. Conseil Européen pour la Recherche Nucléaire, CERN ) консультантом по программному обеспечению. Именно там, в Женеве (Швейцария), он для собственных нужд написал программу «Энквайр» (англ. Enquire , можно вольно перевести как «Дознаватель»), которая использовала случайные ассоциации для хранения данных и заложила концептуальную основу для Всемирной паутины.

Первый в мире веб-сайт был размещён Бернерсом-Ли 6 августа 1991 года на первом веб-сервере доступном по адресу http://info.cern.ch/, (). Ресурс определял понятие Всемирной паутины , содержал инструкции по установке веб-сервера, использования браузера и т. п. Этот сайт также являлся первым в мире интернет-каталогом, потому что позже Тим Бернерс-Ли разместил и поддерживал там список ссылок на другие сайты.

На первой фотографии во Всемирной паутине была изображена пародийная филк -группа Les Horribles Cernettes . Тим Бернес-Ли попросил их отсканированные снимки у лидера группы после CERN Hardronic Festival.

И всё же теоретические основы веба были заложены гораздо раньше Бернерса-Ли. Ещё в 1945 году Ванна́вер Буш разработал концепцию Memex (англ.) русск. - вспомогательных механических средств «расширения человеческой памяти ». Memex - это устройство, в котором человек хранит все свои книги и записи (а в идеале - и все свои знания, поддающиеся формальному описанию) и которое выдаёт нужную информацию с достаточной скоростью и гибкостью. Оно является расширением и дополнением памяти человека. Бушем было также предсказано всеобъемлющее индексирование текстов и мультимедийных ресурсов с возможностью быстрого поиска необходимой информации. Следующим значительным шагом на пути ко Всемирной паутине было создание гипертекста (термин введён Тедом Нельсоном в 1965 году).

• Семантическая паутина предполагает улучшение связности и релевантности информации во Всемирной паутине через введение новых форматов метаданных .
• Социальная паутина полагается на работу по упорядочиванию имеющейся в Паутине информации, выполняемую самими пользователями Паутины. В рамках второго направления наработки, являющиеся частью семантической паутины, активно используются в качестве инструментов (RSS и другие форматы веб-каналов , OPML , микроформаты XHTML). Частично семантизированные участки Дерева категорий «Википедии» помогают пользователям осознанно перемещаться в информационном пространстве, однако, очень мягкие требования к подкатегориям не дают основания надеяться на расширение таких участков. В связи с этим интерес могут представлять попытки составления атласов Знания.

Существует также популярное понятие Web 2.0 , обобщающее сразу несколько направлений развития Всемирной паутины.

Способы активного отображения информации во Всемирной паутине

Информация в вебе может отображаться как пассивно (то есть пользователь может только считывать её), так и активно - тогда пользователь может добавлять информацию и редактировать её. К способам активного отображения информации во Всемирной паутине относятся:

Следует отметить, что это деление весьма условно. Так, скажем, блог или гостевую книгу можно рассматривать как частный случай форума, который, в свою очередь, является частным случаем системы управления контентом. Обычно разница проявляется в назначении, подходе и позиционировании того или иного продукта.

Отчасти информация с сайтов может также быть доступна через речь. В Индии уже началось тестирование системы, делающей текстовое содержимое страниц доступным даже для людей, не умеющих читать и писать.

World Wide Web иногда иронично называют Wild Wild Web (дикий, дикий Web) - по аналогии с названием одноименного фильма Wild Wild West (Дикий, дикий Запад) .

См. также

Примечания

Литература

• Филдинг, Р.; Геттис, Дж.; Могул, Дж.; Фристик, Г.; Мазинтер, Л.; Лич, П.; Бернерс-Ли, Т. (Июнь 1999). «Hypertext Transfer Protocol - http://1.1 » (Information Sciences Institute).
• Бернерс-Ли, Тим; Брэй, Тим; Конноли, Дэн; Коттон, Пол; Филдинг, Рой; Джекл, Марио; Лилли, Крис; Мендельсон, Ной; Оркард, Дэвид; Уолш, Норман; Уиллиамс, Стюарт (Декабрь 15, 2004). «Architecture of the World Wide Web, Volume One » (W3C).
• Поло, Лучано World Wide Web Technology Architecture: A Conceptual Analysis . New Devices (2003). Архивировано из первоисточника 24 августа 2011. Проверено Июль 31 2005.

Ссылки

• Официальный сайт Консорциума Всемирной паутины (World Wide Web Consortium (W3C)) (англ.)
• Tim Berners-Lee, Mark Fischetti. Плетя паутину: истоки и будущее Всемирной паутины = Weaving the Web: The Original Design and Ultimate Destiny of the World Wide Web. - New York: HarperCollins Publishers (англ.) русск. . - 256 p. - ISBN 0-06-251587-X , ISBN 978-0-06-251587-2 (англ.)

Что такое Всемирная паутина?

Паутина, или «веб», представляет собой набор связанных между собой страниц с определённой информацией. Каждая такая страница может содержать текст, изображения, видео, аудио и другие разнообразные объекты. Но кроме этого, на веб-страницах есть так называемые гиперссылки. Каждая такая ссылка указывает на другую страницу, которая находится на каком-то другом компьютере в сети Интернет.

Различные информационные ресурсы, которые связаны между собой средствами телекоммуникаций и основаны на гипертекстовом представлении данных, формируют Всемирную паутину (World Wide Web, или сокращённо WWW).

Гиперссылки связывают страницы, которые расположены на различных компьютерах, находящихся в разных уголках земного шара. Огромное количество компьютеров, которые объединены в одну сеть, — это и есть интернет, а «всемирная паутина» — это огромное количество веб-страниц, размещённых на компьютерах сети.

Каждая веб-страница в интернете имеет адрес — URL (англ. Uniform Resource Locator — уникальный адрес, имя). Именно по адресу можно найти любую страницу.

Как была создана Всемирная паутина?

12 марта 1989 года Тим Бернерс-Ли представил руководству ЦЕРНа проект единой системы организации, хранения и общего доступа к информации, которая должна была решить проблему обмена знаниями и опытом между сотрудниками Центра. Проблему доступа к информации на разных компьютерах сотрудников Бернерс-Ли предложил решить с помощью программ-браузеров, обеспечивающих доступ к компьютеру-серверу, где хранится гипертекстовая информация. После успешной реализации проекта Бернерс-Ли смог убедить весь остальной мир использовать единые стандарты интернет-коммуникации, используя стандарты протоколов передачи гипертекста (HTTP) и универсальный язык разметки (HTML).

Следует заметить, что Тим Бернерс-Ли не был первым создателем интернета. Первую систему протоколов, обеспечивающих передачу данных между объединёнными в сеть компьютерами, разработали сотрудники Агентства по перспективным оборонным научно-исследовательским разработкам США (DARPA) Винтон Серф и Роберт Кан в конце 60-х - начале 70-х годов прошлого века. Бернерс-Ли лишь предложил использовать возможности компьютерных сетей для создания новой системы организации информации и доступа к ней.

Что было прототипом Всемирной паутины?

Ещё в 60-х годах XX века Министерство обороны США поставило задачу разработать надёжную систему передачи информации на случай войны. Агентство передовых исследовательских проектов США (ARPA) предложило разработать для этого компьютерную сеть. Назвали её ARPANET (англ. Advanced Research Projects Agency Network). Проект объединил четыре научных учреждения — Университет Лос-Анджелеса, Стэнфордский исследовательский институт и Университеты Санта Барбары и Юты. Все работы финансировались за счёт Министерства обороны США.

Первая передача данных по компьютерной сети состоялась в 1969 году. Профессор Лос-Анджелеса университета со своими студентами попытались войти в компьютер Стэнфорда и передать слово «login». Успешно передать удалось лишь первые две буквы L и O. Когда они напечатали букву G, система связи вышла из строя, однако революция в области интернета состоялась.

К 1971 году в США была создана сеть с 23 пользователями. Была разработана первая программа для отправки электронной почты по сети. А в 1973 году к сети подсоединились Университетский колледж Лондона и Государственные службы в Норвегии, и сеть стала международной. В 1977 году число пользователей Интернета достигло 100, в 1984 — 1000, в 1986 году их было уже больше 5000, в 1989 — более 100 000. В 1991 году в ЦЕРНе был реализован проект World-Wide Web (WWW). В 1997 году насчитывалось уже 19,5 миллиона пользователей сети Интернет.

В некоторых источниках указывается дата появления Всемирной паутины на день позже — 13 марта 1989 года.

Изначально интернет представлял собой компьютерную сеть для передачи информации, разработанную по инициативе Министерства обороны США. Повод дал запущенный Советским Союзом в 1957 году первый искусственный спутник Земли. Американские военные решили, что в таком случае им необходима сверхнадежная система связи. ARPANET недолго была тайной и вскоре стала активно использоваться различными отраслями науки.

Первый удачный сеанс удаленной связи был проведен в 1969 году из Лос-Анджелеса в Стэнфорд. В 1971 году была разработана мгновенно обретшая популярность программа для отправки электронной почты по сети. Первыми иностранными организациями, подключившимися к сети, находились в Великобритании и Норвегии. С проведением трансатлантического телефонного кабеля в эти страны ARPANET стала международной сетью.

ARPANET была, возможно, более совершенной, но не единственной системой связи. И только к 1983 году, когда американская сеть наполнилась первыми новостными группами, досками объявлений и перешла на использование TCP/IP протокола, позволившего интегрироваться в другие компьютерные сети, ARPANET стал Интернетом. Буквально через год это звание стало постепенно переходить к NSFNet - межуниверситетской сети, имевшей большую пропускную способностью и набравшей в годовой период 10 тыс. подключенных компьютеров. В 1988 появился первый интернет-чат, а в 1989 Тим Бернерс-Ли предложил концепцию всемирной паутины.

World Wide Web

В 1990 году ARPANET окончательно проиграла NSFNet. Стоит заметить, что обе они разрабатывались одними и теми же научными организациями, только первая - по заказу оборонных служб США, а вторая - по собственной инициативе. однако эта конкурентная пара повлекла за собой научные разработки и открытия, сделавшие реальностью всемирную паутину, которая в 1991 году стала общедоступна. Предложивший ее концепцию Бернерс Ли в течение следующих двух лет разработал протокол HTTP (гипертекст), язык HTML и идентификаторы URL, которые более знакомы обычным пользователям как интернет-адреса, сайты и страницы.

Всемирная паутина - это система, предоставляющая доступ к файлам компьютера-сервера, подключенного к интернету. Отчасти поэтому сегодня понятия паутины и интернета часто подменяют друг друга. На самом же деле, интернет является технологией связи, неким информационным пространством, а всемирная паутина наполняет его. Состоит эта паучья сеть из многих миллионов веб-серверов - компьютеров и их систем, отвечающих за работу веб-сайтов и страниц. Для доступов к ресурсам паутины (загрузки, просмотра) с обычного компьютера используется программа браузер. Веб, WWW - синонимы Всемирной паутины. Пользователи WWW исчисляются миллиардами.

Всемирная паутина (сокращенно World Wide Web или WWW) - это единство информационных ресурсов, которые связаны между собой средствами телекоммуникаций и основаны на гипертекстовом представлении данных, разбросанных по всему миру.

Годом рождения Всемирной паутины считается 1989 год. Именно в этом году Тим Бернерс-Ли предложил общий гипертекстовый проект, который получил впоследствии название Всемирной паутины.

Создатель «паутины» Тим Бернес-Ли, работая в лаборатории физики элементарных частиц европейского центра ядерных исследований «CERN» В Женеве (Швейцария), совместно с партнером Робертом Кайо занимались проблемами применения идей гипертекста для построения информационной среды, которая упростила бы обмен информацией между физиками.

Итогом данной работы явился документ, в котором рассматривались понятия, имеющие принципиальное значение для «паутины» в ее современном виде, и были предложены идентификаторы URI, протокол HTTR и язык HTML. Без данных технологий уже нельзя представить современный Интернет.

Бернерс-Ли создал первый в мире веб-сервер и первый в мире гипертекстовый веб-браузер. На первом в мире веб-сайте он описал, что такое Всемирная паутина и как установить веб-сервер, как использовать браузер и т.п. Этот сайт являлся и первым в мире Интернет-каталогом.

Начиная с 1994 года самые главные задачи по развитию Всемирной паутины взял на себя Консорциум Всемирной паутины (World Wide Web Consortium, WЗС ), который организовал и до сих пор возглавляет Ким Бернес-Ли. Консорциум разрабатывает и внедряет технологические стандарты для Интернета и Всемирной паутины. Миссия WЗС: «Полностью раскрыть потенциал Всемирной паутины, путем создания протоколов и принципов, гарантирующих долгосрочное развитие Сети» . WЗС разрабатывает «Рекомендации», что бы достичь совместимость между программными продуктами и аппаратурой различных компаний, что делает Всемирную сеть более совершенной, универсальной и удобной.

Поисковые системы: состав, функции, принципы работы.

Поисковая система - это программно-аппаратный комплекс, предназначенный для осуществления поиска в сети Интернет и реагирующий на запрос пользователя, задаваемый в виде текстовой фразы (поискового запроса), выдачей списка ссылок на источники информации, в порядке релевантности (в соответствии запросу). Наиболее крупные международные поисковые системы: «Google» , «Yahoo» , «MSN» . В русском Интернете это – «Яндекс» , «Рамблер» , «Апорт» .

Опишем основные характеристики поисковых систем :

Полнота

Полнота - одна из основных характеристик поисковой системы, представляющая собой отношение количества найденных по запросу документов к общему числу документов в сети Интернет, удовлетворяющих данному запросу. К примеру, если в Интернете имеется 100 страниц, содержащих словосочетание «как выбрать автомобиль», а по соответствующему запросу было найдено всего 60 из них, то полнота поиска будет 0,6. Очевидно, что чем полнее поиск, тем меньше вероятность того, что пользователь не найдет нужный ему документ, при условии, что он вообще существует в Интернете.

Точность

Точность - еще одна основная характеристика поисковой машины, которая определяется степенью соответствия найденных документов запросу пользователя. Например, если по запросу «как выбрать автомобиль» находится 100 документов, в 50 из них содержится словосочетание «как выбрать автомобиль», а в остальных просто наличествуют эти слова («как правильно выбрать магнитолу и установить в автомобиль»), то точность поиска считается равной 50/100 (=0,5). Чем точнее поиск, тем быстрее пользователь найдет нужные ему документы, тем меньше различного рода «мусора» среди них будет встречаться, тем реже найденные документы не будут соответствовать запросу.

Актуальность

Актуальность - не менее важная составляющая поиска, которая характеризуется временем, проходящим с момента публикации документов в сети Интернет, до занесения их в индексную базу поисковой системы. Например, на следующий день после появления интересной новости, большое количество пользователей обратились к поисковым системам с соответствующими запросами. Объективно с момента публикации новостной информации на эту тему прошло меньше суток, однако основные документы уже были проиндексированы и доступны для поиска, благодаря существованию у крупных поисковых систем так называемой «быстрой базы», которая обновляется несколько раз в день.

Скорость поиска

Скорость поиска тесно связана с его устойчивостью к нагрузкам. Например, по данным ООО «Рамблер Интернет Холдинг», на сегодняшний день в рабочие часы к поисковой машине Рамблер приходит около 60 запросов в секунду. Такая загруженность требует сокращения времени обработки отдельного запроса. Здесь интересы пользователя и поисковой системы совпадают: посетитель желает получить результаты как можно быстрее, а поисковая машина должна отрабатывать запрос максимально оперативно, чтобы не тормозить вычисление следующих запросов.

Наглядность

Наглядность представления результатов является важным компонентом удобного поиска. По большинству запросов поисковая машина находит сотни, а то и тысячи документов. Вследствие нечеткости составления запросов или неточности поиска, даже первые страницы выдачи не всегда содержат только нужную информацию. Это означает, что пользователю зачастую приходится производить свой собственный поиск внутри найденного списка. Различные элементы страницы выдачи поисковой системы помогают ориентироваться в результатах поиска.одробные пояснения по странице результатов поиска, например у «Яндекса» можно посмотреть по ссылке http://help.yandex.ru/search/?id=481937 .

Краткая история развития поисковых систем

В начальный период развития Интернет, число его пользователей было невелико, а объем доступной информации сравнительно небольшим. В большинстве своем, доступ к сети Интернет имели лишь сотрудники научно-исследовательской сферы. В это время задача поиска информации в Интернете не была столь актуальной, как в настоящее время.

Одним из первых способов организации доступа к информационным ресурсам сети стало создание открытых каталогов сайтов, ссылки на ресурсы в которых группировались согласно тематике. Первым таким проектом стал сайт Yahoo.com, открывшийся весной 1994 года. После того, как количество сайтов в каталоге Yahoo значительно увеличилось, была добавлена возможность поиска нужной информации по каталогу. В полном смысле это еще не было поисковой системой, так как поисковая область была ограничена только ресурсами, присутствующими в каталоге, а не всеми Интернет ресурсами.

Каталоги ссылок широко использовались ранее, однако практически полностью утратили свою популярность в настоящее время. Так как даже современные, огромные по своему объему каталоги, содержат информацию лишь о ничтожно малой части сети Интернет. Самый большой каталог сети DMOZ (его еще называют Open Directory Project) содержит информацию о 5 миллионах ресурсов, тогда как база поисковой системы Google состоит из более чем 8 миллиардов документов.

Первой полноценной поисковой системой стал проект WebCrawler, вышедший в свет в 1994 году.

В 1995 году появились поисковые системы Lycos и AltaVista. Последняя долгие годы была лидером в области поиска информации в сети Интернет.

В 1997 году Сергей Брин и Ларри Пейдж создали поисковую машину Google в рамках исследовательского проекта в Стэндфордском университете. В настоящий момент Google - самая популярная поисковая система в мире!

В сентябре 1997 года была официально анонсирована поисковая система Yandex, являющаяся самой популярной в русскоязычном Интернете.

В настоящее время существуют три основные международные поисковые системы – Google, Yahoo и MSN, имеющих собственные базы и алгоритмы поиска. Большинство остальных поисковых систем (коих насчитывается большое количество) использует в том или ином виде результаты трех перечисленных. Например, поиск AOL (search.aol.com) использует базу Google, а AltaVista, Lycos и AllTheWeb – базу Yahoo.

Состав и принципы работы поисковой системы

В России основной поисковой системой является «Яндекс», далее - Rambler.ru, Google.ru, Aport.ru, Mail.ru. Причем, на данный момент, Mail.ru использует механизм и базу поиска «Яндекса».

Практически все крупные поисковые системы имеют свою собственную структуру, отличную от других. Однако можно выделить общие для всех поисковых машин основные компоненты. Различия в структуре могут быть лишь в виде реализации механизмов взаимодействия этих компонентов.

Модуль индексирования

Модуль индексирования состоит из трех вспомогательных программ (роботов):

Spider (паук) – программа, предназначенная для скачивания веб-страниц. «Паук» обеспечивает скачивание страницы и извлекает все внутренние ссылки с этой страницы. Скачивается html-код каждой страницы. Для скачивания страниц роботы используют протоколы HTTP. Работает «паук» следующим образом. Робот на сервер передает запрос “get/path/document” и некоторые другие команды HTTP-запроса. В ответ робот получает текстовый поток, содержащий служебную информацию и непосредственно сам документ.

URL страницы

дата, когда страница была скачана

http-заголовок ответа сервера

тело страницы (html-код)

Crawler («путешествующий» паук) – программа, которая автоматически проходит по всем ссылкам, найденным на странице. Выделяет все ссылки, присутствующие на странице. Его задача - определить, куда дальше должен идти паук, основываясь на ссылках или исходя из заранее заданного списка адресов. Crawler, следуя по найденным ссылкам, осуществляет поиск новых документов, еще неизвестных поисковой системе.

Indexer (робот- индексатор) - программа, которая анализирует веб-страницы, скаченные пауками. Индексатор разбирает страницу на составные части и анализирует их, применяя собственные лексические и морфологические алгоритмы. Анализу подвергаются различные элементы страницы, такие как текст, заголовки, ссылки структурные и стилевые особенности, специальные служебные html-теги и т.д.

Таким образом, модуль индексирования позволяет обходить по ссылкам заданное множество ресурсов, скачивать встречающиеся страницы, извлекать ссылки на новые страницы из получаемых документов и производить полный анализ этих документов.

База данных

База данных, или индекс поисковой системы - это система хранения данных, информационный массив, в котором хранятся специальным образом преобразованные параметры всех скачанных и обработанных модулем индексирования документов.

Поисковый сервер

Поисковый сервер является важнейшим элементом всей системы, так как от алгоритмов, которые лежат в основе ее функционирования, напрямую зависит качество и скорость поиска.

Поисковый сервер работает следующим образом:

Полученный от пользователя запрос подвергается морфологическому анализу. Генерируется информационное окружение каждого документа, содержащегося в базе (которое и будет впоследствии отображено в виде сниппета, то есть соответствующей запросу текстовой информации на странице выдачи результатов поиска).

Полученные данные передаются в качестве входных параметров специальному модулю ранжирования. Происходит обработка данных по всем документам, в результате чего, для каждого документа рассчитывается собственный рейтинг, характеризующий релевантность запроса, введенного пользователем, и различных составляющих этого документа, хранящихся в индексе поисковой системы.

В зависимости от выбора пользователя этот рейтинг может быть скорректирован дополнительными условиями (например, так называемый «расширенный поиск»).

Далее генерируется сниппет, то есть, для каждого найденного документа из таблицы документов извлекаются заголовок, краткая аннотация, наиболее соответствующая запросу и ссылка на сам документ, причем найденные слова подсвечиваются.

Полученные результаты поиска передаются пользователю в виде SERP (Search Engine Result Page) – страницы выдачи поисковых результатов.

Как видно, все эти компоненты тесно связаны друг с другом и работают во взаимодействии, образовывая четкий, достаточно сложный механизм работы поисковой системы, требующий огромных затрат ресурсов.

Ни одна поисковая система не охватывает все ресурсы Интернет.

Каждая поисковая система собирает сведения о ресурсах Интернет, применяя свои уникальные методы, и формирует собственную периодически обновляемую базу данных. Доступ к этой базе предоставляется пользователю.

Поисковые системы реализуют два способа поиска ресурса:

Поиск по тематическим каталогам - информация представляется в виде иерархической структуры. На верхнем уровне - общие категории (“Интернет”, “Бизнес”, “Искусство”, “Образование” и т.д.), на следующем уровне категории делятся на разделы и т.д. Самый нижний уровень - ссылки на конкретные веб-страницы или другие информационные ресурсы.

Поиск по ключевым словам (индексный поиск или детальный) - пользователь отправляет поисковой системе запрос , состоящий из ключевых слов. Система возвращает пользователю перечень найденных по запросу ресурсов.

Большинство поисковых систем сочетают оба способа поиска.

Поисковые системы могут быть локальными, глобальными, региональными и специализированными.

В русской части Интернет (Рунет) наиболее популярны сейчас поисковые системы общего назначения Rambler (www.rambler.ru), Яндекс (www.yandex.ru), Апорт (www.aport.ru), Гугл (www.google.ru).

Большинство поисковых систем реализовано в виде порталов.

Портал (от англ. portal - главный вход, ворота) -это веб-сайт, который интегрирует различные сервисы Интернет: средства поиска, почту, новости, словари и т.д.

Порталы могут быть специализированными (как, www . museum . ru ) и общими (например, www . km . ru ).

Поиск по ключевым словам

Набор ключевых слов, по которым ведется поиск, называют также критерием поиска или темой поиска.

Запрос может состоять как из одного слова, так и из сочетания слов, объединенных операторами - символами, по которым система определяет, какое действие ей нужно произвести. Например: запрос “Москва Питер” содержит оператор И (так воспринимается пробел), который указывает, что надо искать документы, в которых есть оба слова - и Москва, и Питер.

Для того, чтобы поиск был релевантным (от англ. relevant -уместный, относящийся к делу), следует учитывать несколько общих правил:

Независимо от того, в какой форме употреблено слово в запросе, поиск учитывает все его словоформы по правилам русского языка. Например, по запросу “билет” будут найдены и слова “билетом”, “билету” и т.д.

Заглавные буквы следует использовать только в именах собственных, чтобы не просматривать лишние ссылки. По запросу “кузнецов”, например, будут найдены документы, где говорится и о кузнецах, и о Кузнецовых.

Желательно сужать круг поиска, используя несколько ключевых слов.

Если нужного адреса нет среди первой двадцатки найденных адресов, следует изменить запрос.

Каждая поисковая система использует свой язык запросов. Для знакомства с ним, пользуйтесь встроенной справкой поисковой системы

Крупные сайты могут иметь встроенные системы поиска информации в пределах своих веб-страниц.

Запросы в подобных системах поиска, как правило, строятся по тем же правилам, что и в глобальных поисковых системах, однако знакомство со справкой и здесь не будет лишним.

Расширенный поиск

Поисковые системы могут предоставлять в распоряжение пользователя механизм, позволяющий формировать сложный запрос. Переход по ссылке Расширенный поиск дает возможность редактировать параметры поиска, указывать дополнительные параметры и выбирать наиболее удобную форму показа результатов поиска. Ниже описаны параметры, которые могут быть заданы при расширенном поиске в системах Япс1ех и Rambler.

Некоторые поисковые системы (например, Яндекс) позволяют вводить запросы на естественном языке. Вы пишите, что нужно найти (например: заказ билетов на поезд из Москвы в Питер). Система анализирует запрос и выдает результат. Если он Вас не устраивает, переходите на язык запросов.