Викия

Наука

Глубокая паутина

22 032статьи на
этой вики
Добавить новую страницу
Обсуждение0 Поделиться

Обнаружено использование расширения AdBlock.


Викия — это свободный ресурс, который существует и развивается за счёт рекламы. Для блокирующих рекламу пользователей мы предоставляем модифицированную версию сайта.

Викия не будет доступна для последующих модификаций. Если вы желаете продолжать работать со страницей, то, пожалуйста, отключите расширение для блокировки рекламы.

Глубокая паутина (иногда упоминается как невидимая паутина и скрытая паутина) — часть веб-страниц Всемирной паутины, не индексированная поисковыми системами. Термины произошли от соотв. англ. deep web, invisible web, hidden web. Не следует смешивать понятие глубокая паутина с понятием тёмная паутина, под которым имеются в виду сетевые сегменты, вообще не подключённые к сети Интернет.

Суть проблемы Править

В глубокой паутине находятся веб-страницы, которые никак не связаны с другими — например, страницы, динамически создаваемые по запросам к базам данных. В глубокой паутине также находятся сайты, доступ к которым открыт только для зарегистрированных участников. Поисковые системы используют специальные роботы (англ. web crawler), которые переходят по гиперссылкам и индексируют содержимое веб-страниц, на которых они оказываются. Обыкновенно такие роботы не направляют запросы к базам данных (за исключением случаев, когда запрос помещается в отдельную гиперссылку на странице). Вот почему огромная часть Всемирной паутины оказывается «на глубине», скрытой от взоров поисковых систем.

Масштаб бедствия Править

В 2000 году поисковая компания «BrightPlanet» провела исследование, которое показало, что в глубокой паутине находится в 500 раз больше документов, чем доступно через поисковые системы. Конечно, к этим цифрам следует относиться с осторожностью. Например, существует проблема с различением разных представлений одного и того же материала в базах данных. Но тем не менее, цифры поражают воображение, и неэффективность современных поисковых систем просто шокирует.

Ключи к решению Править

В 2005 году компания «Yahoo!» сделала серьёзный шаг к решению этой проблемы. Компания выпустила поисковый движок «Yahoo! Subscriptions», который производит поиск по сайтам (пока немногочисленным), доступ к которым открыт только зарегистрированным участникам этих сайтов.

Это, однако, полностью не решило имеющейся проблемы. Эксперты поисковых систем по-прежнему пытаются найти технические возможности для индексации содержимого баз данных и доступа к закрытым веб-сайтам.

Специальные поисковые машины Править

Литература Править

  • Гари Прайс, Крис Шерман. «Невидимая паутина: Открывая источники информации, которые поисковые машины не видят» (англ. «The Invisible Web: Uncovering Information Sources Search Engines Can’t See», издательство CyberAge Books, 2001, ISBN 091096551X).

Ссылки Править

en:Deep Web fr:Web profond

Викия-сеть

Случайная вики