Глубокая паутина (иногда упоминается как невидимая паутина и скрытая паутина) — часть веб-страниц Всемирной паутины, не индексированная поисковыми системами. Термины произошли от соотв. англ. deep web, invisible web, hidden web. Не следует смешивать понятие глубокая паутина с понятием тёмная паутина, под которым имеются в виду сетевые сегменты, вообще не подключённые к сети Интернет.
Суть проблемы[]
В глубокой паутине находятся веб-страницы, которые никак не связаны с другими — например, страницы, динамически создаваемые по запросам к базам данных. В глубокой паутине также находятся сайты, доступ к которым открыт только для зарегистрированных участников. Поисковые системы используют специальные роботы (англ. web crawler), которые переходят по гиперссылкам и индексируют содержимое веб-страниц, на которых они оказываются. Обыкновенно такие роботы не направляют запросы к базам данных (за исключением случаев, когда запрос помещается в отдельную гиперссылку на странице). Вот почему огромная часть Всемирной паутины оказывается «на глубине», скрытой от взоров поисковых систем.
Масштаб бедствия[]
В 2000 году поисковая компания «BrightPlanet» провела исследование, которое показало, что в глубокой паутине находится в 500 раз больше документов, чем доступно через поисковые системы. Конечно, к этим цифрам следует относиться с осторожностью. Например, существует проблема с различением разных представлений одного и того же материала в базах данных. Но тем не менее, цифры поражают воображение, и неэффективность современных поисковых систем просто шокирует.
Ключи к решению[]
В 2005 году компания «Yahoo!» сделала серьёзный шаг к решению этой проблемы. Компания выпустила поисковый движок «Yahoo! Subscriptions», который производит поиск по сайтам (пока немногочисленным), доступ к которым открыт только зарегистрированным участникам этих сайтов.
Это, однако, полностью не решило имеющейся проблемы. Эксперты поисковых систем по-прежнему пытаются найти технические возможности для индексации содержимого баз данных и доступа к закрытым веб-сайтам.
Специальные поисковые машины[]
- Yahoo! Subscriptions
- QProber: Классификация и поиск по «скрытым» базам данных
- MetaQuerier: Обследуя и интегрируя глубокую паутину
Литература[]
- Гари Прайс, Крис Шерман. «Невидимая паутина: Открывая источники информации, которые поисковые машины не видят» (англ. «The Invisible Web: Uncovering Information Sources Search Engines Can’t See», издательство CyberAge Books, 2001, ISBN 091096551X).
Ссылки[]
- Доклад компании BrightPlanet
- Общая информация о глубокой паутине
- Примеры открытия ресурсов глубокой паутины
- Портал невидимой паутины
de:Deep Web en:Deep Web fr:Web profond