Our blog

02.11.2014 21:31 | Our blog

Поисковики для Tor: как заглянуть внутрь глубокого интернета?

Source: qwrt.ru
Tags как искать информацию, Невидимый интернет deep web, открытые источники, поиск
Сайты, размещенные в сети Tor, не индексируются обычными поисковиками. Тем не менее, существуют технические решения, которые позволяют вам узнать кое-что о глубоком интернете. У них, как и у Google и «Яндекса», есть свои плюсы и минусы.
.
26-летний программист Юха Нурми из Финляндии занимается проблемами индексации сайтов в Tor уже давно. Он является научным сотрудником одного из финских университетов. Этим летом Нурми побывал на Google Summer of Code, где работал над улучшением сервиса Ahmia.fi. Этот сайт позволяет осуществлять поиск по многим директориям Tor и доступен как из глубокого интернета, так и из обычного.
.
Юха Нурми
Существует тенденция делать сеть Tor более доступной и дружественной к пользователю. Моя мотивация писать программное обеспечение для поисковой машины заключается в поддержке прав человека, таких как неприкосновенность частной жизни и свобода слова.
Проект Ahmia является инициативой некоммерческой организации Hermes Center for Transparency and Digital Human Rights, поддерживающей Tor, и развивающей сервисы анонимного общения Globaleaks и Tor2web.
Нурми поясняет, что существуют три важные особенности, которые делают поиск в глубоком интернете непохожим на обычную работу поисковой машины.
.
Во-первых, ссылки между onion-сайтами [сайтами в сети Tor, имеющими доменное расширение .onion] редки, как следствие, алгоритмы, использующие обратные ссылки, работают не очень хорошо.
Во-вторых, требуется время, чтобы просмотреть все [содержимое сайта], потому что Tor работает медленно. Наконец, onion-сайты все время меняют адреса.
.
Проект Ahmia уже проиндексировал 1229 сайтов в Tor. Это число не включает IRC-каналы и другие сервисы обмена мгновенными сообщениями. Также в него не входят сайты, не афиширующие свое существование, поскольку Ahmia не в состоянии обнаружить их. Ahmia также отфильтровывает сайты с детской порнографией, многие из которых находятся в глубоком интернете.
.
Исследование запросов пользователей в поисковике дает самое неприглядное представление о Tor. Самый популярный сайт по частоте обращения пользователей Ahmia к нему — Pinkmeth, сайт для «порномести», где размещаются эротические фотографии людей без их согласия. Изначально Pinkmeth располагался в обычном интернете, но ушел в Tor, когда на него обратили внимание правоохранительные органы. Ранее так же поступили сайты Anonymous BBS, Hidden Wiki (каталог скрытых сайтов) и форум IntelExchange..
.
Так выглядят запросы пользователей Ahmia, оформленные в виде облака слов
.
Поисковик Torsearch.se, разработанный программистом Крисом Макнотеном, работает в обычном интернете и это одна из самых быстрых поисковых машин для Tor.
.
Крис Макнотен
Способ, которым я делаю возможной индексацию .onion – использование Nutch, проекта на Apache, изначально разработанного в Yahoo для улучшения сканирования интернета. Когда я определю, что пользователь не использует Tor, я буду изменять ссылки на onion.to - систему, использующую прокси Tor2web.
Tor2web позволяет пользователям, пользующимся обычным браузером, просматривать сайты глубокого интернета. Создатели сайта при этом остаются анонимными, чего не скажешь о тех, кто эти сайты посещает. Tor2web помогает сайтам из Tor охватывать более широкую аудиторию.
.
.
Один из самых старых поисковиков для глубокого интернета — Torch. Он доступен только внутри Tor и, как утверждается на самом сайте, индексирует 147776 скрытых сайтов. Для него доступна форма расширенного поиска по нескольким параметрам. Похож на него TorFind, которые индексирует соединения I2P, файлообменной сети, действующей по принципу торрента.
.
Относительно недавно в Tor появился поисковик Grams. Он используется, прежде всего, для установления соединения с рынками запрещенных товаров, такими как Silk Road 2, преемнике сайта, уничтоженного в прошлом году ФБР. С Grams можно искать товары на Agora, Evolution и Pandora.
.
.
Поиск с помощью Grams не всегда успешен. Многие рынки часто испытывают проблемы с доступностью, иногда из-за DdoS-атак, иногда — из-за проблем с безопасностью. Кроме того, почти все они требуют регистрации, что затрудняет переход из поисковика на конкретный сайт.
Одним из лучших мест для ориентации в Tor остается Hidden Wiki, каталог сайтов глубокого интернета. Там находятся сотни ссылок, которые помогают пользователю найти нужный ему сайт. Hidden Wiki, в отличие от Ahmia, никак не фильтрует ссылки.
.
Кроме того, в глубоком интернете существует DeepDotWeb — периодическое издание, рассказывающее о том, как устроена и как меняется сеть Tor. Там, в Tor, существует целый параллельный мир. Нужно только уметь ориентироваться в нем.
Site development SeaDesign O2