Составление карты даркнета

[Lord777]

По общему мнению, публичный Интернет - это большое место. По некоторым оценкам, в общедоступном Интернете сейчас размещено более 1 миллиарда веб-сайтов. Эксперты прогнозируют, что в 2019 году пользователи Интернета отправят или получат более 2 зеттабайт данных. Обычно это 2 миллиарда терабайт (см. рисунок ниже). Если вы не видите кружок, обозначающий объем данных, хранящихся на обычном домашнем компьютере, вы не одиноки. Даже если вы увеличите масштаб этой страницы на 10 000%, точка справа все равно будет всего 5 нанометров в диаметре.

Рисунок 1: сравнение годового общедоступного интернет-трафика и данных, хранящихся на обычном домашнем компьютере.

Каким бы большим ни был Интернет, частный Интернет - или глубокая сеть - все еще намного больше. Глубокая сеть состоит из всей информации, скрытой за стеной входа. Для существования частного интернета есть веская причина. Мы не хотели бы, чтобы все наши финансовые отчеты, отчеты о состоянии здоровья и даже голосования были общедоступными для всеобщего обозрения. По последним оценкам, глубокая сеть может быть в 25 раз больше, чем общедоступный Интернет. Неудивительно, что крупнейшим веб-сайтом в частном Интернете является Facebook.
Цель этого сообщения в блоге - изучить еще более приватный раздел Интернета - скрытые службы Tor. ВМС США разработали сеть Tor с тремя целями. Первая заключалась в защите целостности коммуникаций между базами в США и персоналом, выезжающим за границу. Для этого асимметричные ключи шифрования шифруют все сообщения. Эти ключи очень сложно, если вообще возможно, взломать, если у вас нет одного из тех модных квантовых компьютеров, о которых мы постоянно слышим.

Рисунок 2: Необычный квантовый компьютер 1

Вторая цель сети Tor заключалась в том, чтобы скрыть адресат связи удаленного персонала ВМС США. Агент в Иране, например, не хотел бы, чтобы их сообщения были идентифицированы как идущие на базу ВМС США. Для этого в сети Tor используется серия реле, которые очень затрудняют отслеживание пакетов, перемещающихся через Интернет. Если только у вас снова не будет один из этих причудливых квантовых компьютеров (см. Рисунок 2).
Теперь, если бы только персонал ВМС США использовал сеть Tor, все это шифрование было бы бесполезным. Вот почему третьей и последней целью сети Tor было сделать ее доступной для публики. Это создает шум, в котором может скрываться движение ВМС США. Скрытые сервисы Tor - это веб-сайты, размещенные в сети Tor. Они извлекают выгоду из всего шифрования, которое обеспечивает сеть Tor. Поэтому очень сложно идентифицировать физический сервер, на котором размещается их контент, и профилировать их посетителей. Согласно проекту Tor, неправительственной организации, которая сейчас управляет сетью Tor, ежедневно действует от 50 000 до 120 000 скрытых сервисов.
Во многих исследованиях (здесь 2, здесь 3 и здесь 4) анализировался контент, обнаруженный на скрытых сервисах Tor. Они обнаружили , что большая часть его была связана с онлайн незаконных рынков, наркотиков и детской порнографии. Финансовое мошенничество, взлом и мошенничество с использованием личных данных также были популярны в скрытых сервисах Tor. На рисунке 3 представлена сводка результатов, сделанных Спиттерсом и соавторами в 2014 году. Эти результаты генерировали веб-сканеры, которые индексировали содержимое скрытых сервисов Tor аналогично тому, как это делают роботы-индексаторы Google. Сканеры посещают домашнюю страницу скрытого сервиса Tor в поисках гиперссылок на другие веб-страницы на том же или на разных веб-сайтах. Сканеры переходят по каждой ссылке, пока не исчерпают свою очередь.

Рисунок 3: Контент, обнаруженный на скрытых сервисах Tor[

Flare Systems Inc. разработала собственную инфраструктуру веб-сканирования, которая гордится своей гибкостью и эффективностью. Действительно, каждая задача поискового робота распределяется между несколькими узлами. Узлы работают параллельно для загрузки веб-страниц, аутентификации на веб-сайтах, которые требуют, чтобы посетители указывали имя пользователя и пароль, и индексации содержимого веб-страниц. С их помощью Flare Systems Inc. строит свою собственную карту даркнета, где каждая точка является скрытой службой Tor, а каждая строка является гиперссылкой между скрытыми службами Tor. Вы можете попробовать и посчитать скрытый сервис Tor, если вам скучно на работе, но мы дадим вам ответ на вопрос, сколько их существует на рисунке 4.

Рисунок 4: Карта даркнета

Есть много способов определить, насколько важна каждая скрытая служба Tor. В прошлых исследованиях была предпринята попытка измерить их интернет-трафик. В этом сообщении в блоге мы вместо этого воспользуемся анализом социальных сетей, чтобы составить список 5 лучших скрытых сервисов Tor на основе трех показателей. Первая называется степенью центральности. Это количество входящих гиперссылок с других веб-сайтов. Чем больше упоминаний и ссылок получает скрытый сервис Tor, тем больше вероятность, что он будет важен в сети. Вторая метрика - это степень центральности близости. Он вычисляет количество переходов, которое посетителю потребуется для перехода от одной скрытой службы Tor к любой другой скрытой службе Tor. В некотором смысле это мера диаметра даркнета. Третий показатель - рейтинг страницы. Он основан на алгоритме Google для определения наиболее релевантных веб-сайтов. Эта актуальность измеряется как количеством входящих гиперссылок, так и известностью скрытых служб Tor, указывающих эти гиперссылки на другую скрытую службу Tor. На Рисунке 1 представлены 5 лучших скрытых сервисов Tor для каждой метрики.

Выводы
Из этой таблицы можно сделать три основных вывода. Во-первых, используя анализ социальных сетей, мы обнаруживаем, что важность законных веб-сайтов в даркнете намного выше, чем считалось ранее. Действительно, чаты, услуги веб-хостинга и каталоги сами по себе не являются незаконными, хотя они могут использоваться в гнусных (или серьезных тратах времени5) целях. Таким образом, даркнет не обязательно связан с угрозами и преступлениями, в зависимости от того, как вы оцениваете актуальность скрытых сервисов Tor.
Второй вывод заключается в том, что обнаруженная нами незаконная деятельность, по-видимому, сосредоточена вокруг незаконных рынков, будь то общие (например, DreamMarket) или конкретные (например, кардинг). Они были названы одними из самых распространенных в даркнете, и наше исследование показало аналогичный результат.
Наконец, скрытые службы Tor, по-видимому, слабо связаны друг с другом, поскольку наша индексация смогла собрать данные только о небольшом подмножестве доступных скрытых служб Tor. Многие из этих скрытых служб Tor, скорее всего, представляют собой одностраничные тесты или пустые веб-сайты, но сложность доступа к этим скрытым службам Tor заметно отличается от Интернета, где связь между веб-сайтами намного выше. Дальнейший анализ показывает, что для перехода от одной скрытой службы Tor к другой, наиболее удаленной, необходимо до 10 переходов; общедоступный Интернет можно пересечь за 19 переходов, то есть почти в два раза больше, но при этом количество веб-сайтов в 10 000 раз больше.

Резюме
Таким образом, это исследование показывает, что даркнет более разнообразен, чем предполагалось изначально, и что метрика, используемая для описания, важна для оценки полученных результатов.

Рекомендации
[1] Источник: https://www.techworm.net/wp-content/uploads/2017/09/maxresdefault-1.jpg
[2] Источник: researchgate.net
[3] https://arxiv.org/pdf/1308.6768.pdf
[4] sciencedirect.com