Недоступная природа глубокой паутины может вызывать в воображении образы хакеров, совершающих гнусные поступки, но это не совсем так.
Какую же запутанную паутину мы плетем на самом деле. Около 40 процентов населения мира использует Интернет для новостей, развлечений, общения и множества других целей.
Однако даже по мере того, как все больше и больше людей входят в систему, они фактически находят меньше данных, хранящихся в сети. Это потому, что легко доступна только часть того, что мы знаем как Всемирная паутина.
Так называемая поверхностная сеть, которую все мы используем регулярно, состоит из данных, которые поисковые системы могут найти и затем предложить в ответ на ваши запросы. Но точно так же, как наблюдателям видна только верхушка айсберга, традиционная поисковая система видит лишь небольшой объем доступной информации - жалкие 0,03 процента.
А что до всего остального? Что ж, многое из этого похоронено в так называемой глубокой сети. Глубокая сеть (также известная как нижняя сеть, невидимая сеть и скрытая сеть среди других названий) состоит из данных, которые вы не найдете с помощью простого поиска Google.
На самом деле никто не знает, насколько велика глубокая паутина, но она в сотни (или даже тысячи) раз больше, чем поверхностная паутина. Эти данные необязательно скрывать намеренно. Современным технологиям поисковых систем сложно найти и разобраться в этом.
Есть обратная сторона глубокой паутины, которая намного мрачнее, а иногда и темнее, поэтому ее также называют темной паутиной. В темной паутине пользователи действительно намеренно хоронят данные. Часто эти части Интернета доступны только в том случае, если вы используете специальное программное обеспечение браузера, которое помогает избавиться от луковичных слоев темной сети.
Это программное обеспечение обеспечивает конфиденциальность как источника, так и назначения данных, а также людей, которые получают к ним доступ. Как для политических диссидентов, так и для преступников такая анонимность демонстрирует огромную силу темной паутины, позволяя передавать информацию, товары и услуги, законно или незаконно, к огорчению власть имущих во всем мире.
Подобно тому, как поисковая система просто царапает поверхность Интернета, мы только начинаем. Продолжайте читать, чтобы узнать, насколько запутанным становится наш Интернет.
Содержание
- Скрыто на обычном сайте
- Прямо под поверхностью
- Глубокий потенциал
- Наступает тьма
- Возбуждающий тор
- Яркая сторона тьмы
- Даже глубже
Скрыто на обычном сайте
Глубокая паутина огромна по сравнению с поверхностной сетью. Сегодня в сети зарегистрировано более 555 миллионов доменов. Каждый из этих доменов может иметь десятки, сотни или даже тысячи подстраниц, многие из которых не каталогизированы и, таким образом, попадают в категорию глубокого Интернета.Хотя никто точно не знает, глубокая сеть может быть в 400-500 раз больше поверхностной сети. И поверхностная, и глубокая сеть с каждым днем становятся все больше и больше.
Чтобы понять, почему так много информации находится вне поля зрения поисковых систем, полезно иметь некоторое представление о поисковых технологиях. Вы можете прочитать все об этом в статье «Как работают поисковые системы в Интернете», но мы дадим вам краткое изложение здесь.
Поисковые системы обычно создают индекс данных, находя информацию, хранящуюся на веб-сайтах и других сетевых ресурсах. Этот процесс означает использование автоматических пауков или поисковых роботов, которые обнаруживают домены, а затем переходят по гиперссылкам на другие домены, как паукообразное животное, идущее по шелковистым завиткам паутины, в некотором смысле создавая обширную карту Сети.
Этот индекс или карта - ваш ключ к поиску конкретных данных, соответствующих вашим потребностям. Каждый раз, когда вы вводите поиск по ключевым словам, результаты появляются почти мгновенно благодаря этому индексу. Без него поисковой системе буквально пришлось бы начинать поиск по миллиардам страниц с нуля каждый раз, когда кому-то нужна информация, что было бы громоздко и раздражающе.
Но поисковые системы не могут видеть данные, хранящиеся в глубокой сети. Несовместимость данных и технические препятствия затрудняют индексацию. Существуют частные веб-сайты, для доступа к содержимому которых требуются пароли для входа. Сканеры не могут проникать в данные, требующие поиска по ключевым словам на одном конкретном веб-сайте. Существуют сайты с ограниченным доступом, которые больше не разрешают публичные просмотры по истечении определенного времени.
Все эти и многие другие проблемы значительно затрудняют поиск и индексирование данных поисковыми системами. Продолжайте читать, чтобы узнать больше о том, что разделяет поверхностную и глубокую паутину.
Прямо под поверхностью
Если вы думаете о Сети как об айсберге, огромная часть под водой - это глубокая паутина, а меньшая часть, которую вы видите над водой, - это поверхностная паутина.
Как мы уже отмечали, миллионы и миллионы подстраниц разбросаны по миллионам доменов. Существуют внутренние страницы без внешних ссылок, такие как internal.carder.market, которые используются для обслуживания сайта. Существуют неопубликованные или незарегистрированные сообщения в блогах, галереи изображений, каталоги файлов и огромное количество контента, который поисковые системы просто не видят.
Вот только один пример. В Интернете существует множество независимых газетных веб-сайтов, и иногда поисковые системы индексируют некоторые статьи на этих сайтах. Это особенно верно в отношении основных новостей, которые привлекают много внимания средств массовой информации. Быстрый поиск в Google, несомненно, откроет множество десятков статей, например, о футбольных командах чемпионата мира по футболу.
Но если вы ищете более неясную историю, вам, возможно, придется перейти непосредственно на сайт конкретной газеты, а затем просмотреть или выполнить поиск контента, чтобы найти то, что вы ищете. Это особенно верно по мере того, как новости стареют. Чем старше история, тем больше вероятность, что она хранится только в архиве газеты, который не виден в поверхностной сети. Впоследствии эта история может не сразу появиться в поисковых системах - поэтому она считается частью глубокой сети.
Глубокий потенциал
Если мы сможем разблокировать глубокую сеть для поиска в профессиональных базах данных и труднодоступной глубокой информации, такие области, как медицина, сразу же выиграют.
Поисковым системам трудно увидеть данные в глубокой паутине, но невидимые - не значит неважные. Как вы можете видеть только из нашего примера с газетой, огромная ценность информации, спрятанной в глубокой сети.
Глубокая сеть - это бесконечное хранилище огромного количества информации. Есть инженерные базы данных, финансовая информация всех видов, медицинские документы, картинки, иллюстрации ... список можно продолжать бесконечно.
А глубокая сеть становится все глубже и сложнее. Чтобы поисковые системы стали более полезными, их программисты должны понять, как погрузиться в глубокую сеть и вывести данные на поверхность. Каким-то образом они должны не только найти достоверную информацию, но и найти способ представить ее, не перегружая конечных пользователей.
Как и во всем бизнесе, поисковые системы имеют дело с более серьезными проблемами, чем то, сможем ли мы с вами найти лучший в мире рецепт яблочного чипса. Они хотят помочь корпоративным властям найти и использовать глубокую сеть новыми и ценными способами.
Например, инженеры-строители потенциально могут искать исследовательские работы в нескольких университетах, чтобы найти новейшие и лучшие материалы для строительства мостов. Врачи могли быстро найти результаты последних исследований по конкретному заболеванию.
Возможности безграничны. Технические проблемы огромны. В этом вся прелесть глубокой паутины. Но у глубокой паутины есть и более темная сторона, которая беспокоит многих людей по многим причинам.
Наступает тьма
Глубокая сеть может быть теневой землей неиспользованного потенциала, но, проявив немного навыков и немного удачи, вы сможете пролить свет на много ценной информации, над архивацией которой работали многие люди. В темной сети, где люди намеренно скрывают информацию, они предпочли бы, чтобы вы выключили свет.Темная сеть немного похожа на идентификатор Интернета. Это личное. Это анонимно. Это мощно. Он раскрывает человеческую природу во всех ее проявлениях, как хороших, так и плохих.
Плохие материалы, как всегда, попадают в большинство заголовков. Вы можете найти незаконные товары и действия всех видов в темной сети. Это включает в себя запрещенные наркотики, детскую порнографию, похищенные номера кредитных карт, торговлей людьми, оружием, экзотических животных, защищенных авторским правом СМИ и все , что вы можете думать. Теоретически вы даже можете, скажем, нанять киллера, чтобы убить того, кто вам не нравится.
Но вы не найдете эту информацию с помощью поиска Google. Такие веб-сайты требуют использования специального программного обеспечения, такого как The Onion Router , более известного как Tor.
Tor - это программное обеспечение, которое устанавливается в ваш браузер и настраивает определенные соединения, необходимые для доступа к темным веб-сайтам. Важно отметить, что Tor - это зашифрованная технология, которая помогает людям сохранять анонимность в Интернете. Частично это достигается за счет маршрутизации соединений через серверы по всему миру, что усложняет их отслеживание.
Tor также позволяет людям получать доступ к так называемым скрытым службам - подпольным веб-сайтам, которыми печально известна темная сеть. Вместо того, чтобы видеть домены, оканчивающиеся на .com или .org, эти скрытые сайты заканчиваются на .onion. На следующей странице мы очистим слои некоторых из этих луковиц.
Возбуждающий тор
В октябре 2013 года власти США закрыли Silk после ареста предполагаемого владельца сайта Росс Уильяма Ульбрихта.
Самым печально известным из этих луковых сайтов был ныне несуществующий Silk Road, онлайн-рынок, где пользователи могли покупать наркотики, оружие и все виды других незаконных товаров. ФБР в конце концов захватили Росс Ульбрихта, который оперировал Шелковый путь, но подражателя сайты, как Black Market Reloaded по - прежнему легко доступны.
Как ни странно, Tor является результатом исследования, проведенного Лабораторией военно-морских исследований США, которая создала Tor для политических диссидентов и информаторов, позволяя им общаться, не опасаясь репрессий.
Tor был настолько эффективен в обеспечении анонимности для этих групп, что у преступников не потребовалось много времени, чтобы начать его использовать.
Это ставит правоохранительные органы США в ироническую позицию, пытаясь отследить преступников, которые используют спонсируемое государством программное обеспечение, чтобы скрыть свои следы. Тор, казалось бы, палка о двух концах.
Анонимность является неотъемлемой частью даркнета, но вы можете задаться вопросом, как могут происходить транзакции, связанные с деньгами, если продавцы и покупатели не могут идентифицировать друг друга. Вот где приходит биткойн.
Если вы не слышали о биткойнах, это, по сути, зашифрованная цифровая валюта. Вы можете прочитать все об этом на странице Как работает биткойн. Как и обычные наличные, Биткойн хорош для транзакций любого типа, в частности, он также обеспечивает анонимность; Никто не может отследить покупку, незаконную или иную.
Биткойн может быть валютой будущего - децентрализованным и нерегулируемым типом денег, свободным от бразды правления одним государством. Но поскольку Биткойн не поддерживается никаким правительством, его стоимость часто сильно колеблется. Это совсем не безопасное место для хранения ваших сбережений. Но при правильном сочетании с Tor это, пожалуй, самый надежный способ покупки и продажи в Интернете.
Яркая сторона тьмы
Важным аспектом привлекательности Биткойн является анонимность транзакций.
Темная паутина имеет зловещий подтекст. Но не все на темной стороне плохо. Есть всевозможные услуги, которые не обязательно противоречат закону.
Темная сеть является домом для альтернативных поисковых систем, служб электронной почты, хранилищ файлов, обмена файлами, социальных сетей, сайтов чатов, новостных агентств и сайтов, сообщающих о нарушениях, а также сайтов, которые обеспечивают более безопасное место встреч для политических диссидентов и всех, кто могут оказаться на задворках общества.
В эпоху, когда слежка со стороны АНБ повсеместна, а конфиденциальность, кажется, уходит в прошлое, темная сеть предлагает некоторое облегчение людям, которые дорожат своей анонимностью. Поисковые системы Dark Web могут не предлагать персонализированные результаты поиска, но они также не отслеживают ваше поведение в Интернете и не предлагают бесконечный поток рекламы. Биткойн может быть не совсем стабильным, но он обеспечивает конфиденциальность, чего ваша компания-производитель кредитных карт, безусловно, не делает.
Для граждан, живущих в странах с жестокими или репрессивными лидерами, темная сеть предлагает более безопасный способ общения с единомышленниками. В отличие от Facebook или Twitter, за которыми решительным властям легко следить, темная паутина обеспечивает более глубокое прикрытие и определенную степень безопасности для тех, кто будет ругать или строить заговоры с целью подрыва политики или корпоративных властителей.
В статье, написанной исследователями из Люксембургского университета, предпринята попытка ранжировать наиболее популярные материалы в темной сети. Они обнаружили, что, хотя сайты, торгующие незаконной деятельностью и контентом для взрослых, очень популярны, они также очень популярны и тем, кто обеспокоен правами человека и свободой информации.
Так что, хотя у дарквеба определенно есть свои уродливые стороны, у него также есть большой потенциал.
Даже глубже
Глубокая паутина становится только глубже. Его запас человеческих знаний и мелочей растет с каждым днем, что усложняет наши попытки разобраться во всем этом. В конце концов, это, пожалуй, самая большая проблема Интернета, который мы создали.Программисты будут продолжать улучшать алгоритмы поисковых систем, улучшая их способность проникать в более глубокие слои Интернета. Тем самым они помогут исследователям и предприятиям соединять и перекрестно ссылаться на информацию способами, которые раньше были невозможны.
В то же время основная задача умной поисковой системы - не просто находить информацию. Что вам действительно нужно, так это найти самую актуальную информацию. В противном случае вы останетесь в море беспорядочных данных, из-за которых вы пожалеете, что никогда не нажимали эту кнопку поиска.
Это проблема так называемых больших данных . Большие данные - это набор данных, которые настолько велики, что становятся неуправляемыми и непоследовательными. Поскольку Интернет растет так быстро, весь наш мир переполнен данными, и кому-либо трудно понять все это - даже все эти мощные, всезнающие компьютеры в штаб-квартире Bing и Google.
По мере роста Интернета каждая крупная компания тратит все больше и больше денег на управление и анализ данных, как для поддержания функционирования своих собственных организаций, так и для получения конкурентных преимуществ перед другими. Майнинг и организация глубокой паутины - жизненно важная часть этих стратегий. Те компании, которые научатся использовать эти данные для собственных нужд, выживут и, возможно, изменят мир с помощью новых технологий. Те, кто полагается только на поверхностную сеть, не смогут конкурировать.
Между тем, глубокая сеть будет и дальше сбивать с толку и очаровывать всех, кто пользуется Интернетом. Он содержит захватывающий объем знаний, которые могут помочь нам развиваться технологически и как биологический вид, когда мы связаны с другими битами информации. И, конечно же, всегда будет скрываться его темная сторона, как и всегда в человеческой природе. Глубокая паутина говорит о бездонном, рассеянном потенциале не только Интернета, но и всего человечества.
Примечание автора
Глубокая паутина - неопределенное и неоднозначное место. Но, исследуя эту историю, легко было прийти к выводу, по крайней мере, в одном: большинство заголовков новостей, как правило, делают сенсацию темной паутиной и ее более убогой стороной и редко упоминают неиспользованный потенциал глубокой паутины. Статьи о незаконных наркотиках и оружии, очевидно, привлекают больше читателей, чем статьи о технических проблемах сбора данных из глубокой сети. Читайте негативные, запыхавшиеся статьи с недоверием. Стоит помнить, что глубокая сеть - это гораздо больше, чем очевидный криминальный элемент. По мере того как инженеры находят более эффективные и быстрые способы каталогизировать хранилища данных в Интернете, Интернет в целом может поразительным образом изменить наше общество.
