Peer-to-peer технологии

Выполнила:

студентка 1 курса ФМФ магистратуры

Кулаченко Надежда Сергеевна

Проверил:

Чернышенко Сергей Викторович

Москва 2011

Введение

По мере развития Интернета все больший интерес у пользователей вызывают технологии обмена файлами. Более доступная, чем раньше, Сеть и наличие широких каналов доступа позволяют значительно проще находить и закачивать нужные файлы. Не последнюю роль в этом процессе играют современные технологии и принципы построения сообществ, которые позволяют строить системы, весьма эффективные с точки зрения как организаторов, так и пользователей файлообменных сетей. Таким образом, данная тема на сегодняшний день является актуальной, т.к. постоянно появляются новые сети, а старые либо прекращают работу, либо модифицируются и улучшаются. По некоторым данным, в настоящее время в Интернете более половины всего трафика приходится на трафик файлообменных пиринговых сетей. Размеры самых крупных из них перевалили за отметку в миллион одновременно работающих узлов. Общее количество зарегистрированных участников таких файлообменных сетей во всем мире составляет порядка 100 млн.

Peer-to-peer (англ. равный равному) - древний принцип японских самураев и утопических социалистов. Он обрел настоящую популярность в конце ХХ столетия. Сейчас этот принцип используют миллионы пользователей интернета, разговаривая с друзьями из далеких стран, скачивая файлы у пользователей с которыми никогда не были знакомы.

Peer-to-peer (P2P) технологии являются одной из наиболее популярных тем на сегодняшний день. Популярность, достигнутая с помощью таких программам как Skype, Bittorrent, DirectConnect и список таких программ можно продолжать и продолжать, подтверждает потенциал peer-to-peer систем.

В данной работе я рассмотрю отдельные принципы функционирования ресурсов этой тематики, принципы функционирования популярных пиринговых сетей, активно применяемых для обмена файлами, а также проблемы их использования.

1. Napster и Gnutella - первые пиринговые сети

Первая пиринговая сеть Napster появилась в 1999 году и сразу стала известна всему Интернет-сообществу. Автором клиента был восемнадцатилетний Шон Феннинг. Napster соединил тысячи компьютеров с открытыми ресурсами. Изначально пользователи Napster обменивались mp3 файлами.

Napster позволял создать интерактивную многопользовательскую среду для некоторого специфического взаимодействия. Napster предоставляет всем подключенным к нему пользователям возможность обмениваться музыкальными файлами в формате mp3 практически напрямую: центральные серверы Napster обеспечивают возможность поиска на компьютерах всех подключенных к ним пользователей, а обмен происходит в обход центральных серверов, по схеме user-to-user. Немалая часть записей, циркулирующих в сформировавшейся вокруг Napster среде, защищена законом об авторских правах, однако распространяется бесплатно. Napster спокойно просуществовал пять месяцев, став весьма востребованным сервисом.

7 декабря Ассоциация индустрии звукозаписи Америки (RIAA) подала на компанию Napster в суд за «прямое и косвенное нарушение копирайта».

В конце концов, Napster сперва продался какой-то европейской фирме, а потом и вовсе был закрыт.

Gnutella - была создана в 2000 г программистами фирмы Nullsoft как преемница Napster. Она функционирует до сих пор, хотя из-за серьезных недостатков алгоритма пользователи в настоящее время предпочитают сеть Gnutella2. Эта сеть работает без сервера (полная децентрализация).

При подключении клиент получает от узла, с которым ему удалось соединиться, список из пяти активных узлов; им отсылается запрос на поиск ресурса по ключевому слову. Узлы ищут у себя соответствующие запросу ресурсы и, если не находят их, пересылают запрос активным узлам вверх по “дереву” (топология сети имеет структуру графа типа “дерево”), пока не найдется ресурс или не будет превышено максимальное число шагов. Такой поиск называется размножением запросов (query flooding).

Понятно, что подобная реализация ведет к экспоненциальному росту числа запросов и соответственно на верхних уровнях “дерева” может привести к отказу в обслуживании, что и наблюдалось неоднократно на практике. Разработчики усовершенствовали алгоритм, ввели правила, в соответствии с которыми запросы могут пересылать вверх по “дереву” только определенные узлы - так называемые выделенные (ultrapeers), остальные узлы (leaves) могут лишь запрашивать последние. Введена также система кеширующих узлов.

В таком виде сеть функционирует и сейчас, хотя недостатки алгоритма и слабые возможности расширяемости ведут к уменьшению ее популярности.

Недостатки протокола Gnutella инициировали разработку принципиально новых алгоритмов поиска маршрутов и ресурсов и привели к созданию группы протоколов DHT (Distributed Hash Tables) - в частности, протокола Kademlia, который сейчас широко используется в наиболее крупных сетях.

Запросы в сети Gnutella пересылаются по TCP или UDP, копирование файлов осуществляется через протокол HTTP. В последнее время появились расширения для клиентских программ, позволяющие копировать файлы по UDP, делать XML-запросы метаинформации о файлах.

В 2003 г. был создан принципиально новый протокол Gnutella2 и первые поддерживающие его клиенты, которые были обратносовместимы с клиентами Gnutella. В соответствии с ним некоторые узлы становятся концентраторами, остальные же являются обычными узлами (leaves). Каждый обычный узел имеет соединение с одним-двумя концентраторами. А концентратор связан с сотнями обычных узлов и десятками других концентраторов. Каждый узел периодически пересылает концентратору список идентификаторов ключевых слов, по которым можно найти публикуемые данным узлом ресурсы. Идентификаторы сохраняются в общей таблице на концентраторе. Когда узел “хочет” найти ресурс, он посылает запрос по ключевому слову своему концентратору, последний либо находит ресурс в своей таблице и возвращает ID узла, обладающего ресурсом, либо возвращает список других концентраторов, которые узел вновь запрашивает по очереди случайным образом. Такой поиск называется поиском с помощью метода блужданий (random walk).

Примечательной особенностью сети Gnutella2 является возможность размножения информации о файле в сети без копирования самого файла, что очень полезно с точки зрения отслеживания вирусов. Для передаваемых пакетов в сети разработан собственный формат, похожий на XML, гибко реализующий возможность наращивания функциональности сети путем добавления дополнительной служебной информации. Запросы и списки ID ключевых слов пересылаются на концентраторы по UDP.

2. P2Pтехнологии. Принцип «клиент-клиент»

Одноранговая, децентрализованная или пиринговая (от англ. peer-to-peer, P2P - равный к равному) сеть - это оверлейная компьютерная сеть, основанная на равноправии участников. В такой сети отсутствуют выделенные серверы, а каждый узел (peer) является как клиентом, так и сервером. В отличие от архитектуры клиент-сервера, такая организация позволяет сохранять работоспособность сети при любом количестве и любом сочетании доступных узлов. Участниками сети являются пиры.

Впервые термин peer-to-peer был использован в 1984 г. компанией IBM при разработке сетевой архитектуры для динамической маршрутизации трафика через компьютерные сети с произвольной топологией (Advanced Peer to Peer Networking). В основе технологии лежит принцип децентрализации: все узлы в сети P2P равноправны, т.е. каждый узел может одновременно выступать как в роли клиента (получателя информации), так и в роли сервера (поставщика информации). «Это обеспечивает такие преимущества технологии P2P перед клиент-серверным подходом, как отказоустойчивость при потере связи с несколькими узлами сети, увеличение скорости получения данных за счет копирования одновременно из нескольких источников, возможность разделения ресурсов без “привязки” к конкретным IP-адресам, огромная мощность сети в целом и др.»[ 2]

Каждый из равноправных узлов взаимодействует напрямую лишь с некоторым подмножеством узлов сети. В случае необходимости передачи файлов между неконтактирующими напрямую узлами сети передача файлов осуществляется либо через узлы-посредники, либо по временно установленному прямому соединению (оно специально устанавливается на период передачи). В своей работе файлообменные сети используют свой собственный набор протоколов и ПО, который несовместим с протоколами FTP и HTTP и обладает важными усовершенствованиями и отличиями. Во-первых, каждый клиент такой сети, скачивая данные, позволяет подключаться к нему другим клиентам. Во-вторых, P2P-серверы (в отличие от HTTP и FTP) не хранят файлов для обмена, а их функции сводятся в основном к координации совместной работы пользователей в данной сети. Для этого они ведут своеобразную базу данных, в которой хранятся следующие сведения:

Какой IP-адрес имеет тот или иной пользователь сети;

Какие файлы размещены у какого клиента;

Какие фрагменты каких файлов где находятся;

Статистика того, кто сколько скачал себе и дал скачать другим.

Работа в типичной файлообменной сети строится следующим образом:

Клиент запрашивает в сети требуемый файл (перед этим возможно проведя поиск нужного файла по данным, хранящимся на серверах).

Если нужный файл имеется и найден, сервер отдает клиенту IP-адреса других клиентов, у которых данный файл был найден.

Клиент, запросивший файл, устанавливает «прямое» соединение с клиентом или клиентами, у которых имеется нужный файл, и начинает его скачивать (если клиент не отключен в это время от сети или не перегружен). При этом в большинстве P2P-сетей возможно скачивание одного файла сразу из нескольких источников.

Клиенты информируют сервер обо всех клиентах, которые к ним подключаются, и файлах, которые те запрашивают.

Сервер заносит в свою базу данных кто что скачал (даже если скачаны файлы не целиком).

Сети, созданные на основе технологии Peer-to-Peer, также называются пиринговыми, одноранговыми или децентрализованными. И хотя они используются сейчас в основном для разделения файлов, существует еще много других областей, где данная технология тоже успешно применяется. Это телевидение и аудиотрансляции, параллельное программирование, распределенное кэширование ресурсов для разгрузки серверов, рассылка уведомлений и статей, поддержка системы доменных имен, индексирование распределенных ресурсов и их поиск, резервное копирование и создание устойчивых распределенных хранилищ данных, обмен сообщениями, создание систем, устойчивых к атакам типа “отказ в обслуживании”, распространение программных модулей.

3. Основные уязвимые стороны P2P

Чтобы справиться с описанной проблемой, клиенты должны пользоваться надежными хеш-функциями (“деревьями” хеш-функций, если файл копируется по частям), такими, как SHA-1, Whirlpool, Tiger, и только для решения малоответственных задач - контрольными суммами CRC. Для уменьшения объемов пересылаемых данных и облегчения их шифрования можно применить компрессию. Для защиты от вирусов нужно иметь возможность хранить идентифицирующую метаинформацию о “червях”, как это, в частности, сделано в сети Gnutella2.

Другая проблема - возможность подделки ID серверов и узлов. При отсутствии механизма проверки подлинности пересылаемых служебных сообщений, например с помощью сертификатов, существует возможность фальсификации сервера или узла (многих узлов). Так как узлы обмениваются информацией, подделка некоторых из них приведет к компрометации всей сети или ее части. Закрытое ПО клиентов и серверов не является решением проблемы, так как есть возможность для реинжиниринга протоколов и программ (reverseengineering).

Часть клиентов только копируют чужие файлы, но не предлагают ничего для копирования другим (leechers).

В московских домовых сетях на нескольких активистов, делающих доступными более 100 Гбайт информации, приходится около сотни, выкладывающих менее 1 Гбайт. Для борьбы с этим используются разные методы. В eMule применен метод кредитов: скопировал файл - кредит уменьшился, позволил скопировать свой файл - кредит увеличился (xMule - кредитная система с поощрением распространения редких файлов). В сети eDonkey стимулируется размножение источников, в Bittorrent реализована схема “сколько блоков файла получил, столько отдал” и т. п.

4. Некоторые пиринговые сети

4.1 DirectConnect

пиринговый сеть torrent одноранговый

Direct Connect - это частично централизованная файлообменная (P2P) сеть, в основе работы которой лежит особый протокол, разработанный фирмой NeoModus.

NeoModus была основана Джонатаном Хессом (Jonathan Hess) в ноябре 1990 года как компания, зарабатывавшая на adware-программе «Direct Connect». Первым сторонним клиентом стал «DClite», который никогда полностью не поддерживал протокол. Новая версия Direct Connect уже требовала простой ключ шифрования для инициализации подключения, этим он надеялся блокировать сторонние клиенты. Ключ был взломан и автор DClite выпустил новую версию своей программы, совместимой с новым программным обеспечением от NeoModus. Вскоре, код DClite был переписан, и программа была переименована в Open Direct Connect. Кроме всего прочего, ее пользовательский интерфейс стал многодокументным (MDI), и появилась возможность использовать плагины для файлообменных протоколов (как в MLDonkey). У Open Direct Connect также не было полной поддержки протокола, но появился под Java. Немногим позже, начали появляться и другие клиенты: DCTC (Direct Connect Text Client), DC++ и др.

Сеть работает следующим образом. Клиенты подключаются к одному или нескольким серверам, так называемым хабам для поиска файлов, которые обычно не связаны между собой (некоторые типы хабов можно частично или полностью связать в сеть, используя специализированные скрипты или программу Hub-Link) и служат для поиска файлов и источников для их скачивания. В качестве хаба чаще всего используются PtokaX, Verlihub, YnHub, Aquila, DB Hub, RusHub. Для связи с другими хабами используются т.н. dchub-ссылки:

dchub://[ имя пользователя ]@[ IP или Домен хаба ]:[ порт хаба ]/[путь к файлу]/[имя файла]

Отличия от других P2P-систем:

1. Обусловленные структурой сети

· Развитый многопользовательский чат

· Сервер сети (хаб) может быть посвящен определенной теме (например музыке конкретного направления), что позволяет легко находить пользователей с требуемой тематикой файлов

· Присутствие привилегированных пользователей - операторов, обладающих расширенным набором возможностей управления хабом, в частности, следящих за соблюдением пользователями правил чата и файлообмена

2. Зависящие от клиента

· Возможность скачивать целые директории

· Результаты поиска не только по названиям файлов, но и по директориям

· Ограничения на минимальное количество расшаренного материала (по объёму)

· Поддержка скриптов с потенциально безграничными возможностями как на клиентской стороне, так и на стороне хаба (верно не для всяких хабов и клиентов)

Авторы клиента DC++ разработали для решения специфичных проблем принципиально новый протокол, называнный Advanced Direct Connect (ADC), цель которого - повышение надежности, эффективности и безопасности файлообменной сети. 2 декабря 2007 года вышла окончательная версия протокола ADC 1.0. Протокол продолжает развиваться и дополняться.

4.2 BitTorrent

BitTorrent (букв. англ. «битовый поток») - пиринговый (P2P) сетевой протокол для кооперативного обмена файлами через Интернет.

Файлы передаются частями, каждый torrent-клиент, получая (скачивая) эти части, в то же время отдаёт (закачивает) их другим клиентам, что снижает нагрузку и зависимость от каждого клиента-источника и обеспечивает избыточность данных. Протокол был создан Брэмом Коэном, написавшим первый torrent-клиент «BitTorrent» на языке Python 4 апреля 2001 года. Запуск первой версии состоялся 2 июля 2001 года.

Для каждой раздачи создаётся файл метаданных с расширением.torrent, который содержит следующую информацию:

URL трекера;

Общую информацию о файлах (имя, длину и пр.) в данной раздаче;

Контрольные суммы (точнее, хеш-суммы SHA1) сегментов раздаваемых файлов;

Passkey пользователя, если он зарегистрирован на данном трекере. Длина ключа устанавливается трекером.

Необязательно:

Хеш-суммы файлов целиком;

Альтернативные источники, работающие не по протоколу BitTorrent. Наиболее распространена поддержка так называемых web–сидов (протокол HTTP), но допустимыми также являются ftp, ed2k, magnet URI.

Файл метаданных является словарем в bencode формате. Файлы метаданных могут распространяться через любые каналы связи: они (или ссылки на них) могут выкладываться на веб-серверах, размещаться на домашних страницах пользователей сети, рассылаться по электронной почте, публиковаться в блогах или новостных лентах RSS. Также есть возможность получить info часть публичного файла метаданных напрямую от других участников раздачи благодаря расширению протокола "Extension for Peers to Send Metadata Files". Это позволяет обойтись публикацией только магнет-ссылки. Получив каким-либо образом файл с метаданными, клиент может начинать скачивание.

Перед началом скачивания клиент подсоединяется к трекеру по адресу, указанному в торрент-файле, сообщает ему свой адрес и хеш-сумму торрент-файла, на что в ответ клиент получает адреса других клиентов, скачивающих или раздающих этот же файл. Далее клиент периодически информирует трекер о ходе процесса и получает обновлённый список адресов. Этот процесс называется объявлением (англ. announce).

Клиенты соединяются друг с другом и обмениваются сегментами файлов без непосредственного участия трекера, который лишь хранит информацию, полученную от подключенных к обмену клиентов, список самих клиентов и другую статистическую информацию. Для эффективной работы сети BitTorrent необходимо, чтобы как можно больше клиентов были способны принимать входящие соединения. Неправильная настройка NAT или брандмауэра могут этому помешать.

При соединении клиенты сразу обмениваются информацией об имеющихся у них сегментах. Клиент, желающий скачать сегмент (личер), посылает запрос и, если второй клиент готов отдавать, получает этот сегмент. После этого клиент проверяет контрольную сумму сегмента. Если она совпала с той, что записана в торрент-файле, то сегмент считается успешно скачанным, и клиент оповещает всех присоединенных пиров о наличии у него этого сегмента. Если же контрольные суммы различаются, то сегмент начинает скачиваться заново. Некоторые клиенты банят тех пиров, которые слишком часто отдают некорректные сегменты.

Таким образом, объем служебной информации (размер торрент-файла и размер сообщений со списком сегментов) напрямую зависит от количества, а значит, и размера сегментов. Поэтому при выборе сегмента необходимо соблюдать баланс: с одной стороны, при большом размере сегмента объем служебной информации будет меньше, но в случае ошибки проверки контрольной суммы придется скачивать еще раз больше информации. С другой стороны, при малом размере ошибки не так критичны, так как необходимо заново скачать меньший объём, но зато размер торрент-файла и сообщений об имеющихся сегментах становится больше.

Когда скачивание почти завершено, клиент входит в особый режим, называемый end game. В этом режиме он запрашивает все оставшиеся сегменты у всех подключенных пиров, что позволяет избежать замедления или полного «зависания» почти завершенной закачки из-за нескольких медленных клиентов.

Спецификация протокола не определяет, когда именно клиент должен войти в режим end game, однако существует набор общепринятых практик. Некоторые клиенты входят в этот режим, когда не осталось незапрошенных блоков, другие - пока количество оставшихся блоков меньше количества передающихся и не больше 20. Существует негласное мнение, что лучше поддерживать количество ожидаемых блоков низким (1 или 2) для минимизации избыточности, и что при случайном запрашивании меньший шанс получить дубликаты одного и того же блока.

Недостатки и ограничения

· Недоступность раздачи – если нет раздающих пользователей (сидов);

· Отсутствие анонимности:

Пользователи незащищенных систем и клиентов с известными уязвимостями могут быть подвергнуты атаке.

Возможно узнать адреса пользователей, обменивающихся контрафактным контентом и подать на них в суд.

· Проблема личеров – клиентов, которые раздают гораздо меньше, чем скачивают. Это ведет к падению производительности.

· Проблема читеров – пользователей, модифицирующих информацию о количестве скачанных\переданных данных.

Персонализация – протокол не поддерживает ников, чата, просмотра списка файлов пользователя.

Заключение

Современные пиринговые сети претерпели сложную эволюцию и стали во многих отношениях совершенными программными продуктами. Они гарантируют надежную и высокоскоростную передачу больших объемов данных. Они имеют распределённую структуру, и не могут быть уничтожены при повреждении нескольких узлов.

Технологии, опробованные в пиринговых сетях, применяются сейчас во многих программах из других областей:

Для скоростного распространения дистрибутивов опенсорсных программ (с открытым кодом);

Для распределённых сетей передачи данных таких как Skype и Joost.

Однако системы обмена данными часто используются в противоправной сфере: нарушаются закон об авторских правах, цензура и т.д. Можно сказать следующее: разработчики пиринговых сетей отлично понимали, для чего те будут использоваться, и позаботились об удобстве их использования, анонимности клиентов и неуязвимости системы в целом. Программы и системы обмена данными часто относят к «серой» зоне интернета - зоне, в которой нарушается законодательство, но доказать виновность причастных к нарушению лиц или сложно, или невозможно.

Программы и сети обмена данными находятся где-то на «окраине» интернета. Они не пользуются поддержкой крупных компаний, иногда им вообще никто не содействует; их создатели, как правило, хакеры, которым не по душе интернет-стандарты. Программы обмена данными не любят производители брандмауэров, маршрутизаторов и подобного оборудования, а также интернет-провайдеры (ISP) - «хакерские» сети отбирают у них значительную часть драгоценных ресурсов. Поэтому провайдеры пытаются всячески вытеснить и запретить системы обмена данными или ограничить их деятельность. Однако в ответ на это создатели систем обмена данными снова начинают искать противодействия, и часто добиваются отличных результатов.

Реализация и использование распределенных систем имеют не только плюсы, но и минусы, связанные с особенностями обеспечения безопасности. Получить контроль над столь разветвленной и большой структурой, какой является сеть P2P, или использовать пробелы в реализации протоколов для собственных нужд - желанная цель для хакеров. К тому же защитить распределенную структуру сложнее, чем централизованный сервер.

Столь огромное количество ресурсов, которое имеется в сетях P2P, тяжело шифровать/дешифровать, поэтому большая часть информации об IP-адресах и ресурсах участников хранится и пересылается в незашифрованном виде, что делает ее доступной для перехвата. При перехвате злоумышленник не только получает собственно информацию, но также узнает и об узлах, на которых она хранится, что тоже опасно.

Только в последнее время в клиентах большинства крупных сетей эта проблема стала решаться путем шифрования заголовков пакетов и идентификационной информации. Появляются клиенты с поддержкой технологии SSL, внедряются специальные средства защиты информации о местонахождении ресурсов и пр.

Серьезная проблема - распространение “червей” и подделка ID ресурсов с целью их фальсификации. Например, в клиенте Kazaa используется хеш-функция UUHash, которая позволяет быстро находить ID для больших файлов даже на слабых компьютерах, но при этом остается возможность для подделки файлов и записи испорченного файла, имеющего тот же ID.

В настоящее время выделенные серверы и узлы периодически обмениваются между собой верифицирующей информацией и при необходимости добавляют поддельные серверы/узлы в черный список блокировки доступа.

Также ведется работа по созданию проектов, объединяющих сети и протоколы (например, JXTA – разработчик Билл Джой).

Список литературы

1. Ю. Н. Гуркин, Ю. А. Семенов. «Файлообменные сети P2P: основные принципы, протоколы, безопасность» // «Сети и Системы связи», №11 2006

06/02/2011 17:23 http://www.ccc.ru/magazine/depot/06_11/read.html?0302.htm

2. А. Грызунова Napster: историяболезни InterNet magazine, number 22 06/02/2011 15:30 http://www.gagin.ru/internet/22/7.html

3. Современные компьютерные сети Реферат 06/02/2011 15:49 http://5ballov.qip.ru/referats/preview/106448

4. 28/01/2011 16:56 http://ru.wikipedia.org/wiki/Peer-to-peer

5. http://style-hitech.ru/peer-to-peer_i_tjekhnologii_fajloobmjena

И пока мы тут сидим и думаем, куда бы разместить свою рекламу, в Пало-Альто происходит что-то странное. Там сотрудники маленького магазина Hassett Ace Hardware, продающего хозяйственное оборудование, показывают, как может стать жизнью древняя мудрость о том, что «люди созданы не для накопительства, а для обмена».

Это называется «Ремонт-кафе». Каждые выходные под боком у магазина открывается площадка, где любой человек может бесплатно отремонтировать что угодно. Но при этом ему придется внести свою лепту в то, что происходит на этой площадке. Пока менеджер магазина занимается обычными продажами, пять других сотрудников организовывают толпы желающих «починится» людей, привлекая их к другим ремонтам.

Все делятся знаниями, советами и хорошим настроением. Продажи идут в гору (для ремонта же часто нужны детальки, которые надо купить в магазине). За апрель силами округи было отремонтировано около 130 «единиц техники», в том числе гигантский садовый лавовый фонтан и 200-летняя швейная машинка. Каждый, кто отремонтировался на площадке Hassett Ace Hardware, получает флажок для велосипеда с логотипом компании. И его с удовольствием берут, потому что классное обслуживание – вещь чертовски приятная и незабываемая.

Такая экономика взаимовыгоды получила в маркетинговых кулуарах имя peer-to-peer или «равный равному». Она строится не только на деньгах, но и на высокой степени эмоционального удовлетворения, а в случае маленьких магазинов вроде Hassett Ace Hardware еще и на выстраивании почти интимных отношений с клиентами. Ходят слухи, что эту технологию уже «обнюхивают» такие гиганты, как Pepsi, Chevrolet и Unilever.

«Мы узнали интересную вещь: молодые покупатели, прежде чем прийти в салон за авто, выискивают в социальных сетях странички наших продавцов, чтобы изучить их интересы и найти человека, близкого по духу. Они его находят и советуются с ним, потому что знают – помощь будет больше дружеской, чем менеджерской» — говорит Кристи Лэнди, менеджер по маркетингу в General Motors. Даже экспертное мнение может быть предметом взаимовыгодного обмена.

Цель работы: изучение принципа функционирования P2P-сетей, анализ существующих топологий сетей, алгоритмов работы, протоколов и клиентских программ, основных возможностей предоставляемых P2P-сетями, выявление достоинств и недостатков.

Теоретическая часть:

1. Общее описание P2P-сетей. Принцип работы. Описание существующих топологий. Сферы применения. Преимущества и недостатки P2P-сетей.

2. Обмен файлами, распределенные вычисления. Особенности построения P2P-сетей в зависимости от сферы деятельности, в которой они применяются. Алгоритмы функционирования.

Программные средства:

1. Обзор популярных протоколов для обмена файлами. Сравнительный анализ.

2. Обзор популярных клиентских программ для обмена файлами. Сравнительный анализ.

Практическая часть:

1. Установка и настройка bitTorrent-трекера.

Теоретическая часть

P2P сети

К Р2Р относятся технологии, предоставляющие компьютерам в сети равноправные возможности обмена различными ресурсами (в том числе и вычислительными). Классическая архитектура - тип сети, в которой все рабочие станции имеют равные возможности и права. Для решения задачи создается одноранговая (peer-to-peer) вычислительная среда, которая позволяет отдельным элементам сети взаимодействовать без помощи серверов. Каждый участвующий компьютер вносит свой вклад в виде файлов, дискового пространства, процессорного времени. «P2P - это технология построения распределенной сети, где каждый узел может одновременно выступать как в роли клиента (получателя информации), так и в роли сервера (поставщика информации) ». P2P сеть (от англ. peer-to-peer, децентрализованная или пиринговая) состоит из равноправных узлов, каждый из которых связан с некоторым подмножеством узлов сети.

Информация между узлами в сети, которые на данный момент могут быть не связаны непосредственно друг с другом, передается по принципу, схожему со своеобразной эстафетой - от одного узла к другому узлу, также передача информации может происходить в результате установления временного прямого соединения между узлами. Вся информация о маршрутизации и авторизации сообщений, передаваемых от узла к узлу, хранится на этих же самых отдельных узлах, а не на одном выделенном сервере. Такая организация, в отличие от клиент-серверной, позволяет сети при любом количестве узлов и их сочетании сохранять свою работоспособность.

«Клиент-сервер» и P2P сети.

Централизованная архитектура «клиент-сервер» подразумевает, что сеть зависит от центральных узлов (серверов), обеспечивающих подключенные к сети терминалы (т.е. клиентов) необходимыми сервисами. В этой архитектуре ключевая роль отводится серверам, которые определяют сеть независимо от наличия клиентов. Очевидно, что рост количества клиентов сети типа «клиент–сервер» приводит к росту нагрузок на серверную часть. Таким образом, на определенном уровне развития сети она может оказаться перегруженной. Главным преимуществом такой системы является ее простота. Однако стабильность и надежность таких сетей существенно ниже, чем у пиринговых.

Децентрализованные системы, «чистые P2P сети», примером может послужить сеть Gnutella, представляют собой прямую противоположностью централизованных систем.

Гибридная топология: децентрализованная + централизованная (частично децентрализованная) – в сетях такого типа существуют сервера, основной задачей которых является координации работы, поиск и предоставления информации о существующих машинах сети и их статусе. Частично децентрализованные сети совмещают в себе качества централизованных сетей и надёжность децентрализованных (например сеть не теряет своей работоспособности при возникновении неполадок с одним или несколькими серверами). Примером гибридных файлообменных сетей могут служить: EDonkey и BitTorrent сети.

Рис.1 Топология сетей

Преимущества пиринговых сетей:

· скорость обмена информацией;

· Устойчивость сети к различным сбоям, в том числе устойчивость к внетехнологическому вмешательству;

• расширяемость - практически неограниченные возможности для расширения информационных ресурсов системы;

· масштабируемость.

Недостатки пиринговых сетей:

• неуправляемость;
• проблемы безопасности;
• информационная несогласованность, недостоверность информации.

Стандартизация в области P2P

P2P - это не только сети, но еще и сетевой протокол, обеспечивающий возможность создания и функционирования сети равноправных узлов, и их взаимодействия. Множество узлов, объединенных в единую систему и взаимодействующих в соответствии с протоколом P2P, образуют пиринговую сеть. Для реализации протокола P2P используются клиентские программы, обеспечивающие функционирование как отдельных узлов, так и всей пиринговой сети.
P2P относятся к прикладному уровню сетевых протоколов и являются наложенной сетью, которая использует транспортные протоколы стека TCP/IP - TCP или UDP. Протоколу P2P посвящено несколько основополагающих документов сети Интернет - RFC (в частности, последний датируется 2008 годом - RFC 5128 State of Peer-to-Peer (P2P) Communication across Network Address Translators).
В настоящее время при реализации пиринговых сетей используются самые различные методологии и подходы. В частности, компания Microsoft разработала протоколы для P2P-сетей Scribe и Pastry. Поддержка протокола PNRP (Peer Name Resolution Protocol), также относящегося к P2P-системам, была включена в состав Windows Vista.
Одну из удачных попыток стандартизации протоколов P2P предприняла компания Sun Microsystems в рамках проекта JXTA. Этот проект реализуется с целью унифицированного создания P2P-сетей для различных платформ. Цель проекта JXTA - разработка типовых инфраструктурных решений и способов их использования при создании P2P-приложений для работы в неоднородных средах.
В рамках проекта JXTA определено шесть протоколов, на основе которых могут создаваться прикладные системы:

· Peer Discovery Protocol (PDP). Узлы пользуются данным протоколом для поиска всех открытых JXTA-ресурсов. Низкоуровневый протокол PDP поддерживает базовые механизмы поиска. Любые прикладные системы могут включать собственные высокоуровневые механизмы поиска, которые реализованы поверх PDP протокола.

· Peer Resolver Protocol (PRP). Этот протокол стандартизирует формат запросов на доступ к ресурсам и сервисам. При реализации этого протокола с узла может быть послан запрос и получен на него ответ.

· Peer Information Protocol (PIP). Данный протокол применяется для определения состояния узла в сети JXTA. Узел, получающий PIP-сообщение, может в полной или сокращенной форме переслать ответ о своем состоянии либо проигнорировать это сообщение.

· Peer Membership Protocol (PMP). Узлы используют этот протокол для подключения и выхода из группы.

· Pipe Binding Protocol (PBP). В JXTA узел получает доступ к сервису через канал (pipe). С помощью PBP узел может создать новый канал для доступа к сервису или работать через уже существующий.

· Endpoint Routing Protocol (ERP). Используя этот протокол, узел может пересылать запросы к маршрутизаторам других узлов с целью определения маршрутов при отправке сообщений.

Области применения

Наиболее распространенными областями применения P2P технологий являются следующие направления:

· Обмен файлами – так называемые файлообменные сети. P2P файлообменные сети являются альтернативой устаревшим FTP-архивам, не соответствующим современным требованиям. Более подробно файлообменные сети рассмотрены далее.

· Распределенные вычисления. Одно из наиболее перспективных направлений развития, т.к. применение P2P технологий позволяют за сравнительно короткие сроки решать такие задачи, вычисление которых на суперкомпьютерах заняло бы десятки, а то и сотни лет. О данной области применения P2P технологии также более подробно рассказано далее.

· Обмен сообщениями. Jabber, ICQ.

· P2P-телефония. Skype.

· Сети групповой работы. Groove Network (защищенное пространство для коммуникаций), OpenCola (поиск информации и обмен ссылками).

· Параллельное программирование.

· Резервное копирование данных.

· P2P телевидение. Примером может служить проект P2P-Next, занимающийся разработкой пирингового телевидения пригодного для широковещательной трансляции телевизионных передач.

Файлообменные сети P2P.

Файлообменная сеть - одна из наиболее распространенных P2P-сетей, предназначенная для для совместного использования файлов. В основе технологии P2P лежит принцип децентрализации. Идея распределенных равноправных узлов является альтернативой подходу клиент-сервер.

Peer-to-peer , P2P (с англ. - равный к равному) - вариант архитектуры системы, в основе которой стоит сеть равноправных узлов.

Компьютерные сети типа peer-to-peer (или P2P) основаны на принципе равноправия участников и характеризуются тем, что их элементы могут связываться между собой, в отличие от традиционной архитектуры, когда только отдельная категория участников, которая называется серверами может оказывать определенные сервисы другим.

Фраза «peer-to-peer» была впервые использована в 1984 году Парбауелом Йохнухуйтсманом (Parbawell Yohnuhuitsman) при разработке архитектуры Advanced Peer to Peer Networking фирмы IBM.

В чистой «peer-to-peer" сети не существует понятия клиентов или серверов, только равные узлы, которые одновременно функционируют как клиенты и серверы по отношению к другим узлам сети. Эта модель сетевого взаимодействия отличается от клиент-серверной архитектуры, в которой связь осуществляется только между клиентами и центральным сервером. Такая организация позволяет сохранять работоспособность сети при любой конфигурации доступных ее участников. Однако практикуется использование P2P сетей которые все же имеют серверы, но их роль заключается уже не в предоставлении сервисов, а в поддержке информации по поводу сервисов клиентами сети.

В P2P системе автономные узлы взаимодействуют с другими автономными узлами. Узлы являются автономными в том смысле, что не существует общей власти, которая может контролировать их. В результате автономии узлов, они не могут доверять друг другу и полагаться на поведение других узлов, поэтому проблемы масштабирования и излишества становятся важнее чем в случае традиционной архитектуры.

Современные P2P-сети получили развитие благодаря идеям, связанными с обменом информацией, которые формировались в русле того, каждый узел может предоставлять и получать ресурсы предоставляемых любыми другими участниками. В случае сети Napster, это был обмен музыкой, в других случаях это может быть предоставление процессорного времени для поиска инопланетных цивилизаций (SETI @ home) или лекарства от рака (Folding @ home).

История

P2P не является новым. Этот термин, конечно, новое изобретение, но сама технология существует со времен появления USENET и FidoNet - двух очень успешных, вполне децентрализованных сетей. Распределенные вычисления появились даже раньше, но этих двух примеров достаточно, чтобы продемонстрировать возраст P2P.

USENET, родившийся в 1979 году, - это распределенная сеть, которая обеспечивает общение в группах новостей. В начале это была работа двух студентов, Тома Траскота и Джима Эллис. В то время Интернета, который мы знаем сейчас, еще не существовало. Обмен файлами происходил посредством телефонных линий, обычно в течение ночи, потому что это было дешевле. Таким образом не было эффективного способа централизовать такой сервис как USENET.

Другим выдающимся успехом P2P был FidoNet. FidoNet, как и USENET, - это децентрализованная, распределенная сеть для обмена сообщениями. FidoNet был создан в 1984 году Томом Дженнингсом как средство для обмена сообщениями между пользователями различных BBS. Он был нужен, поэтому он быстро вырос и, как и USENET, существует по сей день.

Первое поколение P2P сетей

Первое поколение пиринговых сетей характеризуется наличием выделенных центральных серверов, которые могут выступать, например, базами данных и заниматься координацией поиска. Однако архитектура таких сетей позволяет связь и передачу информации непосредственно между любыми ее участникам.

Популяризация и текущая эра peer-to-peer началась с создания сети Napster. В мае 1999 Napster предоставил конечным пользователям возможность раздавать и обмениваться их любимой музыкой непосредственно с другими конечными пользователями. Сеть использовала центральный сервер, в частности для поисковых целей. Количество пользователей Napster в феврале 2001 составляла 26.4 миллиона.

Почти сразу Napster начал сталкиваться с проблемами с законом. Сеть имела выделенный центральный сервер и, как утверждалось, хотя сама система непосредственно не является нарушением законодательства, однако ее существование способствует этому. В настоящее время появилось много клонов Napster. Большинство было результатом анализа клиента и протокола для сохранения совместимости, другие имели ту же идею, «только лучше». Все имели одинаковую архитектуру: один центральный сервер с большим количеством клиентов. Центральный сервер облегчал связи клиента и поиск. Как только желаемая песня была найдена, сервер обеспечивал прямую связь между двумя клиентами, так они могли передавать файлы.

Вскоре после появления Napster была создана сеть EDonkey2000. Ключевое преимущество eDonkey над Napster заключалась в том, что сеть позволяла проводить скачивания различных частей одного файла, одновременно с разных участников сети, которые его предоставляют. Другим преимуществом eDonkey было то, что впоследствии, серверное обеспечение получило функциональности мижсерверного связи, что позволило выполнять поиск информации на участниках сети которые были подключены к разным серверам. Несмотря на названные преимущества, через использование серверов, эта сеть не была чистой peer-to-peer сетью.

Второе поколение P2P сетей

Второе поколение пиринговых сетей характеризуется отсутствием центральных серверов и, при этом, принципиальной возможностью поиска среди участников сети. Однако алгоритмы поиска в сетях второго поколения имели характер «волнового» распространения запросов и были не очень эффективными.

Джастин Франкель решил создать сеть без центрального индексного сервера, и Gnutella была результатом. Идея Gnutella о равенстве всех узлов, быстро умерла от наличия узких мест, поскольку сеть росла от прошлых пользователей Napster. FastTrack решил эту проблему имея некоторые узлы ровными чем другие. Выбирая некоторые мощные узлы, чтобы индексировать узлы с меньшей мощностью, FastTrack позволил создать сеть, которая могла масштабироваться до гораздо большего размера. Gnutella быстро переняла эту модель, и большинство текущих сети имеют этот дизайн, поскольку позволяет делать большие и эффективные сети без центральных серверов.

Лучшими примерами являются Gnutella, Kazaa или Emule с Kademlia, среди которых лишь Kazaa еще имеет центральный сервер для регистрации. eDonkey2000/Overnet, Gnutella, FastTrack и Ares Galaxy имеют примерно 10.3 миллионов пользователей (на апрель 2006 года, согласно slyck.com).

Третье поколение P2P сетей

Третье поколение P2P сетей характеризуется децентрализованной структурой, и принципиально новыми алгоритмами поиска, основанные на ключевом понятии распределенной хеш-таблицы (Distributed hash table), которая поддерживается участниками сети.

Распределенные хеш-таблицы (DHT), помогают решать проблему масштабирования, выбирая различные узлы, чтобы индексировать определенные значения хеш-функции (которые используются, чтобы идентифицировать файлы), позволяя быстрый и эффективный поиск любого файла в сети.

Начиная с версии 4.2.0 официального BitTorrent клиента, в нем реализована функция бестрекерный произведение, основанное на протоколе Kademlia. В таких системах трекер доступен децентрально, на клиентах-участниках сети, в форме распределенной хеш-таблицы.

Анонимные peer-to-peer сети

Примеры анонимных сетей - Freenet, I2P, ANts P2P, RShare, GNUnet и Entropy. Также примером децентрализованной сети является система анонимной цифровой денежной единицы Bitcoin.

Определенная степень анонимности реализуется путем направления данных через других узлы. Это делает тяжелой идентификацию того, кто загружает или кто предлагает файлы. Большинство этих программ также имеют встроенное шифрование.

Текущие реализации сетей такого типа требуют много ресурсов для обеспечения анонимности, что делает их медленными или сложными для использования. Однако, в странах, где очень быстрый домашний доступ в Интернет, например Япония, ряд анонимных файлообменных сетей уже достигли высокой популярности.

Преимущества P2P

Распределение / уменьшения стоимости. Централизованные системы, которые обслуживают многие клиенты, обычно составляют большинство стоимости системы. Когда эта стоимость становится слишком большим, архитектура P2P может помочь распределить стоимость среди пользователей. Например, среди систем файлообмена Napster позволил распределить стоимость хранения файлов и мог поддерживать индекс, необходимый для совместного использования. Экономия средств, осуществляется посредством использования и объединения ресурсов, которые в противном случае не используются (например SETI @ home). Поскольку узлы обычно являются автономными, важно распределять расходы справедливо.

Объединение ресурсов. Децентрализованный подход ведет к объединению ресурсов. Каждый узел в системе P2P приносит определенные ресурсы например вычислительная мощность или память. В программах, которые требуют огромное количество этих ресурсов, например intensive моделирования или распределены файловые системы, естественно использовать P2P, чтобы привлечь эти ресурсы. Распределенные вычислительные системы, например SETI @ Home, distributed.net, и Endeavours - очевидные примеры этого подхода. Объединяя ресурсы тысяч узлов, они могут выполнять тяжелые с точки зрения количества вычислений функции. Файлобминни системы, например Napster, Gnutella, и т.д., также объединяют ресурсы. В этих случаях, это дисковое пространство, чтобы хранить данные, и пропускная способность, чтобы их передавать.

Усовершенствованная масштабируемость / надежность. С отсутствием сильной центральной власти по отношению к автономных узлов, важной целью является улучшение масштабируемости и надежности. Масштабируемость и надежность определяются в традиционном для распределенных систем смысле, как например использование пропускной способности - сколько узлов могут быть достигнуты от одного узла, сколько узлов может поддерживаться, сколько пользователей может поддерживаться. Распределенная природа peer-to-peer сетей также увеличивает помилкостийкисть в случае неудач, путем дублирования данных из многих узлов, и - в чистых системах P2P - предоставляя возможность узлу найти данные вне зависимости от единого централизованного индексного сервера. В последнем случае, нет никакой единой критической точки в системе.

Увеличена автономия. Во многих случаях пользователи распределенной системы не хотят зависеть от какого-либо централизованного поставщика услуг. Вместо этого они предпочитают, чтобы все данные и предназначена для них работа выполнялась локально. Системы P2P поддерживают этот уровень автономии, так как они требуют, чтобы каждый узел делал необходимую для него часть работы.

Анонимность / конфиденциальность. Связанным с автономией является понятие анонимности и конфиденциальности. Пользователь, возможно, не хочет, чтобы кого-нибудь или любой поставщик услуг знал о нем или о его роли в системе. С центральным сервером, гарантировать анонимность трудно, так как сервер обычно сможет идентифицировать клиента, как минимум через его адрес в Интернет. Используя структуру P2P, в котором действия выполняются локально, пользователи могут избегать необходимости передавать любую информацию о себе в кого-нибудь другого. FreeNet - яркий пример того, как анонимность может встроиться в приложение P2P. Он пересылает сообщения через другие узлы, чтобы обеспечить невозможность выслеживание начального автора. Это увеличивает анонимность, используя вероятностные алгоритмы таким образом, чтобы происхождение невозможно было легко отследить анализируя трафик в сети.

Динамичность. Системы P2P предполагают, что окружение чрезвычайно динамична. То есть, ресурсы, например узлы, появляются и исчезают из системы непрерывно. В случаях коммуникации, например сети для обмена сообщениями, используются так называемый «список контактов», чтобы информировать пользователей, когда их друзья становятся доступными. Без этого, нужно было бы, чтобы пользователи «опрашивали» партнеров, посылая периодические сообщения. В случае распределенных вычислений, например distributed.net и SETI @ home, система должна приспособиться к заменах. Поэтому они должны повторно выдавать задания для вычисления другим участникам, чтобы гарантировать, что работа не потеряна, если предыдущие участники отпадают от сети, пока они выполняли шаг вычисления.

Классификация P2P систем

По функциям:

Распределенные вычисления. Вычислительная проблема распределяются на небольшие независимые части. Обработка каждой из частей делается на индивидуальном ПК и результаты собираются на центральном сервере. Этот центральный сервер ответственный за распределение элементов работы среди отдельных компьютеров в Интернете. Каждый из зарегистрированных пользователей имеет клиентское программное обеспечение. Оно пользуется периодами бездействия в ПК (часто это характеризуется временами активации скринсейверов), чтобы выполнять некоторые вычисления, предоставленное сервером. После того, как вычисление закончено, результат посылается назад к серверу, и новая работа передается для клиента.

Файлообмен. Хранение и обмен данными ¬ - это одна из областей, где технология P2P была успешной. Мультимедийные данные, например, требуют больших файлов. Napster и Gnutella использовались пользователями, чтобы обойти ограничения пропускной способности, которые делают передачу больших файлов неприемлемыми.

Сотрудничество. Природа технологии P2P делает ее хорошо подходящей для обеспечения сотрудничества между пользователями. Это может быть обмен сообщениями, онлайн игры , совместная работа над документами в бизнесе, образовании и дома. На заметку : бесплатные онлайн игры скуби ду .

По степени централизации:

Чистые peer-to-peer системы. Узлы равны, сочетая роли сервера и клиента. Не существует центрального сервера, управляющего сетью. Примерами таких систем являются Gnutella и Freenet

Гибридные peer-to-peer системы. Имеют центральный сервер, который хранит информацию об узлах и отвечает на запросы относительно этой информации. Узлы занимаются обеспечением ресурсами (потому что центральный сервер их не имеет), сообщением сервера о наличии этих ресурсов предоставления ресурсов другим узлам хотят ими воспользоваться.

В зависимости от того, как узлы соединяются друг с другом можно разделить сети на структурированные и неструктурированные:

Неструктурированная сеть P2P формируется, когда соединения устанавливаются произвольно. Такие сети могут быть легко сконструированы, поскольку новый узел, который хочет присоединиться к сети, может скопировать существующие соединения другого узла, а уже потом начать формировать свои собственные. В неструктурированной сети P2P, если узел желает найти определенные данные в сети, запрос придется передать почти через всю сеть, чтобы охватить так много узлов, как возможно. Главным недостатком таких сетей является то, что запросы, возможно, не всегда решаются. Скорее всего популярные данные будут доступны во многих узлов и поиск быстро найдет нужным, но если узел ищет редкие данные, имеющиеся только в нескольких других узлов, то чрезвычайно маловероятно, что поиск будет успешным. Поскольку нет никакой корреляции между узлами и данными, они сохраняют, нет никакой гарантии, что запрос найдет узел, имеющий желаемые данные.

Структурированная сеть P2P использует единый алгоритм, чтобы гарантировать, что любой узел может эффективно передать запрос другому узлу, который имеет желаемый файл, даже если файл редчайший. Такая гарантия требует структурированную систему соединений. В наше время самым популярным типом структурированной сети P2P являются распределенные хеш-таблицы, в которых хеширования используется для установления связи между данными и конкретным узлом, который за них отвечает.

Развитие интернета и его широкое распространение по всему миру позволило обмениваться различной информацией с достаточно большой скоростью на огромном расстоянии. Среди многих традиционных средств обмена информацией, все большую популярность приобретают так называемые P2P сети. Что же они собой представляют?

Само понятие P2P (в переводе: «равный равному») подразумевает непосредственный обмен информацией между равноправными участниками. За сетями, относящимися к этому протоколу, закрепились другие названия: пиринговый, одноранговый.

Отличие пиринговых сетей от файлообменных заключается, прежде всего, в способе передачи информации и иерархии сети. В случае традиционных обменных сетей, к которым мы получаем доступ, заходя на веб-сайт, мы имеем дело с конкретным сервером, на котором хранится интересующая нас информация. Сервер хранит эти данные и передает нужный файл каждому клиенту, который его запросил, целиком, ограничивая максимальную скорость загрузки возможностями своей сети. Соответственно, при удалении файла с сервера, ни один из клиентов не сможет получить его.

В пиринговых сетях все устроено иначе. В них каждый пользователь может выступать как в роли сервера, так и в роли клиента, скачивая и получая данные соответственно. Вся информация хранится на компьютерах пользователей и при установленном разрешении может быть доступна для других клиентов. Один и тот же файл может быть доступен с различных источников, скачивание производится фрагментами, а не целыми частями. Скорость передачи, соответственно тем быстрее, чем больше различных источников делятся с клиентом нужной информацией.

Современные гибридные P2P сети используют сервер не для хранения информации, а для распределения работы сети и объединения клиентов. Большую известность получили такие пиринговые протоколы BitTorrent, eDonkey и Direct Connect.

Протокол BitTorrent является наиболее распространенным способом передачи больших объемов информации. Он позволяет, при наличии специальной программы, запрашивать необходимый файл и скачивать его у сотен и тысяч других клиентов, и в то же время делиться им с другими участниками. Для того чтобы участники сети могли обнаружить и подключиться друг к другу, организуется специальный сервер, называемый торрент-трекером, на котором хранятся идентификаторы файлов, адреса клиентов, а также сайт с информацией о хранящихся данных, с обсуждениями пользователей.

Наиболее популярными BitTorrent клиентами выступают: Deluge, uTorrent, Vuze, Transmission, BitComet, Shareaza и ряд других. Для сетей Direct Connect предназначены клиенты: StrongDC++, FlylinkDC++, ApexDC++.