Что такое скрипт прокси сервера. Планы на развитие. Итак, покончим с теорией и перейдём к практике

Те, кто читает мой блог помнят, что я уже писал статью посвященную нахождению нескольких сотен рабочих проксей за пару минут. Если кто не читал статья находится тут: Анонимность в интернете . Да, это конечно хорошо, из этой сотни проксей можно сделать хорошую и быструю сеть проксей и юзать ее довольно таки долгое время. Но все в нашей жизни не вечно и сколько бы у вас не было много проксей в конечном итоге они все равно сдохнут. Во многих случаях нам нужна всего одна постоянная быстрая прокси например для того, чтобы не палить свой реальный ИП на каком нибудь форуме(нуллед превед). Это как девушка. Их может быть много разных, но всегда должна быть одна и стабильная). Ну чтож, приступим к обсуждению.

Как вы поняли всем проксям требуется поддержка php, а следовательно вам в любом случае нужен будет хостинг где эти самые скрипты будут лежать. Ну я думаю купить хостинг за 1$ в месяц вы в любом случае сможете.

PHProxy 0.5b2 – я его и юзаю. В принципе полностью назвать этот скрипт прокси – нельзя ибо работает он как анонимайзер. Вы ставите его на свой хост и ходите по сайтам, при этом вместо вашего IP палится IP вашего хостера. Но анонимайзером его тоже не назовешь т.к скрипт очень хорошо работает с cookie и через него можно без проблем залогиниться и сидеть на любом сайте. Я сам юзаю этот скрипт и меня он устраивает по всем параметрам, начиная от скорости работы, заканчивая стабильностью. Единственная трабла у меня сейчас в том, что он почему-то перестал показывать изображения, хотя галочка "Show images on browsed pages” стоит. Ну и ладно, мне изображения и так не нужны. Скачать PHProxy 0.5b2 можно по этой ссылке: File Attachment: proxy-0.5b2.zip (26 KB)

ZELUNE PROXY SCRIPT – В принципе аналог PHProxy 0.5b2. Единственные отличия которые я заметил в том, что он у меня лучше как-то загружает картинки, но в общем примерно чуть медленнее пашет. Других отличий не нашел. Скачать Zeline proxy script можно по данной ссылке: File Attachment: zelune.zip (6 KB)

HTTP Local Proxy – как я понял это также анонимайзер, но после правильной настройки работать с ним удобнее, чем с теми скриптами, о которых я написал выше. Суть этого скрипта такова:

При запуске клиент загружает из файла адреса наших скриптв, и работает как прокси. Мы отправляем инфу клиенту, он скрипту, скрипт получает то что мы хотели и отправляет ответ клиенту а он нам)

Установка скрипта:

1. В архиве 3 файла gate.php, host.txt, proxy.exe
   Файл gate.php заливаем на наш хостинг, обязательно с разрешенными сокетами (бесплатные хостинги скорее всего вам не подойдут)
2. В файл host.txt прописываем адреса залитого нами файла, каждый с новой строки. например:
   site.org/gate.php
   site2.ru/dir/gate.php
   somesite.org/newname.php
3. Запускаем proxy.exe по умолчанию он запусваеться на порту 8080 и загружает список из файла host.txt , это можно изменить запустив бинарник с параметрами.
   proxy.exe [порт [имя_файла_с_хостами]]
4. В браузере прописываем адрес HTTP прокси 127.0.0.1 и порт на котором он запущен

Вот и все, теперь можем гулять по интеренту под IP нашего хостера.

Если в файле host.txt более одного адреса, то proxy будет автоматически менять их (соответсвенно ваш ip тоже будет меняться)
Если нужно работать с одного ip, то в файле host.txt оставляем один адрес. Также с помощью этого скрипта к сожалению нельзя работать с большими файлами. За скрипт большое спасибо юзеру nc.STRIEM с античата.

PPROXY – прокси на PHP реализованная на Perl. Состоит она из двух частей. Суть работы прокси такова: на удаленный веб-сервер(хостинг) заливается первая часть прокси, написанная на PHP – скрипт pproxy.php. У себя на локалхосте запускается вторая часть прокси, реализованная на Perl (скрипт plocal.pl). Она прослушивает порт как HTTP-прокси. На этот локальный HTTP прокси настраивается, например, браузер.

Скрипты

1. pproxy.php – первая, удаленная часть прокси, на PHP:
2. local.pl – вторая, локальная часть прокси, на Perl:

Использование прокси

О построении цепочек прокси с помощью этого скрипта можно почитать на античате. За скрипт большое спасибо пользователю bons с античата.

Anichat php proxy – на самом деле я не знаю как называется эта прокси, но помню что скачал ее с античата. По этому такое название. Отличие этой прокси от остальных в том, что это полноценная прокси, закинув и запустив на вашем хосте один единственный файл вы получите адрес и порт прокси, который нужно будет ввести в вашем браузере или другой программе, где вам нужна php прокси работающая через http протокол. К сожалению больше о ней я ничего не знаю а работать на моем хостинге она отказалась. Но опять таки, помню, что на ачате были отзывы о ней => она рабочая. Скачать Anichat php proxy можно по этой ссылке: File Attachment: proxy.zip (1 KB)

Всем спасибо за внимание, если есть вопросы – задавайте их в комментах. А также не забудьте подписаться на RSS новости в "Блоге бумажной крысы” http://henzo.org .

Вся информация, которую содержит эта статья, не может быть использована ни в каких иных целях, кроме ознакомления.

Программа состоит из сервера и своего браузера. Сервер постоянно находится в ожидании запроса от Вашего браузера, получив его, без изменений передает через свой (серверный) браузер на запрашиваемую страницу сайта. Серверный браузер получает страницу сайта, тут мы ее при необходимости сжимаем, и сервер передает сжатую страницу (и признак сжатия) Вашему браузеру, который ее распаковывает. Если Вы скачиваете текстовый файл, файл Word, Excel и вообще то, что можно сжать, то происходит все то же самое – Вы получаете сжатый файл, который Ваш браузер распаковывает при получении.
Таким образом и запрос Вашего браузера и ответ на него находятся в наших руках. Что можно с ними сделать?
С запросом:
Не пропускать запросы к рекламным баннерам или к сайтам с ненужным содержанием.
Изменить значение поля Accept, указав, что наш браузер не поддерживает флэш (flash) рисунки, хотя есть некоторые сайты, целиком сделанные на флэш (и попадаются красивые). Но в основном, конечно, флэш технологии используются для создания увесистых рекламных баннеров.
Вообще можно изменить любое поле запроса, например, «заменив» Ваш браузер на SuperPuper/v.9.14 Platinum. Можно заменить поле «Referer», «Cookie» и т.д., сделав полностью анонимный прокси сервер. Но лично я против подобной «анонимности». При хороших намерениях скрываться нет необходимости. Это все равно, что придти в учреждение в маске.
С ответом:
Все тоже самое – заменить значение любого поля. Но поскольку теперь к нам попадает некоторое содержание (страница сайта, рисунок), то мы для начала решим, есть ли смысл его сжимать. Не будем сжимать, если:
Поле Content-Encoding: непустое, например, gzip.
Это все уже запакованные файлы, а также файлы рисунков, которые уже также сжаты. Т.е. судим по расширению (типу) полученного файла. Список приведен в программе, наверняка Вы дополните его.
Размер полученного файла мал. Например файл таблицы стилей или Java-Script. На мой взгляд, файлы размером меньшим, чем несколько килобайт сжимать не стоит.
Все остальное сожмем. И добавим признак сжатых данных, т.е. Content-Encoding: gzip. Интересно, кстати, выглядят сжатые данные! Когда работал в одной организации, там была девушка по имени Зубарзят, у нее такая внешность, что теперь все непонятные символы называю зубарзятами.
По наблюдениям степень сжатия колеблется в зависимости от содержания и типа данных от 2 до 10 раз. Текстовые файлы и файлы html в пределах от 4 до 10, обычно 5 – 7 раз. Учитывая, что на страницах сайтов имеются еще и рисунки, которые мы не сжимаем, то общее сжатие обычно в пределах от 2 до 5 раз. Соответственно время передачи данных меньшего размера уменьшается во столько же раз. А время обработки данных в десятки и сотни раз меньше времени передачи, так что оно не замечается.
Содержание перед сжатием можно проанализировать и:
Не пропускать рисунки большего размера, чем нами заданный.
Оставить только текстовое содержимое.
Не пропускать Java-Script и Java.
Но все это можно сделать и в настройках своего браузера.
Добавлять что-либо к содержимому страницы, например, кнопки управления Прокси Сервером или текущий курс акций, валюты, и т.д. и т.п.
Попутно замечу, что IP у Вас будет такой же, как у Вашего хостинга.
Практически кажая строка программы прокомментирована на странице http://blankinew.narod.ru/szhimaem_internet_trafik_proxy_server.html

1. Введение

В данной статье пойдет речь о нестандартном использовании PHP: для создания сжимающего трафик PHP-скрипта, который можно использовать в качестве виртуального прокси-сервера. Профессионалы PHP-фронта здесь вряд ли найдут что-то новое: такое применение php не мое ноу-хау и никаких особых функций php не используется. Остальные в этой статье узнают о новом способе экономии кило-мега-гигабайтов во время веб-серфинга. Не удивлюсь, если кто-то предприимчивый, прочитав эту статью, начнет уже завтра экономить свои мегабайты. Особенно после того, как узнает, каким образом можно построить схему прозрачной работы этой виртуальной прокси.

На заре моей диалап-юности модемы обменивались сжатыми данными, из-за чего конечная скорость веб-серфинга была выше в сравнении со скачиванием zip-архива. Таким образом экономились время и деньги клиента за счет нагрузки на процессоры модемов во время компрессии. Настали другие времена: диалап постепенно сдает свои позиции под натиском выделенных линий. А тут уже ни о каком сжатии трафика на чьих-либо процессорных мощностях речи не ведется как правило: трафик идет в своем первозданном виде, ни на байтик не сжат
(если этим не озаботились на стороне
сервера). А ведь его можно сжать!..

Для этого нам понадобится еще одно звено между браузером и веб-сервером, которое, как модем, будет сжимать весь входящий (входящий для браузера) трафик. Звеном этим будет являться обычный с виду php-скрипт на удаленном веб-сервере. Именно этот скрипт в ответ на специально составленный запрос и будет скачивать необходимую вам страницу и уже в сжатом виде отдавать ее браузеру. Основные требования к хостингу, на котором расположен этот php-скрипт: отсутствие баннеров хостера, возможность использования CURL и GZIP (проверить их доступность можно запуском скрипта с вызовом функции
phpinfo).

Чтобы лучше понять механизм работы системы промежуточного сжатия трафика, рассмотрим более подробно технологию ее работы.

На рисунке ниже представлена схема трех вариантов загрузки страницы: обычный вызов, сжатие данных на промежуточном сервере и прозрачная работа со сжатием страницы на промежуточном сервере. Рассмотрим что происходит в каждом из случаев.

2. Получение браузером страницы из сети

2.1. Обычный вызов

Допустим пользователя заинтересовала страница page.html на сервере site.com . Он набирает URL site.com/page.html в строке адреса. Браузер после этого производит по сети http-запрос страницы http://site.com/page.html (на рисунке — тонкая пунктирная стрелка, первая слева). В ответ на этот запрос веб-сервер site.com выдает http-ответ браузеру и следом за ним тело страницы page.html (на рисунке – жирная стрелка, вторая слева). После этого браузер отображает пользователю на экране монитора содержимое полученной страницы.

2.2. Сжатие данных на промежуточном сервере

Введем промежуточный сервер webzip.com между браузером и веб-сервером site.com, на котором будет происходить сжатие данных. Алгоритм получения страницы page.html такой же, как и в предыдущем случае за исключением того, что браузер запрашивает страницу не непосредственно у site.com, а через webzip.com. Причем полноразмерные (несжатые данные) идут только между site.com и webzip.com, между браузером и webzip.com тело страницы идет в сжатом виде (на рисунке — жирная пунктирная стрелка, третья слева). Заметим, что по причине использования возможностей php для сжатия страницы её адрес, запрашиваемый браузером, примет вид http://webzip.com/myzip.php?url=http://site.com/page.html. Веб-сервер (webzip.com), получив этот запрос, вызывает скрипт myzip.php, а тот в свою очередь по get-параметру (пусть им будет параметр с именем «url») вызова производит запрос на http://site.com/page.html. Полученную страницу скрипт myzip.php отдает браузеру в сжатом виде.

2.3. Прозрачная работа со сжатием страницы на промежуточном сервере

От предыдущего случая данный отличается тем, что работа виртуальной сжимающей прокси для браузера, а соответственно и пользователя, не видны. Достигается это за счет введения еще одного звена, между webzip.com и браузером. Этим звеном является обычный http-прокси, который помимо всего прочего занимается переписыванием исходящих заголовков http-запросов (например, с http://site.com/page.html на
http://webzip.com/myzip.php?url=http://site.com/page.html).

3. Настройка прозрачной работы

3.1. Установка скриптов

Скачать скрипты, которые реализуют все вышеописанное, можно здесь. В
три файла: myzip.php, func.inc.php, log.php. Первый – основной файл, к которому обращается клиент. Второй – содержит определения функций для первого. Третий – предназначен для отображения статистики работы прокси (содержит шаблон страницы статистики, суть берется из файлов log.log и
count.log).

Как уже было сказано ранее, разместить скрипты следует на любом хостинге, где есть поддержка PHP, CURL, ZLIB и отсутствуют банеры. В интернете такое можно без труда найти за 30 рублей в месяц.

Не пугайтесь платности хостинга – он с легкостью будет окупаться. Например, если вы платите 0.05 $/МБ — потребуется 20 сэкономленных мегабайт для оплаты хостинга, дальше выгода. По моему опыту это порядка 100-150 МБ веб-серфинга (среднее сжатие – в 4-7 раз, хотя встречается и до 12).

Проверить правильность работы можно, набрав в браузере следующий адрес: http://webzip.com/myzip.php?url=http://ya.ru. Если всё сделано правильно – загрузится страница яндекса с немного видоизмененным заголовком
(title).

3.2. Настройка Proxomitron-а

Использовался Proxomitron ver. Naoko 4.4 (http://www.proxomitron.ru).

Итак, мы хотим добиться от проксомитрона возможности прозрачной работы с веб-проксей, иными словами скрытое преобразование исходящих URL-ов от браузера. Для этого в главном окне проксомитрона нажимаем клавишу «Заголовки» («Headers»). В открывшемся окне («Фильтры заголовков HTTP» / «HTTP Header Filters») пролистываем до строки «URL: Alias Redirector (Out)», выделяем ее. Жмем кнопку «Изменить» («Edit»), в
развернувшемся окне («Редактор фильтров заголовка» / «HTTP Header filter editor») заполняем поля следующим образом (все, кроме первого):

Заголовок HTTP (HTTP Header) (!не меняем!) URL: Alias Redirector (Out)
Совпадение с URL (URL Match) *
Значение заголовка (Header Value Match) *
Текст замены (Replacement text) $RDIR(http://webzip.com/myzip.php?url=\u)
Где http://webzip.com/ — URL вашего сайта, myzip.php – имя скрипта, который вы закачали на сайт.

Вся суть в последней строке: проксомитрон будет менять любой URL (параметр «\u») от браузера на http://webzip.com/myzip.php?url=\u. Если написать вместо $RDIR команду $JUMP, то работа проксомитрона будет полупрозрачной: браузер будет просто перенаправляться на новый URL. В случае использования $RDIR – перенаправление будет происходить незаметно для браузера.

Закрываем окна, нажимая последовательно «Ок», «Применить» («Apply»), «Ок». Если есть желание не повторять эту процедуру снова – сохраните настройки.

В браузере прописываем прокси сервер с IP=127.0.0.1 и портом 8080 (порт, прослушиваемый проксомитроном по умолчанию).
Убедиться в том, что система сжатия трафика работает, можно всё так же — по изменяющимся заголовкам страниц (новый