сбор whois информации в базу данных

Пример кода:
#!/bin/bash echo start enum whois host base ... #whois [assoc array] [IP address] #[assoc array] - array name #[IP address] - destination IP address # # example: # declare -A who # whois "who" "74.125.232.20" # function whois() { # make temp file #TFILE="/tmp/$(basename $0).$$.tmp" TFILE="`tempfile`" # max request per IP = 50 requests per 24 hours (whois.arin.net, whois-servers.net, whois.ripe.net, whois.ripn.net, whois.iana.org) echo $2 | socat - TCP4:whois-servers.net:43 | \ sed -e 's/^[ ]*//g;s/[ ]*$//g;/^$/d;/^[#%]/d;s/#.*$//g;s/[ ]*$//g' | \ awk -v arr=$1 -F": " ' BEGIN { addr="" } { #trim string left & right gsub(/^[ ]+/,"",$0); gsub(/[ ]+$/,"",$0); if( $2!="" ) { gsub(/^[ ]+/,"",$1); gsub(/[ ]+$/,"",$1); gsub(/^[ ]+/,"",$2); gsub(/[ ]+$/,"",$2); # check net range if ( tolower($1) ~ /^(netrange|inetnum)$/ ) { gsub(/[ ]/,"",$2); } else # get country in reverse order if ( tolower($1) ~ /^(address|country|stateprov|city|postalcode)$/ ) { addr = $2 ", " addr; } print (arr)"[\"" $1 "\"]=""\""$2"\""; } } END { gsub(/[ ,]+$/,"",addr); print (arr)"[\"FullAddress\"]=""\""addr"\""; } ' > $TFILE # fetch whois information while read line do eval ${line} done < $TFILE # delete temp file rm $TFILE } #google_info [assoc array] [output language] [long address] #[assoc array] - array name #[output language] - "ru","en",... #[long address] - place address # # example: # declare -A gogl # google_info "gogl" "en" "Russia" # function google_info() { TFILE="`tempfile`" local q="`echo $3 | sed -e 's/[ ]/%20/g'`" echo "GET /maps/geo?q=$q&output=json&oe=utf8&sensor=true_or_false&hl=$2" | \ socat - TCP4:maps.google.com:80 | \ sed -e 's/.*\r$//g;s/[\[{}]//g;s/^ *//g;s/[ ,:]*$//g;s/\]$//g;/^$/d' | \ awk -v arr=$1 -F": " ' { if( $2!="" ) { #trim string left & right gsub(/^[ \"]+/,"",$1); gsub(/[ \"]+$/,"",$1); gsub(/^[ \"]+/,"",$2); gsub(/[ \"]+$/,"",$2); print (arr)"[\""$1"\"]=""\""$2"\""; } } ' > $TFILE # fetch google information while read line do eval ${line} done < $TFILE rm $TFILE } #INET_NTOA [unsigned int number] # # example: # echo $(INET_NTOA 167903743) # 10.2.1.255 INET_NTOA() { local IFS=. num quad ip e num=$1 for e in 3 2 1 do (( quad = 256 ** e)) (( ip[3-e] = num / quad )) (( num = num % quad )) done ip[3]=$num echo "${ip[*]}" } #INET_ATON [IP address] # # example: # echo $(INET_ATON 10.2.1.255) # 167903743 INET_ATON() { local IFS=. ip num e ip=($1) for e in 3 2 1 do (( num += ip[3-e] * 256 ** e )) done (( num += ip[3] )) echo $num } #GETIP [array] [domain name] # # example: # GETIP "ips" google.com # GETIP() { eval "`nslookup $2 | \ awk -v arr=$1 -F": " ' BEGIN { list="" } { if( $2!="" ) { #trim string left & right gsub(/^[ \"]+/,"",$1); gsub(/[ \"]+$/,"",$1); gsub(/^[ \"]+/,"",$2); gsub(/[ \"]+$/,"",$2); list = $2 " " list; } } END { gsub(/[ ]+$/,"",list); print (arr)"=( " list " )"; } '`" } in_array() { local item # get array declare -a arr=("${!1}") for item in ${!arr[@]} do if [[ "${arr[$item],,}" == "${2,,}" ]] ; then return 1 fi done return 0 } validate_address() { local gitem item ret chk found ret=1 chk=( "country" "stateprov" "city" ) gchk=( "countrynamecode" "administrativeareaname" "localityname" ) for item in ${!who[@]} do in_array "chk[@]" $item if [ "$?" == "1" ] ; then found=0 for gitem in ${!gogl[@]} do # "country" in_array "gchk[@]" $gitem if [ "$?" == "1" ]; then if [ "${gogl[$gitem],,}" == "${who[$item],,}" ]; then found=1 break fi fi done if [ "$found" = "0" ]; then ret=0 echo $ret break fi fi done return $ret } declare ips GETIP "ips" "google.com" for item in "${!ips[@]}" do echo $item":"${ips[$item]} done # declaration of who associative array declare -A who whois "who" "74.125.232.20" echo #echo "who array items and indexes:" ${#who[@]} for item in "${!who[@]}" do echo $item":"${who[$item]} done # declaration of gogl associative array declare -A gogl google_info "gogl" "en" "${who["FullAddress"]}" echo #echo "gogl array items and indexes:" ${#gogl[@]} for item in "${!gogl[@]}" do echo $item":"${gogl[$item]} done echo echo "IP:valid=================" validate_address "who[@]" "gogl[@]" echo "result:"$?

Получение IP адресов домена с помощью nslookup

# получить список всех IP адресов домена
nslookup google.com | awk '/Address:/ { print $2 }' | grep -v \#

# получить один IP адрес домена
nslookup google.com | awk '/Address:/ { print $2 }' | tail -n1

# получить информацию о домене
echo "`nslookup google.com | awk '/Address:/ { print $2 }' | tail -n1`" | socat - TCP4:whois-servers.net:43

Узнаем информацию о городе, стране, доме из google.com

Для запроса используем запрос:

http://maps.google.com/maps/geo?q=russia&output=json&oe=utf8&sensor=true_or_false

возможные значения поля
output: json, csv, xml, kml
q: [любой адрес в текстовом виде, на любом языке: страна, город, улица дом]

PS:
    Можно использовать информацию из Whois запроса,
в результате получаем подробную информацию, включая GPS координаты объекта.

socat, netcat, nc прямой запрос к whois серверам!

Вместо 10.0.0.1 подставляем IP адрес, инф. о котором нужно узнать:

echo "10.0.0.1" | socat - TCP4:whois.ripe.net:43
echo "10.0.0.1" | socat - TCP4:whois-servers.net:43
echo "10.0.0.1" | socat - TCP4:whois.arin.net:43

echo "10.0.0.1" | nc whois.ripe.net 43
echo "10.0.0.1" | nc whois-servers.net 43
echo "10.0.0.1" | nc whois.arin.net 43

DOS vs VirtualBox for Linux

1. Скачиваем и устанавливаем VirtualBox
2. Создаем новую виртуальную машину
    "Создать"->"Вперед>"
    Введем имя "Dos" -> "Вперед>" -> "Вперед>" -> "Вперед>" -> "Вперед>"
    Выберем "образ фиксированного размера" -> "Вперед>" -> "Вперед>"
    -> "Финиш"
3. Устанавливаем Dos (скачиваем один из образов для установки)

Обмен файлами можно организовать путем подключения физических устройств, созданием и монтированием виртуальных устройств. Проще и безопаснее всего это сделать через виртуальный образ FDD диска

# создадим образ диска 1.44Mb
dd bs=512 count=2880 if=/dev/zero of=~/floppy.img
# форматируем
mkfs.msdos ~/floppy.img
# монтируем
sudo mkdir /media/floppy/
sudo mount -o loop ~/floppy.img /media/floppy/

Далее можно подключить созданный образ к виртуальной машине
и использовать его для обмена файлами

Есть более оригинальный способ. Можно монтировать образ виртуального HDD диска (Dos.vdi).

# читаем 4 байта (без знаковое целое) по смещению 76
od -j76 -N4 -td4 Dos.vdi | awk 'NR==1{print $2;}' #=2 (фикс. размер диска)
# читаем 4 байта (без знаковое целое) по смещению 344
od -j344 -N4 -td4 Dos.vdi | awk 'NR==1{print $2;}' #=8192 (начало диска)

#копируем таблицу разделов диска в отдельный файл
dd if=Dos.vdi of=vdstart bs=1 skip=8192 count=1b >/dev/null #8192(начало диска)

# узнаем характеристики диска
/sbin/sfdisk -luS vdstart
rm vdstart

По этим данным можно вычислить начало диска и его общий размер:
# offset = 8192(начало диска)+63(начало)*512(размер сектора) = 40448
# size = 1048257(число секторов)*512(размер сектора) = 536707584
sudo mkdir /media/Dos/
sudo mount Dos.vdi /media/Dos -t auto -o loop,offset=40448

Полученную папку /media/Dos можно использовать для прямого перемещения данных в виртуальную машину

Например: для моего случая мне потребовалась документация по Dos (Tech Help 6.0) FAsm и отладчик Swat. И другие инструменты.

lighttpd: пишем mod_rpaf

Скачиваем последнюю версию lighttpd
Читаем инструкцию по написанию плагина для lighttpd
Исходный код модуля для apache берем тут

Приступаем:
cd lighttpd-1.4.28/src
cp mod_skeleton.c mod_rpaf.c

После небольшой правки получаем текст приведенный ниже.
Скопируем приведенный ниже текст и вставим в mod_rpaf.c:
#include "base.h" #include "log.h" #include "buffer.h" #include "plugin.h" #include "inet_ntop_cache.h" #include <ctype.h> #include <stdlib.h> #include <string.h> /** * this is a rpaf lighttpd plugin */ /* plugin config for all request/connections */ typedef struct { int enabled; // 1-enable plugin, 0-disable plugin int sethostname; // 1-set host name from headers("X-Forwarded-Host"/"X-Host"), 0-disabled buffer *headername; // header name or used "X-Forwarded-For" for remote IP array *proxy_ips; // proxy IP list for handling (for example ["127.0.0.1", "10.0.0.10"]) } plugin_config; typedef struct { PLUGIN_DATA; plugin_config **config_storage; plugin_config conf; } plugin_data; /* init the plugin data */ INIT_FUNC(mod_rpaf_init) { plugin_data *p; p = calloc(1, sizeof(*p)); return p; } /* destroy the plugin data */ FREE_FUNC(mod_rpaf_free) { plugin_data *p = p_d; UNUSED(srv); if (!p) return HANDLER_GO_ON; if (p->config_storage) { size_t i; for (i = 0; i < srv->config_context->used; i++) { plugin_config *s = p->config_storage[i]; if (!s) continue; if (s->headername) buffer_free(s->headername); if (s->proxy_ips) array_free(s->proxy_ips); free(s); } free(p->config_storage); } free(p); return HANDLER_GO_ON; } /* handle plugin config and check values */ SETDEFAULTS_FUNC(mod_rpaf_set_defaults) { plugin_data *p = p_d; size_t i = 0; config_values_t cv[] = { { "rpaf.enable", NULL, T_CONFIG_SHORT, T_CONFIG_SCOPE_CONNECTION }, /* 0 */ { "rpaf.proxy_ips", NULL, T_CONFIG_ARRAY, T_CONFIG_SCOPE_CONNECTION }, /* 1 */ { "rpaf.sethostname", NULL, T_CONFIG_SHORT, T_CONFIG_SCOPE_CONNECTION }, /* 2 */ { "rpaf.header", NULL, T_CONFIG_STRING, T_CONFIG_SCOPE_CONNECTION }, /* 3 */ { NULL, NULL, T_CONFIG_UNSET, T_CONFIG_SCOPE_UNSET } }; if (!p) return HANDLER_ERROR; p->config_storage = calloc(1, srv->config_context->used * sizeof(specific_config *)); for (i = 0; i < srv->config_context->used; i++) { plugin_config *s; s = calloc(1, sizeof(plugin_config)); s->enabled = 0; s->proxy_ips = array_init(); s->sethostname = 0; s->headername = buffer_init(); cv[0].destination = &s->enabled; cv[1].destination = s->proxy_ips; cv[2].destination = &s->sethostname; cv[3].destination = s->headername; p->config_storage[i] = s; if( 0 != config_insert_values_global( srv,( (data_config*)srv->config_context->data[i])->value, cv) ) { return HANDLER_ERROR; } } return HANDLER_GO_ON; } #define PATCH(x) \ p->conf.x = s->x; #define USED(n) (buffer_is_equal_string(du->key, CONST_STR_LEN(n))) static int mod_rpaf_patch_connection(server *srv, connection *con, plugin_data *p) { size_t i, j; plugin_config *s = p->config_storage[0]; PATCH(enabled); PATCH(proxy_ips); PATCH(sethostname); PATCH(headername); /* skip the first, the global context */ for (i = 1; i < srv->config_context->used; i++) { data_config *dc = (data_config *)srv->config_context->data[i]; s = p->config_storage[i]; if (!config_check_cond(srv, con, dc)) continue; /* Got matching context, enter the given values */ for (j = 0; j < dc->value->used; j++) { data_unset *du = dc->value->data[j]; /* if the option was set in this context, use it */ if (USED("rpaf.enable")) PATCH(enabled); if (USED("rpaf.proxy_ips")) PATCH(proxy_ips); if (USED("rpaf.sethostname")) PATCH(sethostname); if (USED("rpaf.header")) PATCH(headername); } } return 0; } #undef USED #undef PATCH static int is_in_array(const char *remote_ip, array *proxy_ips) { for (size_t i = 0; i < proxy_ips->used; i++) { data_string *ds = (data_string *)proxy_ips->data[i]; if ( strcmp(remote_ip, ds->value->ptr)==0 ) return 1; } return 0; } static const char* get_header_value(array* headers, const char* key) { data_string *ds = (data_string*)array_get_element(headers,key); return ds?ds->value->ptr:NULL; } static void set_host_header(array* headers, const char *value) { array_set_key_value(headers, "Host", 4, value, strlen(value)); } URIHANDLER_FUNC(mod_rpaf_uri_handler) { plugin_data *p = p_d; UNUSED(srv); mod_rpaf_patch_connection(srv, con, p); // continue processing if disabled or IP is'nt in IP list if( !p->conf.enabled || !is_in_array((const char*)inet_ntop_cache_get_ip(srv, &con->dst_addr),p->conf.proxy_ips) ) return HANDLER_GO_ON; const char *fwdvalue = NULL; /* check if conf.headername is set and if it is use that instead of X-Forwarded-For by default */ if( p->conf.headername->ptr && (fwdvalue=get_header_value(con->request.headers, p->conf.headername->ptr)) ) { // use conf.headername } else if ( (fwdvalue=get_header_value(con->request.headers, "X-Forwarded-For")) ) { // use "X-Forwarded-For" } else { log_error_write(srv, __FILE__, __LINE__, "s", "Can\'t find header:\"X-Forwarded-For\" (or use custom header: rpaf.header = \"X-Real-IP\") with external IP"); return HANDLER_GO_ON; } // handle current request? if( fwdvalue ) { // replace external source addr buffer_copy_string(con->dst_addr_buf, fwdvalue); con->dst_addr.ipv4.sin_addr.s_addr = inet_addr(con->dst_addr_buf->ptr); // need to update host name? if( p->conf.sethostname ) { const char *hostvalue; if( ( hostvalue=get_header_value(con->request.headers, "X-Forwarded-Host") ) || ( hostvalue=get_header_value(con->request.headers, "X-Host") ) ) { // set_host_header(con->request.headers, hostvalue); buffer_copy_string(con->uri.authority, hostvalue); } else { log_error_write(srv, __FILE__, __LINE__, "s", "Can\'t find header\'s:(\"X-Forwarded-Host\"|\"X-Host\") (disable feature: rpaf.sethostname = 0 or set required header)"); } } } return HANDLER_GO_ON; } /* this function is called at dlopen() time and inits the callbacks */ int mod_rpaf_plugin_init(plugin *p) { p->version = LIGHTTPD_VERSION_ID; p->name = buffer_init_string("rpaf"); p->init = mod_rpaf_init; p->handle_uri_clean = mod_rpaf_uri_handler; p->set_defaults = mod_rpaf_set_defaults; p->cleanup = mod_rpaf_free; p->data = NULL; return 0; }

добавим строки в файл src/Makefile.am
lib_LTLIBRARIES += mod_rpaf.la
mod_rpaf_la_SOURCES = mod_rpaf.c
mod_rpaf_la_LDFLAGS = -module -export-dynamic -avoid-version -no-undefined
mod_rpaf_la_LIBADD = $(common_libadd)

собираем lighttpd
./configure --prefix=/usr ...
make
sudo make install

конфигурационный файл lighttpd.conf:
server.port = 8081
server.modules = ("mod_rpaf", ....)
rpaf.enable = 1 # 1-enable module, 0-disable module
rpaf.proxy_ips = ( "127.0.0.1", ... ) # proxy servers address
rpaf.sethostname = 1 # 1-enable set "Host:" using "X-Forwarded-Host" or "X-Host", 0-off
rpaf.header = "X-Real-IP" # "X-Forwarded-For" if commented

конфигурационный файл nginx.conf:
http {
  proxy_redirect off;
  proxy_set_header Host $host;
  proxy_set_header X-Real-IP $remote_addr;
  proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
  client_max_body_size 10m;
  client_body_buffer_size 128k;
  proxy_connect_timeout 90;
  proxy_send_timeout 90;
  proxy_read_timeout 90;
  proxy_buffers 32 4k;
}

server { # simple reverse-proxy
  listen 80;

  server_name test.org;
  access_log /var/log/nginx/lighttpd.access.log;

  # pass requests for dynamic content to rails/turbogears/zope, et al
  location / {
    proxy_pass http://127.0.0.1:8081;
    proxy_set_header Host $host;
    proxy_set_header X-Real-IP $remote_addr;
    #proxy_set_header X-Forwarded-For $remote_addr;
    proxy_set_header X-Forwarded-Host myhost;
  }
}

перезапускаем оба сервиса:
service nginx restart
service lighttpd restart

модуль написан по аналогии с mod_rpaf для apache
Это первая версия модуля, прошу протестировать его всех,
кому он может быть полезным.
в случае обнаружения багов, пишите по адресу: isaleksey@gmail.com

github
cd lighttpd-1.4.28/src
git clone git://github.com/symalex/mod_rpaf.git .

Создание SSH туннеля

пример:

перебросить локальный порт 2000 на удаленный порт 25
ssh -f -L [bind_address:]2000:local.org:25 -nNT user@remote.org

пояснения:
-f                              - перейти в фон после запуска
local.org                  - локальный сервер
user@remote.org    - удаленный сервер с которым соединяемся
[bind_address:]       - необязательный параметр (по умолч.: localhost)
-L 2000                    - локальный порт для начала туннеля
:25                           - удаленный порт для конечной точки туннеля
-N                            - не выполнять удаленных команд
-n                             - связать стандартное устройство ввода с /dev/null
-T                             - не создавать псевдо tty на удаленной системе

пример:

перебросить удаленный порт 2000 на локальный порт 25
ssh -f -R [bind_address:]2000:local.org:25 -nNT user@remote.org

пояснения:
[bind_address:]      - необязательный параметр (по умолч.: localhost)
-R 2000                  - удаленный порт 2000

добавить в sshd_config:
GatewayPorts clientspecified