Блог программиста-электронщика

понедельник, 28 марта 2011 г.

сбор whois информации в базу данных

Пример кода:

#!/bin/bash

echo start enum whois host base ...

#whois [assoc array] [IP address]
#[assoc array] - array name
#[IP address] - destination IP address
#
# example:
#   declare -A who
#   whois "who" "74.125.232.20"
#
function whois() {
    # make temp file
    #TFILE="/tmp/$(basename $0).$$.tmp"
    TFILE="`tempfile`"

    # max request per IP = 50 requests per 24 hours (whois.arin.net, whois-servers.net, whois.ripe.net, whois.ripn.net, whois.iana.org)
    echo $2 | socat - TCP4:whois-servers.net:43 | \
    sed -e 's/^[ ]*//g;s/[ ]*$//g;/^$/d;/^[#%]/d;s/#.*$//g;s/[ ]*$//g' | \
    awk -v arr=$1 -F": " '
    BEGIN { addr="" }
    {
        #trim string left & right
        gsub(/^[ ]+/,"",$0);
        gsub(/[ ]+$/,"",$0);

        if( $2!="" ) {
            gsub(/^[ ]+/,"",$1);
            gsub(/[ ]+$/,"",$1);
            gsub(/^[ ]+/,"",$2);
            gsub(/[ ]+$/,"",$2);

            # check net range
            if ( tolower($1) ~ /^(netrange|inetnum)$/ ) {
                gsub(/[ ]/,"",$2);
            }
            else
            # get country in reverse order
            if ( tolower($1) ~ /^(address|country|stateprov|city|postalcode)$/ ) {
                addr = $2 ", " addr;
            }

            print (arr)"[\"" $1 "\"]=""\""$2"\"";
        }
    }
    END {
        gsub(/[ ,]+$/,"",addr);
        print (arr)"[\"FullAddress\"]=""\""addr"\"";
    }
    ' > $TFILE

    # fetch whois information
    while read line
    do
        eval ${line}
    done < $TFILE

    # delete temp file
    rm $TFILE
}

#google_info [assoc array] [output language] [long address]
#[assoc array] - array name
#[output language] - "ru","en",...
#[long address] - place address
#
# example:
#   declare -A gogl
#   google_info "gogl" "en" "Russia"
#
function google_info() {
    TFILE="`tempfile`"

    local q="`echo $3 | sed -e 's/[ ]/%20/g'`"

    echo "GET /maps/geo?q=$q&output=json&oe=utf8&sensor=true_or_false&hl=$2" | \
    socat - TCP4:maps.google.com:80 | \
    sed -e 's/.*\r$//g;s/[\[{}]//g;s/^ *//g;s/[ ,:]*$//g;s/\]$//g;/^$/d' | \
    awk -v arr=$1 -F": " '
    {
        if( $2!="" ) {
            #trim string left & right
            gsub(/^[ \"]+/,"",$1);
            gsub(/[ \"]+$/,"",$1);
            gsub(/^[ \"]+/,"",$2);
            gsub(/[ \"]+$/,"",$2);

            print (arr)"[\""$1"\"]=""\""$2"\"";
        }
    }
    ' > $TFILE

    # fetch google information
    while read line
    do
        eval ${line}
    done < $TFILE
    rm $TFILE
}

#INET_NTOA [unsigned int number]
#
# example:
#    echo $(INET_NTOA 167903743)
#    10.2.1.255
INET_NTOA() {
    local IFS=. num quad ip e
    num=$1
    for e in 3 2 1
    do
        (( quad = 256 ** e))
        (( ip[3-e] = num / quad ))
        (( num = num % quad ))
    done
    ip[3]=$num
    echo "${ip[*]}"
}

#INET_ATON [IP address]
#
# example:
#    echo $(INET_ATON 10.2.1.255)
#    167903743
INET_ATON() {
    local IFS=. ip num e
    ip=($1)
    for e in 3 2 1
    do
        (( num += ip[3-e] * 256 ** e ))
    done
    (( num += ip[3] ))
    echo $num
}

#GETIP [array] [domain name]
#
# example:
#    GETIP "ips" google.com
#
GETIP() {
    eval "`nslookup $2 | \
    awk -v arr=$1 -F": " '
    BEGIN { list="" }
    {
        if( $2!="" ) {
            #trim string left & right
            gsub(/^[ \"]+/,"",$1);
            gsub(/[ \"]+$/,"",$1);
            gsub(/^[ \"]+/,"",$2);
            gsub(/[ \"]+$/,"",$2);

            list = $2 " " list;
        }
    }
    END {
        gsub(/[ ]+$/,"",list);
        print (arr)"=( " list " )";
    }
    '`"
}

in_array() {
    local item
    # get array
    declare -a arr=("${!1}")
    for item in ${!arr[@]}
    do
        if [[ "${arr[$item],,}" == "${2,,}" ]] ; then
            return 1
        fi
    done
    return 0
}

validate_address() {
    local gitem item ret chk found
    ret=1

    chk=( "country" "stateprov" "city" )
    gchk=( "countrynamecode" "administrativeareaname" "localityname" )

    for item in ${!who[@]}
    do
        in_array "chk[@]" $item
        if [ "$?" == "1" ] ; then
            found=0
            for gitem in ${!gogl[@]}
            do
                # "country"
                in_array "gchk[@]" $gitem
                if [ "$?" == "1" ]; then
                    if [ "${gogl[$gitem],,}" == "${who[$item],,}" ]; then
                        found=1
                        break
                    fi
                fi
            done

            if [ "$found" = "0" ]; then
                ret=0
                echo $ret
                break
            fi
        fi
    done

    return $ret
}

declare ips
GETIP "ips" "google.com"
for item in "${!ips[@]}"
do
    echo $item":"${ips[$item]}
done

# declaration of who associative array
declare -A who
whois "who" "74.125.232.20"

echo
#echo "who array items and indexes:" ${#who[@]}
for item in "${!who[@]}"
do
    echo $item":"${who[$item]}
done

# declaration of gogl associative array
declare -A gogl
google_info "gogl" "en" "${who["FullAddress"]}"

echo
#echo "gogl array items and indexes:" ${#gogl[@]}
for item in "${!gogl[@]}"
do
    echo $item":"${gogl[$item]}
done

echo
echo "IP:valid================="
validate_address "who[@]" "gogl[@]"
echo "result:"$?

понедельник, 21 марта 2011 г.

Получение IP адресов домена с помощью nslookup

# получить список всех IP адресов домена
nslookup google.com | awk '/Address:/ { print $2 }' | grep -v \#

# получить один IP адрес домена
nslookup google.com | awk '/Address:/ { print $2 }' | tail -n1

# получить информацию о домене
echo "`nslookup google.com | awk '/Address:/ { print $2 }' | tail -n1`" | socat - TCP4:whois-servers.net:43

Узнаем информацию о городе, стране, доме из google.com

Для запроса используем запрос:

http://maps.google.com/maps/geo?q=russia&output=json&oe=utf8&sensor=true_or_false

возможные значения поля
output: json, csv, xml, kml
q: [любой адрес в текстовом виде, на любом языке: страна, город, улица дом]

PS:
Можно использовать информацию из Whois запроса,
в результате получаем подробную информацию, включая GPS координаты объекта.

socat, netcat, nc прямой запрос к whois серверам!

Вместо 10.0.0.1 подставляем IP адрес, инф. о котором нужно узнать:

echo "10.0.0.1" | socat - TCP4:whois.ripe.net:43
echo "10.0.0.1" | socat - TCP4:whois-servers.net:43
echo "10.0.0.1" | socat - TCP4:whois.arin.net:43

echo "10.0.0.1" | nc whois.ripe.net 43
echo "10.0.0.1" | nc whois-servers.net 43
echo "10.0.0.1" | nc whois.arin.net 43

DOS vs VirtualBox for Linux

1. Скачиваем и устанавливаем VirtualBox
2. Создаем новую виртуальную машину
    "Создать"->"Вперед>"
    Введем имя "Dos" -> "Вперед>" -> "Вперед>" -> "Вперед>" -> "Вперед>"
    Выберем "образ фиксированного размера" -> "Вперед>" -> "Вперед>"
    -> "Финиш"
3. Устанавливаем Dos (скачиваем один из образов для установки)

Обмен файлами можно организовать путем подключения физических устройств, созданием и монтированием виртуальных устройств. Проще и безопаснее всего это сделать через виртуальный образ FDD диска

# создадим образ диска 1.44Mb
dd bs=512 count=2880 if=/dev/zero of=~/floppy.img
# форматируем
mkfs.msdos ~/floppy.img
# монтируем
sudo mkdir /media/floppy/
sudo mount -o loop ~/floppy.img /media/floppy/

Далее можно подключить созданный образ к виртуальной машине
и использовать его для обмена файлами

Есть более оригинальный способ. Можно монтировать образ виртуального HDD диска (Dos.vdi).

# читаем 4 байта (без знаковое целое) по смещению 76
od -j76 -N4 -td4 Dos.vdi | awk 'NR==1{print $2;}' #=2 (фикс. размер диска)
# читаем 4 байта (без знаковое целое) по смещению 344
od -j344 -N4 -td4 Dos.vdi | awk 'NR==1{print $2;}' #=8192 (начало диска)

#копируем таблицу разделов диска в отдельный файл
dd if=Dos.vdi of=vdstart bs=1 skip=8192 count=1b >/dev/null #8192(начало диска)

# узнаем характеристики диска
/sbin/sfdisk -luS vdstart
rm vdstart

По этим данным можно вычислить начало диска и его общий размер:
# offset = 8192(начало диска)+63(начало)*512(размер сектора) = 40448
# size = 1048257(число секторов)*512(размер сектора) = 536707584
sudo mkdir /media/Dos/
sudo mount Dos.vdi /media/Dos -t auto -o loop,offset=40448

Полученную папку /media/Dos можно использовать для прямого перемещения данных в виртуальную машину

Например: для моего случая мне потребовалась документация по Dos (Tech Help 6.0) FAsm и отладчик Swat. И другие инструменты.

понедельник, 28 марта 2011 г.