Работа с текстом

Perl является прекрасным инструментом для обработки текстовой информации. На каждом компьютере всегда найдется парочка файлов-протоколов (логов) событий тех или иных приложений.

Сисадмины знают, как утомительно выискивать в этих протоколах необходимую информацию или анализировать оную. Хорошо, если у вас на машине только один лог - bootlog.txt, а если десяток, и ежедневно надо шефу давать отчет, кто с какого компьютера куда лазил в Интернете, сколько было посещений вашего сайта, у кого в почтовом ящике 90% развлекательных рассылок с www.sexygirls.com, а 10% - служебной корреспонденции, то вам без инструментария не обойтись. Лучше всего для этих целей использовать perl, - за 10-15 минут можно написать любой анализатор лога на свой вкус.

Анализатор лога

from               to                      bytes     total  date     time
ws-5.game.net      ws-1.game.net           1884       3228 07.10.01 19:04:47
forwarder5.spylog. ws-1.game.net           2164       3164 07.10.01 19:04:47
ws-5.game.net      62.146.24.217           1802       3162 07.10.01 19:04:47
ws-5.game.net      entropy.agava.ru        1315       3035 07.10.01 19:04:47
sovet.yandex.ru    ws-1.game.net           2729       2933 07.10.01 19:04:47
forwarder5.spylog. ws-5.game.net           2409       2905 07.10.01 19:04:47
ws-1.game.net      forwarder5.spylog.      1537       2861 07.10.01 19:04:47
ws-1.game.net      search.rambler.ru       1006       2062 07.10.01 19:04:47
	

Задача: по определенной машине извлечь всю статистику - общее количество байт переданное и принятое извне, и список сайтов, с которыми данный хост (машина) обменивался данными.

Как видим, запись лога состоит из 6 полей определенной длины, поля не разделяются. (Обычно поля разделяются табуляцией или запятыми). Еще определено, что в данном случае в значении поля не может быть пробела. Можно попробовать разделить поля по пробелам. Алгоритм прост = перебирать файл по строке, строку разбивать на поля, и, если совпадает с требуемым хостом, то суммировать данные. Проще простого.

tr/ / /s;
($add1,$add2,$stemp,$totsize,$date,$time) = split(/ /,$_);			  

Если вы с perl не знакомы, то следует пояснить: переменные в perl в основном начинаются со знака доллара $, а переменную по "умолчанию" обозначают как $_.

Хитрая конструкция tr/ / /s; обозначает следующее: найти в переменной "по умолчанию" все пробелы и сжать их tr/ / /s

Чтение файла

Чтобы получить строки из файла, для этого его нужно только открыть и в цикле уже обрабатывать строки:

	
open FILE,"trafd.log";

while (<FILE>) {
tr/ / /s;
($add1,$add2,$stemp,$totsize,$date,$time) = split(/ /,$_);
....			  
}

while (<FILE>)

while(!eof(FILE))
   $str = readln(FILE);
}

Передача параметров в скрипт

$req_addr = shift;
$filename = shift;

Хэши

$totalin = 0;
$totalout= 0;
if ($add1 eq $req_addr) {
# подсчитываем входящий траффик
   $totalin += $totsize;
# запомним хост-корреспондент и траффик на него   
   $dh{$add2} += $totsize;
}
if ($add2 eq $req_addr) {
# подсчитываем исходящий траффик
   $totalout += $totsize;
# запомним хост-корреспондент и траффик на него
   $dh{$add1} += $totsize;
}

%dh = ('www.yahoo.com', 9845, 'www.yandex.ru', 23632,.....);
#можно записывать и так:
%dh = (
   www.yahoo.com=> 9845, 
   www.yandex.ru=> 23632,
   ...=>.....);

Полный текст скрипта

#!/usr/bin/perl
# первая строка в perl программе - всегда путь на диске к интерпретатору
# в данном случае - в Unix - стиле, но можно,
# например = c:\perl\bin\perl.exe
# Хотя в MS Windows это  не обязательно, если это не CGI скрипт.
$req_addr = shift;                   # параметр - адрес хоста
$filename = shift;                 # параметр - имя лог-файла
print $filename,"\n";
if ( $filename eq 0 ) {           # не передали имя лог-файла
   $filename = "/var/log/trafd.log"; # берем имя по умолчанию
}
print $filename,"::",$req_addr,"\n";
open FILE,$filename;                         # открываем файл
$totalin = 0;
$totalout= 0;
while (<FILE>) {
  tr/ / /s;
  ($add1,$add2,$stemp,$totsize,$date,$time) = split(/ /,$_);
  if ($add1 =~ $req_addr) {
   $totalin += $totsize;
   $dh{$add2} += $totsize;
  }
  if ($add2 eq $req_addr) {
   $totalout += $totsize;
   $dh{$add1} += $totsize;
  }
}
close FILE;                          # не забыть закрыть файл
# Последнее - распечатать результат
print "Статистика по хосту  ",$req_addr,"\n";
print "Исходящий траффик   :",$totalin,"\n";
print "Входящий траффик    :",$totalout,"\n";
print "\n";
print "В сумме по удаленным хостам:\n";
foreach $key (sort keys(%dh)) {
    foreach (split("\0", $dh{$key})) {
      ($out = $_);
format STDOUT =
@<<<<<<<<<<<<<<<<<<<<<<<<  == @>>>>>>>>>>>>>>>> байт
$key,                              $out
.
write();
  }
}

Форматированный вывод