#!/usr/bin/perl -w

#Tokenizer Básico:
#lê o texto dum ficheiro linha a linha
#quebra as linhas cada vez que encontra um espaço em branco
#escreve um tokem por linha


while ($line=<STDIN>) {
      chop($line);
       
     
      @ListaDeTokens = split(" ", $line);
      foreach $token (@ListaDeTokens) {
	 
        print "$token\n";
        
      }
}


print STDERR "Fim do tokenizer básico\n";