Category Archives: Trabalhos

Trabalho de Linguagens Formais e Autômatos 2Bi.

Criar um Spider.

Usando a linguagem Python, e os módulos de expressões regulares e urllib, crie um programa que pegue o link de uma página web, encontre todas os links contidos nesse site (use expressão regular para isso). O programa deve ser capaz de acessar cada nova página a partir dos links encontrados no página anterior. Em seguida ele deve encontrar os novos links em cada nova página. O processo deve se repetir em no máximo cinco níveis.

Os links devem ser salvos em um arquivo txt.

O formato de salvar o arquivo deve ser:

link da página mãe:

lista de sub-links:

Abaixo segue um exemplo da estrutura de dados que o programa deve gerar:

pag. mae:

Uma Página

sublinks:

http://www.outrapagina.com

nivel 2

pag. mae:

http://www.outrapagina.com

sublink:

htttp://www.maisumapagina.com