Fazer com que o crawler seja offline

Fazer com que dado uma pasta com os arquivos já baixados ele faça o processamento das informações, desta forma, o download seria feita apenas uma vez por versão do site e evitaria problemas de bloqueio de IP