오픈소스 웹크롤러(WebCrawler) 소프트웨어 관련 참고
웹크롤러 소프트웨어는 사용자가 지정한 규칙에 따라 특정 웹사이트에 접근해서 웹 디렉토리내에 있는 웹페이지 및 파일들을 자동으로 다운로드 하거나 복사하는 소프트웨어입니다. 물론 서버에서 특정 경로의 디렉토리와 파일에 접근을 못하도록 제한 퍼미션을 설정한 경우에는 접근을 하더라도 다운로드나 복사는 불가능합니다.
참고하시기 바랍니다.
< 오픈소스 웹크롤러 >
1. crawler4j
2. HTTrack Website Copier