[web]Eclipse를 통한 웹 크롤링

웹 크롤링이란?

웹 크롤링이란 웹 스크래핑 중 기술의 하나이다. 웹 스크래핑이란 웹 사이트의 데이터를 수집하는 모든 작업을 뜻하게 된다.

그 중에서도 웹크롤링은 여러 인터넷 싸이트의 페이지 (문서, HTML 등)를 데이터를 수집 및 분류 하는 것을 뜻한다.

---

웹 크롤링 하는 방법

1.먼저 크롤링을 하고자 하는 웹사이트를 들어간다.

2.사이트에서 F12를 누르면 개발자 페이지가 나오는것을 확인할수있다.

3.개발자 페이지에서 source부분에 가서 TOP부분에 가면 모든 코드가 나오는 것을 확인 할 수 있다.

4.모든 코드를 복사 한 후 eclipse로 와서 미리 만들어준 jsp파일에 복사를 하고 붙여넣는다.

5.그리고 개발자 페이지에서 css파일을 찾아 마우스 오른쪽 클릭을 하고 save as를 눌러 복사 한뒤 코드와 똑같은 경로를 만들어 css 파일을 넣어준다.

6.eclipse를 실행하면 크롤링 된것을 확인 할 수 있다