자바 웹크롤러 - JSOP 라이브러리

JSOP 라이브러리

// https://mvnrepository.com/artifact/org.jsoup/jsoup
    implementation group: 'org.jsoup', name: 'jsoup', version: '1.14.1'

• mvnrepository 에서 jsop 라이브러리 받아오기 (gradle 버전)

• Document : 웹사이트의 모든 소스코드 (HTML, CSS, Javascript 포함)

• Elements : Document의 특정 범위, 일부 Tag를 담을 수 있다.

• Element 는 Elements에서 얻은 최종 요소

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.select.Elements;

public class Crawler {
    public static void main(String args[]){
        Document document;
        try {
            document = Jsoup.connect("https://www.namgarambooks.co.kr/category/출간 도서 소개").get();
            Elements elements = (Elements) document.select("#container #content #searchList ol li a");
            elements.stream().forEach(name -> System.out.println("name = " + name.text()));
        } catch (Exception e) {
            System.out.println(e.getMessage());
        }
    }
}

• CSS Select를 이용하여 태그정보를 가져올 경우 태그명을 그대로 적는다. (div태그면 div)
• id를 기준으로 가져올 때는 #id명
• class 를 기준으로 가져올 때는 .class명