scraping (1) 썸네일형 리스트형 How to become a web crawling master 크롤링 매력에 빠지다..! 내 첫 크롤링은 cheerio 와 puppeteer 라는 자바스크립트 모듈을 활용한 네이버 실시간 검색 순위 크롤링이였다. 그 순위의 목록을 가져오고 가공해서 내 터미널에 띄우는 그 순간! 희열을 느꼈다. 크... 이거구나. 이런 매력이 있구나..! 크롤링은 개발자에게 아주 중요한 기술 중 하나이다. DB 에 데이터가 없다면 쌓일때 까지 기다려야 하고, 유의미한 정보가 아니라면 그 DB 는 쓸모가 없다. 웹 상에는 우리가 상상도 못할 만큼의 데이터가 떠있다. 잘 안보이게 가려놓거나 의도적으로 막아두지 않는 이상 크롤링 또는 스크래핑 이라는 기술로 데이터를 긁어올 수 있다. 이렇게 모인 데이터는 또 다른 가능성을 열어주고 환경을 만들어 주기도 한다. 최근 핀테크에서 스크래퍼라는 .. 이전 1 다음
