본문 바로가기

Python

(2)
Django - How does it work?, #2 Models - Views - Template Node.js 와 마찬가지로 MVC 플로우 같은 구성으로 장고도 세팅이 가능하다. 장고에서는 MVT 의 구성으로 되어 있고 다음과 같이 동작한다. 1. Models.py 장고의 모델은 노드의 모델과 같은 역할을 한다. 데이터베이스와 직접적으로 소통하고 데이터를 넣고 가져오는 파일이다. 기본적으로 클래스로 이루어지며, 메소드를 활용해 데이터를 컨트롤한다. 2. Views.py 노드에서의 뷰가 클라이언트 뷰에 관한 역할을 맡았었다면 장고에서는 노드의 컨트롤러와 같이 서버의 로직을 담당하는 부분이다. 겟 요청과 포스트 요청 등이 오면 함수 실행 시켜 어떤 데이터를 내려주고 받을지를 로직으로 처리한다. 또한 클라이언트의 요청에 응답하는 역할도 하면서 클라이언트에 어..
How to become a web crawling master 크롤링 매력에 빠지다..! 내 첫 크롤링은 cheerio 와 puppeteer 라는 자바스크립트 모듈을 활용한 네이버 실시간 검색 순위 크롤링이였다. 그 순위의 목록을 가져오고 가공해서 내 터미널에 띄우는 그 순간! 희열을 느꼈다. 크... 이거구나. 이런 매력이 있구나..! 크롤링은 개발자에게 아주 중요한 기술 중 하나이다. DB 에 데이터가 없다면 쌓일때 까지 기다려야 하고, 유의미한 정보가 아니라면 그 DB 는 쓸모가 없다. 웹 상에는 우리가 상상도 못할 만큼의 데이터가 떠있다. 잘 안보이게 가려놓거나 의도적으로 막아두지 않는 이상 크롤링 또는 스크래핑 이라는 기술로 데이터를 긁어올 수 있다. 이렇게 모인 데이터는 또 다른 가능성을 열어주고 환경을 만들어 주기도 한다. 최근 핀테크에서 스크래퍼라는 ..