Cog Factory Cog Factory

Project using python/Jobs scrapper

• Job scrapper Intro

  Project using python/Jobs scrapper 2020. 12. 21. 10:43

  Introduction StackBuffer Overflow, remoteok.io, weworkremotely.com과 reddit에 있는 정보들(일자리 및 reddit 이슈)을 requests와 beautifulSoup를 이용해서 긁어모아서 web page로 보여주고 동시에 .csv 파일로도 저장하는 기능을 만들 것이다.

  Read More

• Python BeautifulSoup

  Project using python/Jobs scrapper 2020. 12. 21. 10:27

  Definition Beautiful Soup은 HTML 및 XML 파일에서 데이터를 추출하기 위한 Python 라이브러리다. Installation pipenv install beautifulsoup4 Usage import requests from bs4 import BeautifulSoup result = requests.get(url) soup = BeautifulSoup(result.text, "html.parser") Method find pages_container = soup.find("div", {"class": "s-pagination"}) BeautifulSoup로 추출한 html에서 tag가 "div"이고 class가 "s-pagination"인 html을 추출한다. 이에 해당하는 ..

  Read More

• Python requests

  Project using python/Jobs scrapper 2020. 12. 21. 10:00

  Definition Python에서 사용되는 Http library다. Installation pipenv install requests Methods requests.get import requests url = 'https://api.github.com/some/endpoint' r = requests.get(url) payload = {'key1': 'value1', 'key2': 'value2'} r = requests.get('https://httpbin.org/get', params=payload) headers = {'user-agent': 'my-app/0.0.1'} r = requests.get(url, headers=headers) requests.get()에 준 url의 page를 가..

  Read More