-
Python requestsProject using python/Jobs scrapper 2020. 12. 21. 10:00
Definition
Python에서 사용되는 Http library다.
Installation
pipenv install requests
Methods
requests.get
import requests url = 'https://api.github.com/some/endpoint' r = requests.get(url) payload = {'key1': 'value1', 'key2': 'value2'} r = requests.get('https://httpbin.org/get', params=payload) headers = {'user-agent': 'my-app/0.0.1'} r = requests.get(url, headers=headers)
requests.get()에 준 url의 page를 가져온다. 그러면 그에 대한 response를 r에 저장한다. 그 외에도 post, put, delete 등이 있다. get 요청을 보낼 때 동시에 params이나 headers 값을 같이 보낼 수 있다.
r.text
url = 'https://api.github.com/some/endpoint' r = requests.get(url) print(r.text)
r.text는 requests에 대한 response의 데이터를 읽게 해준다.
r.status_code
url = 'https://api.github.com/some/endpoint' r = requests.get(url) print(r.status_code) // 200
r.status_code는 http status code를 출력한다. 옳바르게 송수신이 되었다면 200을 출력한다.
참고 자료
'Project using python > Jobs scrapper' 카테고리의 다른 글
Scrap WeWorkRemotely (0) 2020.12.21 Extract jobs from Stack Overflow (0) 2020.12.21 get_last_page of Stack Overflow (0) 2020.12.21 Job scrapper Intro (0) 2020.12.21 Python BeautifulSoup (0) 2020.12.21