get_last_page of Stack Overflow

scrapperSO.py

import requests
from bs4 import BeautifulSoup

def get_last_page(url):
  result = requests.get(url)
  soup = BeautifulSoup(result.text, "html.parser")
  pages = soup.find("div", {"class": "s-pagination"}).find_all('a')
  last_page = pages[-2].get_text(strip=True)
  return int(last_page)

def get_SOJobs(word):
  url = f"https://stackoverflow.com/jobs?q={word}"
  last_page = get_last_page(url)
  print(last_page)

get_SOJobs("python") 

   Stack Overflow에 있는 원하는 language의 일자리를 scrap할 것이다. 먼저 해야할 것은 SO가 수백 개의 일자리를 페이지 별로 나눴는데, 그 중 가장 마지막 페이지의 번호를 얻어야 한다.

참고 자료

• 노마드 코더
• requests
• beautifulSoup

소스 코드

github.com/zpskek/web_scraper-v2/commit/4393ae9f05f3433bccaee7de61b5c07c2f1c5407