기존에 github action으로 crawler를 스케쥴링해놨었는데, github action의 cron은 표기보다 30분~한시간 랜덤으로 늦게 실행되어서(무료 서버다 보니) airflow로 옮기게 되었다. 그런데 airflow로 크롤링 시 자꾸 특정 코드 다음으로 안넘어가는 문제가 발생했다. 초기엔 webdriverManger.install()에서 해당 문제 발생 이에 webdriverManager가 아니라 직접 수동으로 webdriver를 다운 받아 사용했다. 하지만 다음번엔 driver.quit() 에서 문제 발생 크롤링에 로그인을 하고 다른 페이지로 리다이렉션하는 로직이 있어서 그런가 하여 headless 모드를 끄고 단순히 driver.get()이후 driver.quit() 하고 로그를 남기는..
