지방이의 Data Science Lab

driver.find_element_by_id('info.search.place.more').click()를 실행했더니, 밑의 말이 뜨면서 실행되지 않는다. 그럴때 밑의 코드를 사용하자:element = driver.find_element_by_id('info.search.place.more')driver.execute_script("arguments[0].click();", element)

먼저 인지해야 할 점은 셀레니움 내에서 자동으로 스크롤을 계속 내려서 자동크롤링을 하고 싶은거라면 밑으로 내려가게 하는 방법은 존재하지 않는다. 멀티플 스크롤중 우리가 원하는 하위 스크롤을 내리고자 한다면 미리 내리고 클레스를 알아야만 가능하다. 그래서 자동 크롤링을 실시하고자 하는거라면 이 방법은 적합하지 않다. 셀레니움을 실행할때 요소가 화면을 벗어나있으면 마우스 클릭을 할 수 없기 때문에 에러가 발생하고 실행되지 않는다. 따라서, 스크롤을 내려서 화면안에 원하는 클릭이 들어가도록 해야 한다. (https://selenium-python.readthedocs.io/locating-elements.html를 읽어보며 필요한 element선택하는 방법을 찾아볼 수 있다.) 크롤링을 하려면 스크롤을 내려서..

카카오 api를 이용해 키워드로 장소 검색하기 단점: 갯수 제한 https://developers.kakao.com/docs/restapi/local#키워드로-장소-검색 단점: 15줄씩이고 최대 45장까지밖에 안가져와진다. 1216개가 검색이 되지만, 가져올 수 있는 한계는 15*45개. 1 2 3 4 5 6 7 8 9 10 11 import simplejson,requests import sys url = "https://dapi.kakao.com/v2/local/search/keyword.json?" apikey = "자신의 REEST KEY값 입력" query = "올리브영" r = requests.get( url, params = {'query':query}, headers={'Authorizat..

이효리를 웹문서에 검색한 결과를 크롤링해보기 https://developers.kakao.com/docs/restapi/search#웹문서-검색 검색창 cmd에서 pip install simple json 필요 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 import simplejson,requests import sys url = "https://dapi.kakao.com/v2/search/web" apikey = "인증받은 rest api key 값 입력할 것" subj = "이효리" r = requests.get( url, params = {'query':subj}, headers={'Authorization' : 'KakaoAK ' + apikey } ) js = simp..

https://jlim0316.tistory.com/4 카카오 api를 이용한 크롤링(1): 카카오 앱 키를 얻기 카카오 rest api를 이용해서 크롤링 해보자 단점: 갯수제한 걸려있다. 카카오 개발사이트에서 로그인(https://developers.kakao.com)하고, 앱을 등록, 플랫폼 등록 후 따라하면 된다. https://developers.kakao.co.. jlim0316.tistory.com 를 보고 토큰까지 있어야 아래 글을 참고할 수 있다. # 카카오 api로 위도 경도 표시하는 방법 https://developers.kakao.com/docs/restapi/local 1 2 3 4 5 6 7 def getLatLng(addr): url = 'https://dapi.kakao.com..