일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- 파이썬 셀레니움
- #위도#경도#비정형데이터#크롤링
- 카카오APi
- 파이썬
- 위도경도
- 코딩
- #비정형#카카오api#api#크롤링
- #크롤링 #웹문서
- 웹매크로 #세잔느
- 구글 지오코드
- #비정형 데이터 #네이버 #지도 #크롤링
- 숫자빼고 중복되는 코드동작법
- 셀레니움
- #K-means #Clustering
- 웹크롤링
- Today
- Total
목록Python Selenium (18)
지방이의 Data Science Lab
요새 버전이 변경되었고 페이지수 안나오게 바껴서 구버전으로 이용하면 된다. v4로 가서 활용하면 된다. 네이버맵: json을 이용한 매장정보 크롤링 원하는 매장 갯수 전부 긁어올 수 있는 유일했던 수단 앞서 셀레니움방식과 api로 크롤링하는 방식으로 매장정보(이름, 주소, 등등)을 긁어오려 했다. 앞선 방식들은 카카오맵이나 네이버맵 심지어 구글맵까지 해봤는데 갯수 제한이 걸려있었다. 이걸 해결할 수 있던 유일한 수단은 json이었다. F12를 눌러서 필요한 headers값을 가져온 후, 붙여넣는다. json이 Series로 가져와지면 변환 후, 저정하면 끝이다. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30..
카카오맵으로 올리브영 주소를 가져온다면 큰 단점을 가진다. 내 위치를 기반으로 500개까지만 보여준다. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 ..
driver.find_element_by_id('info.search.place.more').click()를 실행했더니, 밑의 말이 뜨면서 실행되지 않는다. 그럴때 밑의 코드를 사용하자:element = driver.find_element_by_id('info.search.place.more')driver.execute_script("arguments[0].click();", element)
먼저 인지해야 할 점은 셀레니움 내에서 자동으로 스크롤을 계속 내려서 자동크롤링을 하고 싶은거라면 밑으로 내려가게 하는 방법은 존재하지 않는다. 멀티플 스크롤중 우리가 원하는 하위 스크롤을 내리고자 한다면 미리 내리고 클레스를 알아야만 가능하다. 그래서 자동 크롤링을 실시하고자 하는거라면 이 방법은 적합하지 않다. 셀레니움을 실행할때 요소가 화면을 벗어나있으면 마우스 클릭을 할 수 없기 때문에 에러가 발생하고 실행되지 않는다. 따라서, 스크롤을 내려서 화면안에 원하는 클릭이 들어가도록 해야 한다. (https://selenium-python.readthedocs.io/locating-elements.html를 읽어보며 필요한 element선택하는 방법을 찾아볼 수 있다.) 크롤링을 하려면 스크롤을 내려서..
카카오 api를 이용해 키워드로 장소 검색하기 단점: 갯수 제한 https://developers.kakao.com/docs/restapi/local#키워드로-장소-검색 단점: 15줄씩이고 최대 45장까지밖에 안가져와진다. 1216개가 검색이 되지만, 가져올 수 있는 한계는 15*45개. 1 2 3 4 5 6 7 8 9 10 11 import simplejson,requests import sys url = "https://dapi.kakao.com/v2/local/search/keyword.json?" apikey = "자신의 REEST KEY값 입력" query = "올리브영" r = requests.get( url, params = {'query':query}, headers={'Authorizat..
이효리를 웹문서에 검색한 결과를 크롤링해보기 https://developers.kakao.com/docs/restapi/search#웹문서-검색 검색창 cmd에서 pip install simple json 필요 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 import simplejson,requests import sys url = "https://dapi.kakao.com/v2/search/web" apikey = "인증받은 rest api key 값 입력할 것" subj = "이효리" r = requests.get( url, params = {'query':subj}, headers={'Authorization' : 'KakaoAK ' + apikey } ) js = simp..
https://jlim0316.tistory.com/4 카카오 api를 이용한 크롤링(1): 카카오 앱 키를 얻기 카카오 rest api를 이용해서 크롤링 해보자 단점: 갯수제한 걸려있다. 카카오 개발사이트에서 로그인(https://developers.kakao.com)하고, 앱을 등록, 플랫폼 등록 후 따라하면 된다. https://developers.kakao.co.. jlim0316.tistory.com 를 보고 토큰까지 있어야 아래 글을 참고할 수 있다. # 카카오 api로 위도 경도 표시하는 방법 https://developers.kakao.com/docs/restapi/local 1 2 3 4 5 6 7 def getLatLng(addr): url = 'https://dapi.kakao.com..
카카오 rest api를 이용해서 크롤링 해보자 단점: 갯수제한 걸려있다. 카카오 개발사이트에서 로그인(https://developers.kakao.com)하고, 앱을 등록, 플랫폼 등록 후 따라하면 된다. https://developers.kakao.com/docs/restapi/getting-started 를 따라하고, https://developers.kakao.com/docs/restapi/user-management에서도 설명하고 있으나 보기에 꽤 복잡하다. (1) 코드 받기(너네 이게 진짜 최선의 설명이었니) 대략난감해하다가 방법을 찾았다. https://kauth.kakao.com/oauth/authorize?client_id=자신의 REST API키&redirect_uri=http://플랫..