일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |
- #K-means #Clustering
- #위도#경도#비정형데이터#크롤링
- 코딩
- #크롤링 #웹문서
- 구글 지오코드
- 파이썬
- 웹크롤링
- 카카오APi
- 위도경도
- 셀레니움
- 파이썬 셀레니움
- #비정형#카카오api#api#크롤링
- 숫자빼고 중복되는 코드동작법
- 웹매크로 #세잔느
- #비정형 데이터 #네이버 #지도 #크롤링
- Today
- Total
지방이의 Data Science Lab
Python: 주어진 주소를 카카오 API로 위도, 경도를 가져오는 방법 import requests import sys x2=[];d=[];g=[];c=[];dc=[];y2=[] for i in range(1,len(address["x"])+1): url = "https://dapi.kakao.com/v2/local/search/address.json?" apikey = "자신의 rest api사용 (방법은 다른 글에 써놓음)" query = address["x"][i] r = requests.get( url, params = {'query':query}, headers={'Authorization' : 'KakaoAK ' + apikey } ) while True: try: xx2=r.json()["..
R: 영어와 한글이 섞인 컬럼에서 한글인 행만 추출하는 방법위의 컬럼중 한글 주소인 것만 궁금할때 한글인 행만 추출하고 싶다. library(stringr);library(dplyr)kr_address=AGNCINFO%>%filter(grepl("[가-힣]", AGNCINFO$address)) 먼저 grepl("[가-힣]", AGNCINFO$address)는 address라는 저 컬럼에서 한글인 것만 추출하는 것이고 filter를 통해 새로운 데이터 프레임으로 생성했다. 결과값은 아래처럼 나온다.
주소, 세부주소 붙여쓰는 방법 보여지는 컬럼과 잘린 컬럼을 합쳐서 종합적으로 한 컬럼으로 만들때 사용할 수 있는 코드가 있다. 보여지는건 깔끔한 것만 가져왔지만, NA가 포함될 경우 쉬운 코드로 짜면 이렇게 가져와 진다. 따라서, 1 2 3 4 AGNCINFO$address = sapply(1:nrow(AGNCINFO),function(i) paste(if(is.na(unlist(AGNCINFO$AGNC_ADDR[i]))){""}else{AGNCINFO$AGNC_ADDR[i]}, if(is.na(unlist(AGNCINFO$AGNC_DTLADDR[i]))){""}else{AGNCINFO$AGNC_DTLADDR[i]}, sep = " ")) AGNCINFO$address=gsub(pattern = '"',..
요새 버전이 변경되었고 페이지수 안나오게 바껴서 구버전으로 이용하면 된다. v4로 가서 활용하면 된다. 네이버맵: json을 이용한 매장정보 크롤링 원하는 매장 갯수 전부 긁어올 수 있는 유일했던 수단 앞서 셀레니움방식과 api로 크롤링하는 방식으로 매장정보(이름, 주소, 등등)을 긁어오려 했다. 앞선 방식들은 카카오맵이나 네이버맵 심지어 구글맵까지 해봤는데 갯수 제한이 걸려있었다. 이걸 해결할 수 있던 유일한 수단은 json이었다. F12를 눌러서 필요한 headers값을 가져온 후, 붙여넣는다. json이 Series로 가져와지면 변환 후, 저정하면 끝이다. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30..
카카오맵으로 올리브영 주소를 가져온다면 큰 단점을 가진다. 내 위치를 기반으로 500개까지만 보여준다. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 ..