지방이의 Data Science Lab

[Python] 카카오 api를 이용한 크롤링(5): 카카오맵 주소 가져오기 코드 본문

Python Selenium/Web Crawling

[Python] 카카오 api를 이용한 크롤링(5): 카카오맵 주소 가져오기 코드

[지현] 2019. 3. 7. 01:05
 
 

카카오맵으로 올리브영 주소를 가져온다면 큰 단점을 가진다.

내 위치를 기반으로 500개까지만 보여준다.

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
from bs4 import BeautifulSoup as bs
from selenium import webdriver
import time
import numpy as np
import pandas as pd
from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.keys import Keys
 
driver=webdriver.Chrome(executable_path=r'C:\Users\user\Documents\Python Scripts\chromedriver.exe')
driver.implicitly_wait(3)
 
driver.get('https://map.kakao.com/')
driver.find_element_by_css_selector('.img_slide.btn_close').click()
driver.find_element_by_css_selector('.layer_body').click()
driver.find_element_by_css_selector('#header input[type="text"]').send_keys('올리브영')
driver.find_element_by_id('search.keyword.submit').click()
driver.execute_script("document.body.style.zoom='80%'")
driver.implicitly_wait(3)
driver.execute_script("window.scrollTo(0, 100)") 
#driver.find_element_by_partial_link_text("아현역점").send_keys(Keys.ENTER)
element = driver.find_element_by_id('info.search.place.more')
driver.execute_script("arguments[0].click();", element)
 
time.sleep(5)
 
addr1=[];addr2=[];name=[] 
 
#1페이지
 
html = driver.page_source
soup = bs(html, 'html.parser')
for i in range(len(soup.select('.PlaceItem.clickArea .addr > p'))):
 if i %2!=0: #도로명 주소
 a=soup.select('.PlaceItem.clickArea .addr > p')[i].text
 addr2.append(a)
 
 if i %2==0: #지번 주소
 a=soup.select('.PlaceItem.clickArea .addr > p')[i].text
 addr1.append(a)
 
 #매장이름
for i in range(len(soup.select('.PlaceItem.clickArea .link_name'))):
 n=soup.select('.PlaceItem.clickArea .link_name')[i].text
 name.append(n)
 
while True:
 #2페이지
 elem=driver.find_element_by_id("info.search.page.no2")
 driver.execute_script("arguments[0].click();", elem)
 time.sleep(5)
 
 
 html = driver.page_source
 soup = bs(html, 'html.parser')
 for i in range(len(soup.select('.PlaceItem.clickArea .addr > p'))):
 if i %2!=0: #도로명 주소
 a=soup.select('.PlaceItem.clickArea .addr > p')[i].text
 addr2.append(a)
 
 if i %2==0: #지번 주소
 a=soup.select('.PlaceItem.clickArea .addr > p')[i].text
 addr1.append(a)
 
 #매장이름
 for i in range(len(soup1.select('.PlaceItem.clickArea .link_name'))):
 n=soup.select('.PlaceItem.clickArea .link_name')[i].text
 name.append(n)
 
 
 
 #3페이지
 elem=driver.find_element_by_id("info.search.page.no3")
 driver.execute_script("arguments[0].click();", elem)
 time.sleep(8)
 
 html = driver.page_source
 soup = bs(html, 'html.parser')
 for i in range(len(soup.select('.PlaceItem.clickArea .addr > p'))):
 if i %2!=0: #도로명 주소
 a=soup.select('.PlaceItem.clickArea .addr > p')[i].text
 addr2.append(a)
 
 if i %2==0: #지번 주소
 a=soup.select('.PlaceItem.clickArea .addr > p')[i].text
 addr1.append(a)
 
 #매장이름
 for i in range(len(soup1.select('.PlaceItem.clickArea .link_name'))):
 n=soup.select('.PlaceItem.clickArea .link_name')[i].text
 name.append(n)
 
 
 
 #4페이지
 elem=driver.find_element_by_id("info.search.page.no4")
 driver.execute_script("arguments[0].click();", elem)
 time.sleep(7)
 
 #html = driver.execute_script("return arguments[0].innerHTML;", elem)
 
 html = driver.page_source
 soup = bs(html, 'html.parser')
 for i in range(len(soup.select('.PlaceItem.clickArea .addr > p'))):
 if i %2!=0: #도로명 주소
 a=soup.select('.PlaceItem.clickArea .addr > p')[i].text
 addr2.append(a)
 
 if i %2==0: #지번 주소
 a=soup.select('.PlaceItem.clickArea .addr > p')[i].text
 addr1.append(a)
 
 #매장이름
 for i in range(len(soup1.select('.PlaceItem.clickArea .link_name'))):
 n=soup.select('.PlaceItem.clickArea .link_name')[i].text
 name.append(n)
 
 
 #5페이지
 elem=driver.find_element_by_id("info.search.page.no5")
 driver.execute_script("arguments[0].click();", elem)
 time.sleep(6)
 
 html = driver.page_source
 soup = bs(html, 'html.parser')
 for i in range(len(soup.select('.PlaceItem.clickArea .addr > p'))):
 if i %2!=0: #도로명 주소
 a=soup.select('.PlaceItem.clickArea .addr > p')[i].text
 addr2.append(a)
 
 if i %2==0: #지번 주소
 a=soup.select('.PlaceItem.clickArea .addr > p')[i].text
 addr1.append(a)
 
 #매장이름
 for i in range(len(soup1.select('.PlaceItem.clickArea .link_name'))):
 n=soup.select('.PlaceItem.clickArea .link_name')[i].text
 name.append(n) 
 
 
 element=driver.find_element_by_id('info.search.page.next')
 driver.execute_script("arguments[0].click();", element)
 time.sleep(7)
 html = driver.page_source
 soup = bs(html, 'html.parser')
 for i in range(len(soup.select('.PlaceItem.clickArea .addr > p'))):
 if i %2!=0: #도로명 주소
 a=soup.select('.PlaceItem.clickArea .addr > p')[i].text
 addr2.append(a)
 if i %2==0: #지번 주소
 a=soup.select('.PlaceItem.clickArea .addr > p')[i].text
 addr1.append(a)
 #매장이름
 for i in range(len(soup1.select('.PlaceItem.clickArea .link_name'))):
 n=soup.select('.PlaceItem.clickArea .link_name')[i].text
 name.append(n) 
 

 

저작자표시 비영리 동일조건

'Python Selenium > Web Crawling' 카테고리의 다른 글

[R] character로 이루어진 두 컬럼 병합시키기  (0) 2019.03.15
[Python] 네이버맵: json을 이용한 매장정보 크롤링  (8) 2019.03.07
Python: 셀레니움으로 카카오맵 크롤링하기 (2) not clickable 문제 해결법  (0) 2019.03.06
[Python] 셀레니움으로 카카오맵 크롤링하기 (1)스크롤 내리기  (0) 2019.03.06
[Python] 카카오 api를 이용한 크롤링(4): 카카오맵 주소 가져오기  (1) 2019.03.03
'Python Selenium/Web Crawling' Related Articles more
Comments