일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- 파이썬
- #위도#경도#비정형데이터#크롤링
- 구글 지오코드
- 파이썬 셀레니움
- #크롤링 #웹문서
- 웹크롤링
- #비정형 데이터 #네이버 #지도 #크롤링
- 웹매크로 #세잔느
- #K-means #Clustering
- 숫자빼고 중복되는 코드동작법
- 카카오APi
- 위도경도
- #비정형#카카오api#api#크롤링
- 셀레니움
- 코딩
- Today
- Total
목록Data Analysis (116)
지방이의 Data Science Lab
아래 사진처럼 반정형화되어 있는 데이터를 정형화시켜보자. 이거도 감동이다. 코드를 찾아서 하거나 노거나 하거나 둘 중 하나였지만 이제는 다른 방법을 알았다. 엑셀 파워쿼리를 쓰는게 조금 더 직관적이고 간단한 방법이라 생각한다. 특히나 파워쿼리로 가지고 있으면 아래 행을 추가만 해주어도 알아서 그 형식 그대로 변형을 해준다. 테이블 선택하고 ctrl+t로 표상태 만들어 준 뒤 데이터 탭에서 테이블에서를 클릭한다. 그 후 안바꿔도 되는 첫 열을 선택한 후 우클릭해서 다른 열 피벗 해제를 누른다. 이후 두번째 열을 나눠주고자 한다. 우클릭 후 열분할> 구분 기호 기준을 누른다. 이후 약간의 조정이 필요해보이는데 이는 피벗으로 다시 만들어주면 된다. 변환 탭으로 가서 피벗 열을 클릭한다. 특성.2 열에서 물고 ..
ctrl+t로 표로 변경해주고 아래와 같이 설정을 해준다. 데이터 탭에서 테이블에서를 클릭한다. 사용자 지정 열에 있던 null이라는 값을 채워주고 싶기 때문에 해당 열에서 우클릭 후 채우기> 아래로 를 클릭한다. 이름이라는 열에 대한 변경을 마쳤으므로 필터에서 이름 부분을 언체크해준다. 이후 첫행을 머릿글로 선택해준다. 사용자 지정이라고 쓰여있던 열 이름을 변경해준다.
1. 표로 생성하기 파워쿼리를 사용하기 위해 두개의 테이블 모두 Ctrl + t를 눌러 표형식으로 변경해준다. 2. 메모리로 저장시키기 일단 쿼리 내에서 이름을 지정해주고, 닫기 및 다음으로 로드 해서 연결만 만들기를 누른다. 아래 사진처럼 연결 전용입니다. 라는 메시지가 떠야한다. 이후 우클릭 후 참조를 클릭한다. 열 추가 탭에서 사용자 지정 열을 클릭 후, 중분류라고 사용자 지정 열 수식에 입력한 후 확인 버튼을 클릭한다. 그러면 대분류 옆에 다음과 같은 열이 추가되는 걸 확인할 수 있다. 확장하기 버튼을 눌러주고 접두사 언체크 후 확인을 클릭한다. 3. 결과 확인 결과는 아래와 같이 나온다. 특히나 파워쿼리로 노가다없이 만들때 장점은 대분류밑에 D 추가하던/ 중분류 밑에 6이라 추가하던 값을 추가하..
바꾸고 싶은 표를 선택한후 ctrl+t해서 파워쿼리 쓸 수 있는 형태로 변경해준 후 데이터 탭에서 표에서를 클릭한다. 이후 값바꾸기에서 줄바꿈 선택후 확인버튼을 클릭한다.
한 화면 내에서 필터링을 하는 건 파워쿼리 필터링이 정말편하다. 우리가 아는 기본 필터링은 or조건이 걸리지 않는다. 고급필터링은 쓰기가 까다롭고. 아래처럼 파워쿼리 필터링은 and/or 선택가능하고 눈으로 보면서 필터가 가능해서 쉽고 편하게 쓸 수 있다. 파워쿼리로 진입하기 위해서는 표 선택하고 삽입> 표를 클릭한다. 이후 데이터 탭에서 표/범위에서 혹은 테이블에서 라고 써있는 버튼을 클릭하면 된다. 파워쿼리 편집창 내에서 아무 열에서나 가능하다. 텍스트 필터 내에서 뭘누를까 고민하지 말고 아무거나 누른다. 이후 편집창이 뜨면 자유롭게 사용하면 된다.
이처럼 시트별로 되어있는 파일을 아래 사진처럼 하나의 시트에 통합해보자. 바로 아래 사진처럼. Ctrl+n으로 새창을 열고 시트통합을 하고 싶은 파일은 닫는다. (중요) 폴더에서를 클릭해준다. 열고자하는 파일을 선택하고 클릭하면 아래와 같은 화면이 생성된다. 데이터 변환을 클릭한다. 오른쪽 사진 처럼 뜬다면 아직 시트통합하고 싶은 파일을 닫지 않았다는 뜻이다. 오른쪽사진처럼 뜨면 밑에 과정을 따라해봤자 오류가 뜰 것이다. 필요한 열인 content빼고 나머지 열은 제거해준다. 통합할거니까 가장 상위폴더인 매개 변수 라고 써있는 폴더를 클릭하고 확인을 클릭한다. 필요한 열은 Data열이므로 나머지열은 제거한다. 확장버튼 누르고 접두사 언체크 후 확인을 클릭한다. 그러면 아래와 같은 테이블이 생성된다. 첫행..