목록Data Analysis/Natural language processing (3)

지방이의 Data Science Lab

[python] nlp 자연어 처리 3 (불용어 처리를 위한 공통 단어 뽑기)

https://jlim0316.tistory.com/97 앞서 만들었던 vocab에서 스팸인 문자와 아닌문자 중 공통으로 들어가는 단어가 존재할 것이다. 예를들어, '하다'라는 단어가 있다고 치자. 스팸인 문자에서는 '하다'가 1번 나왔고 스팸아닌 문자에선 '하다'가 100번 나왔다고 생각해보자. common단어라 보기 어렵다. 스팸아닌데서만 하다가 나오는 경우가 훨씬 많기 때문에. 이런경우 min값을 출력하되 정렬을 큰 숫자부터 보고 75% 퀀타일로 잘라서 불용어로 보겠다. max값을 출력하되 정렬을 작은 숫자부터 정렬시키고 25% 퀀타일로 잘라서 불용어 처리 하겠다. 나온 결과는 다음과 같다: common = [min_common,max_common] common = sum(common, []) co..
Data Analysis/Natural language processing 2019. 12. 6. 18:41
[python] nlp 자연어 처리2 (dictionary.values값을 순서대로 정렬하는 방법)

https://jlim0316.tistory.com/97 smishing인 vocab에서 value값을 순서대로 나열해보자.
Data Analysis/Natural language processing 2019. 12. 6. 17:17
[python] nlp 자연어 처리1 (자연어 기본 전처리)

데이터는 이런식으로 생겼다. 이제, text컬럼의 자연어를 전처리해보자. 만들어진 아웃풋은 다음과 같다.
Data Analysis/Natural language processing 2019. 12. 6. 17:10
Prev 1 Next