728x90 반응형 [오픈채팅의 재해석] 04. 형태소 분석기 비교 및 결론 komoran과 mecab의 결과를 비교해 봤더니, 빈 행은 저장이 되지 않는지, 결과 길이가 달라서 대응되는 행을 서로 비교 해 볼 수가 없겠군요. import pandas as pd list_komoran = pd.read_pickle('./KakaoOpenChat/nouns_komoran_with_preprocess.pkl') list_mecab = pd.read_pickle('./KakaoOpenChat/nouns_mecab_with_preprocess.pkl') print(len(list_komoran)) print(len(list_mecab)) 그럼 내보낼 때부터, 합해서 내보내야겠네요. from konlpy.tag import Komoran, Kkma import pickle import t.. 2023. 10. 3. [오픈채팅의 재해석] 03. 핵심어 검출을 위한 명사 검출 어떤 결과물을 내는 방법은 여러가지가 있죠. 특히 프로그래밍의 경우에는 더 그렇습니다. 또한, 똑같은 기술을 설명하는 방법도 다양하죠. 핵심어 검출을 해 나가기에 앞서서 다른 분들의 글도 몇 가지 좀 살펴봤는데 정말 말끔하게 정리가 잘 된 포스트가 하나 있어서 읽어봤습니다. 적용 할 도메인에 따라 불용어 처리 같은 부분은 따로 처리를 해야겠지만, 기본적으로 어떤 텍스트 기반의 자료에서 주요 키워드를 검출하여 이를 보여주는 절차는 말끔하게 정리가 되어 있어서, 새로운 도메인에 대한 분석을 시작 할 때 해야 할 일을 잊지않고 챙겨야 할 때 좋은 참고 자료가 될 수 있을 것 같습니다. https://m.blog.naver.com/j7youngh/222861344172 [ 한글 키워드 시각화 ] 파이썬 pyth.. 2023. 9. 30. [오픈채팅의 재해석] 02. 오픈채팅 데이터 전처리 로블록스 관련 된 오픈채팅방 대화를 구해서 사용 해 보겠습니다. 이 데이터를 구하면서 몇 개 오픈채팅방을 살펴보니, 세대별/주제별 언어가 매우 다른 것 같아요. 한국어라는 범주에서는 같지만, AI로 해당 도메인의 대화를 잘 처리하려면 도메인별 대화 특성을 고려해야 하고 그러자면 도메인별 데이터 획득이나 가공 방법들이 사전에 검토가 되어야 할 것 같습니다. 전처리 기준 데이터를 어떤 용도로 사용 할 것인가에 따라 처리 방법도 달라져야 합니다. 이번에는 Word Cloud를 만들어 보는 것을 목적으로 하고 있으니, 시간/ 대화명/ 입퇴장 안내 메세지 등은 다 불필요합니다. 동일한 소스로 여러가지 형태로 가공을 해야 한다면 중간 단계의 가공물을 만들어, 각각 서비스별 별도 전처리를 하는 경우도 고려해야 합니다.. 2023. 9. 29. 민관협력지원플랫폼을 통한 Naver Cloud Platform 입문 Code for Korea의 '위로' 프로젝트를 준비하면서 여러가지 서비스 아이디어 중 간단한 웹 서비스 형태도 있었는데, 딱 그 무렵에 Code for Korea에 '민관협력지원플랫폼' 소개글이 게시 되어 신청 해 보았습니다. http://digitalsolveup.kr/ 무슨 프로젝트를 구상하면 항상 이 서버 섭외 문제가 항상 고민스러웠는데, 이런 사업이 진행 되어서 참 좋습니다. 잘 사용해서 좋은 점이 많이 부각되면 더 많은 분들이 더 많이 사용 할 수 있는 기회가 생기는데 도움이 될 것 같아, 잘 활용 해 보고자 합니다. 처음 진행 되는 과정이기 때문에 여러가지로 불편한 점들이 있지만, 취지가 좋은 프로그램이니 비난이나 불평 보다는 함께 만들어 간다 생각하고 더 좋은 방향에 대한 의견을 잘 전달하.. 2023. 9. 9. [GG]재활용 쓰레기 분류 하기 게임 - 02. 선별 과정 분석 앞에서, 이 프로젝트를 하게 된 배경과 쓰레기 선별장의 작업에 대한 개괄적인 내용을 살펴봤습니다. https://learn-and-give.tistory.com/25 [GG]재활용 쓰레기 분류 하기 게임 - 01. 배경 *GG = Good Game = 사회에 쬐끔은 도움이 되는, 그래서 좋은 게임. Code for Korea에서도 Civik Hacking 활동을 해서 결과까지 내는 과정이 참 어려운 것 같고, 내 개인의 삶에 대한 걱정도 나이만큼 커져가고. learn-and-give.tistory.com 분리 배출을 하면, 뭔가 내가 지구를 위해서한 것 같고, 함부로 쓰레기를 버리는 사람들을 비난해도 될 만큼 나의 죄가 씻겨나간 것 같은 가벼운 마음이 듭니다. 그러나, 선별 과정 영상을 찬찬히 보니, 분.. 2023. 1. 4. 이전 1 다음 728x90 반응형
