사용자의 검색 의도를 파악하여
정확한 정보만 제공하는 의미검색
지능형 검색모델을 통해 사용자의 의도를 파악하여
정확한 정보를 제공
링크정보에 있는 PDF 다운로드(샘플작성)
파일내 정보의 정형화 시 페이지(샘플작성) 정보
시맨틱 검색 시 관련정보의 환영(Hallucination)처리
반정형분류 작업 : 예시) 일부 데이터 분류 작업 후 지도학습을 통해 남은 데이터를 자동 분류
시맨틱 검색의 구분
비정형데이터 |
법조문, 관련 사이트 링크의 PDF 자료를 다운로드 하여 TEXT를 파싱 |
---|---|
전처리 |
텍스트 데이터 전처리(Text data pre-processing)를 처리 |
토큰화 |
한국어에 맞게 처리 |
모델 학습 |
토큰화한 자료를 모델 학습 |
파인 튜닝 |
기존 생성한 모델을 가지고 파인 튜닝 진행 |
검색 서비스 |
빈번하게 나오는 유사 질문들은 Q&A DB로 구축하여 업무 서비스 지원 사용자가 일상 언어로 키워드나 문장을 입력하면 인공지능이 문장의 의미를 이해하고 다양한 데이터를 취합 색인하여 통합 검색 서비스를 제공(시맨틱 검색) 할루시네이션(Hallucination) 해결 |