2021-1-AI-Technology-Application

2021-1학기 인공지능기술과응용 수업

주제 : 뉴스기사를 통한 뉴스 요약 생성

• 기간 : 2021.03.02 ~ 2021.06.04
• 분석도구 : python

---

1. 문제 정의

• 최근 사회에서 사람들의 집중력이 줄어들고 있는 통계자료가 있기에, 뉴스 기사 또한 핵심만 요약해서 보여주는 것이 도움이 될 것 이라 판단하여 진행.

2. 사용 데이터

• Kaggle의 All the news 데이터 중 article1 사용. (https://www.kaggle.com/snapcrack/all-the-news)

3. 분석 방법

• 기사의 제목과 기사내용만 필요하여 전처리 해주었고, 쓸모없는 공백 및 기호를 삭제.
• transformer의 Pipeline 메서드와, Google T5(Text-To-Text Transfer Transformer) 모델 총 2가지를 사용.
• 두 가지 모델에 대해서 학습 및 미세조정을 하였고, T5 모델의 파라미터를 변경한 모델 또한 사용하여 총 3가지에 대해 진행.
• 기사 제목을 잘 된 요약본이라고 가정하여, 모델을 사용해 요약한 것과 비교하였음. Rouge-Score을 사용하여 성능 평가.