Skip to content

高度な言語学的フィルタリングで推論・感情語・構造語を除外し、テキストの核心的内容を抽出する日本語テキストマイニングツール。

License

Notifications You must be signed in to change notification settings

trgr-karasutoragara/ObjectiveTextMiner-JP

Repository files navigation

MIT Stars Last Commit


ObjectiveTextMiner-JP

感情語・推論語を除外して客観的な分析を行う日本語テキストマイニングツール

分析結果の例

このツールは、入力されたテキストから客観的な構造を抽出し、以下のようなレポートを生成します。

共起ネットワーク図(語句の関連性) ワードクラウド(重要語)


This text mining tool is specifically designed for Japanese language processing, so the documentation is written in Japanese. However, the program structure and filtering approach may be applicable to your language. Feel free to use and adapt it.

製作者より

このツールは、自分のエッセイの原稿をテキストマイニングする客観視の観点で生まれました。分析すると何が見えるだろうと。そして、日本語で研究する方に貢献できると考え、公開しました。これはあなたへのパスであり、あなたがご自身の領域でシュートを決めたり夢を叶えてくださると嬉しいです。




何ができるか

  • テキストから「思う」「感じる」「らしい」等の主観的表現を除去
  • 「信頼」「価値」「社会」等の客観的内容語のみを抽出
  • 論争や議論の感情的要素を排除して核心的な内容を把握
  • 分析結果をメールで自動送信


必要な環境


初回設定(技術者向け要件リスト)

システム要件

  • Python 3.8以上
  • Ubuntu環境では仮想環境必須:python3 -m venv myenv


設定手順

# 1. このツールをダウンロード

# 2. 仮想環境作成・有効化(Ubuntu必須)
# myenvは仮想環境の名前(任意の名前に変更可能)
python3 -m venv myenv
# 仮想環境を有効化
source myenv/bin/activate

# 3. 必要なライブラリをインストール
# requirements.txtは必要なソフトウェア部品のリストファイル
pip install -r requirements.txt

# 4. ディレクトリ作成
mkdir -p ~/Dropbox/text ~/Dropbox/processed ~/Dropbox/results

仮想環境について

  • python3 -m venv 仮想環境名 で仮想環境を作成
  • myenv は仮想環境の名前(変更可能)
  • 作業時は毎回 source myenv/bin/activate で仮想環境を有効化する必要があります


requirements.txt(必要なソフトウェア部品リストファイル)の内容

pandas>=1.5.0
numpy>=1.21.0
scikit-learn>=1.1.0
janome>=0.4.2
mecab-python3>=1.0.5
gensim>=4.2.0
textstat>=0.7.3
wordcloud>=1.9.0
networkx>=2.8.0
matplotlib>=3.5.0
seaborn>=0.11.0
plotly>=5.10.0

これらは、このツールを動作させるために必要なソフトウェア部品(ライブラリ)です。

MeCabインストール(必須)

sudo apt-get install python3-dev build-essential libmecab-dev

メール設定(必須)

  • Gmailアプリパスワードの設定
  • objective_text_miner.py内のメール設定を編集

設定について: 上記の技術要件を満たせる方に設定を依頼してください。



日常的な使い方(設定後)

1. テキストファイルを準備

  • 分析したいテキストを .txt ファイルで保存。〔複数のファイルを一度に処理できます〕
  • ~/Dropbox/text/ フォルダに置く


2. 分析実行

Ubuntu環境での手順

# 仮想環境を有効化(毎回必要)
source myenv/bin/activate
# 分析実行
python objective_text_miner.py


3. 結果確認



分析例


入力:日本語テキスト 出力:客観的内容語のみを抽出

例:「信頼」(37回)、「価値」(27回)、「社会」(25回)

詳しくは→【メールサンプル】高度テキストマイニング包括分析レポート



対象ユーザー例

  • 人文系研究者:文献の客観的構造の分析
  • 社会科学者:論争構造の把握
  • 議論分析者:感情を排除した構造の理解
  • 学生:レポート・論文の客観的構造分析
  • noteのみんな:エッセイ書き溜めて定期的にテキストマイニングすると新たな視点が得られるかも

使用手順

  1. 初回設定:技術要件を満たせる方に依頼
  2. 日常使用:仮想環境有効化後、python objective_text_miner.py を実行
  3. 複数ファイル:一度に分析可能
  4. 結果の活用:客観的議論の材料として使用


設定完了後は、仮想環境を有効化し、 python objective_text_miner.py を実行すると動作します。お役に立ちますように! 設定は、詳しい方や、お友達や、AIさんに質問すると、どうにかなるので諦めずに、お試し下さい。


License

MIT License


Repository Policy

  • I develop prototypes with a focus on ethics.
  • There are no plans for maintenance or support.
  • The project is released under the MIT License, so feel free to modify it within the scope of the license.
  • Instead of providing support, I create new prototypes to solve emerging problems.

Author Declaration

I am an independent volunteer with no conflicts of interest.

Releases

No releases published

Packages

No packages published