感情語・推論語を除外して客観的な分析を行う日本語テキストマイニングツール
このツールは、入力されたテキストから客観的な構造を抽出し、以下のようなレポートを生成します。
共起ネットワーク図(語句の関連性) | ワードクラウド(重要語) |
---|---|
![]() |
![]() |
This text mining tool is specifically designed for Japanese language processing, so the documentation is written in Japanese. However, the program structure and filtering approach may be applicable to your language. Feel free to use and adapt it.
このツールは、自分のエッセイの原稿をテキストマイニングする客観視の観点で生まれました。分析すると何が見えるだろうと。そして、日本語で研究する方に貢献できると考え、公開しました。これはあなたへのパスであり、あなたがご自身の領域でシュートを決めたり夢を叶えてくださると嬉しいです。
- テキストから「思う」「感じる」「らしい」等の主観的表現を除去
- 「信頼」「価値」「社会」等の客観的内容語のみを抽出
- 論争や議論の感情的要素を排除して核心的な内容を把握
- 分析結果をメールで自動送信
システム要件:
- Python 3.8以上
- Ubuntu環境では仮想環境必須:
python3 -m venv myenv
設定手順:
# 1. このツールをダウンロード
# 2. 仮想環境作成・有効化(Ubuntu必須)
# myenvは仮想環境の名前(任意の名前に変更可能)
python3 -m venv myenv
# 仮想環境を有効化
source myenv/bin/activate
# 3. 必要なライブラリをインストール
# requirements.txtは必要なソフトウェア部品のリストファイル
pip install -r requirements.txt
# 4. ディレクトリ作成
mkdir -p ~/Dropbox/text ~/Dropbox/processed ~/Dropbox/results
仮想環境について:
python3 -m venv 仮想環境名
で仮想環境を作成myenv
は仮想環境の名前(変更可能)- 作業時は毎回
source myenv/bin/activate
で仮想環境を有効化する必要があります
requirements.txt(必要なソフトウェア部品リストファイル)の内容:
pandas>=1.5.0
numpy>=1.21.0
scikit-learn>=1.1.0
janome>=0.4.2
mecab-python3>=1.0.5
gensim>=4.2.0
textstat>=0.7.3
wordcloud>=1.9.0
networkx>=2.8.0
matplotlib>=3.5.0
seaborn>=0.11.0
plotly>=5.10.0
これらは、このツールを動作させるために必要なソフトウェア部品(ライブラリ)です。
MeCabインストール(必須):
sudo apt-get install python3-dev build-essential libmecab-dev
メール設定(必須):
- Gmailアプリパスワードの設定
- objective_text_miner.py内のメール設定を編集
設定について: 上記の技術要件を満たせる方に設定を依頼してください。
- 分析したいテキストを
.txt
ファイルで保存。〔複数のファイルを一度に処理できます〕 ~/Dropbox/text/
フォルダに置く
Ubuntu環境での手順:
# 仮想環境を有効化(毎回必要)
source myenv/bin/activate
# 分析実行
python objective_text_miner.py
- 分析結果本文:メールで送信される
- 画像とHTMLファイル:
~/Dropbox/results/
に生成network_filtered.png
:語彙関係図network_filtered_interactive.html
:語彙関係図(動的・ファイルが重すぎるので、お手数ですがダウンロードしてセキュリティ確認してからご覧下さい)→https://github.com/trgr-karasutoragara/ObjectiveTextMiner-JP/blob/main/network_filtered_interactive.htmlwordcloud_filtered.png
:重要語の可視化
入力:日本語テキスト 出力:客観的内容語のみを抽出
例:「信頼」(37回)、「価値」(27回)、「社会」(25回)
詳しくは→【メールサンプル】高度テキストマイニング包括分析レポート
- 人文系研究者:文献の客観的構造の分析
- 社会科学者:論争構造の把握
- 議論分析者:感情を排除した構造の理解
- 学生:レポート・論文の客観的構造分析
- noteのみんな:エッセイ書き溜めて定期的にテキストマイニングすると新たな視点が得られるかも
- 初回設定:技術要件を満たせる方に依頼
- 日常使用:仮想環境有効化後、
python objective_text_miner.py
を実行 - 複数ファイル:一度に分析可能
- 結果の活用:客観的議論の材料として使用
設定完了後は、仮想環境を有効化し、 python objective_text_miner.py
を実行すると動作します。お役に立ちますように!
設定は、詳しい方や、お友達や、AIさんに質問すると、どうにかなるので諦めずに、お試し下さい。
MIT License
- I develop prototypes with a focus on ethics.
- There are no plans for maintenance or support.
- The project is released under the MIT License, so feel free to modify it within the scope of the license.
- Instead of providing support, I create new prototypes to solve emerging problems.
I am an independent volunteer with no conflicts of interest.