十六期生 / 研究活動 / 茂木奈々瀬
Posted on 2025-03-22
DEIM2025 第17回データ工学と情報マネジメントに関するフォーラムで発表しました（B4茂木）
皆さんこんにちは， B4の茂木です！
2025年2月27日～3月1日（オンライン），3月3日～3月4日（オンサイト：福岡国際会議場）にて開催されたDEIM2025で発表しました．
発表内容
タイトル：LLMによる生成コメントがもたらすニュースの印象変化分析
概要： 本研究の目的は，LLM によって生成されたSNSコメントやニュースコメントに対する閲覧者の受容態度を調査することである． 近年，LLM により生成された文を閲覧する機会が増えており，ニュースサイトやECサイトにおいても，ユーザのコメントから LLM が要約文を呈示する例も少なくない. すでに人が書いた文章とほとんど見分けのつかない文章が LLM によって生成されつつある現在，生成された文章の受容は，その文章の体裁や内容自体ではなく閲覧者の LLM に対する評価や印象によって影響され，人が投稿した文章の受容とは異なる可能性が考えられる． こうした観点の下，本稿では, 生成コメントがもたらす印象について,閲覧者がLLMをどのように捉えているかについて，LLMであることの開示の有無を操作しつつ4つの観点（e.g., 親しみやすさ，信頼度，共感度，参考度）から調査する.
ざっくり解説： LLMとはLarge Language Model，ChatGPTなどのAIツールのことです． みなさんも，ChatGPTやGeminiで文章を生成したことがあるかと思います．自然な文章がとても簡単に作れますよね．そのクオリティはどんどん向上し，見分けがつかないレベルに達しています．
でも，もしそれが「AIが作った文章」だとわかっていたら，人は人が書いた文章と区別するのでしょうか？「AIが書いているなら人間の文章より信用できない」「人間のあたたかみが感じられなくて共感できない」なんてことは起こるのでしょうか？
私はこの問題を，オンラインニュースのコメントという観点から分析しました．オンラインニュースのコメントを読むことは，読んだ人のニュースの印象を変えることが明らかになっているからです．意図的に特定の主張のコメントを生成することは，AIを使えばそう難しいことではありませんよね．コメント欄のAIによる汚染の危険性を無視できない状況にあります．解決策を考える間に，まず，AI生成のコメントと人間のコメントをに，異なる評価が付くかを検証しました． 実験では人のコメントをAIのコメントを混ぜて提示し，二つのグループに分けた参加者に評価を行ってもらいました．一方のグループはAIが交じっていることを知らされていませんが，もう一方はどれがAIのコメントかまで開示されています．実験の特徴的なポイントとして，AIのコメントの中には専門家っぽく振舞うように指示したAIコメントが含めたことがあります． みなさんも，大学の教授やその道の専門家だと言われたら，その人のことをよく知らなくてもなんとなく重要なことを言っているように感じることがありませんか？権威効果というもので，その影響を調べるために専門家を騙るAIコメントを生成したのです．AIだと開示したグループには，該当するコメントに「専門家」というタグをつけて「専門家の意見を学習させたコメント」と示しました． 二つのグループの評価を比較すると，興味深い結果が出ました．「AIコメント」であることを開示しただけでは評価は変わらなかったのですが，「専門家」コメントの評価は明らかに上昇したのです．人はAI「だから」評価を変えるというよりも，権威効果のような，従来の人のコミュニケーションでも起こりうる現象を重視する傾向があるのかもしれません．今後も調査を続けて，AIの文章がどのような影響をもたらすのか分析したいと思います！
感想
オンライン発表と現地でのポスター発表の二回の発表を行いましたが，学会発表はこれが初めてだったので不慣れなことも多かったです． 特に発表スライドを作るのが難しく，先生にたくさんご指導いただきました．正確に，わかりやすく伝えるためにどうするべきか？に向き合うことは，これまでとはまた違った難しさがありました． オンラインや現地での発表でも，自分では考えたことのなかった視点からコメントをいただくことができ，大変に刺激的でした．この経験を糧とし，これからも日々精進・成長したいと思います。Related Posts
