最近、巷で話題のChatGPT。

（実はまだ使用したことはありません）

きっと便利なコンテンツには違いないので、現時点でどこまで信用できるのか？興味あるところです。

そこで本日紹介する論文です（Cureus 15(5): e39238. doi:10.7759/cureus.39238）。

この観察研究では、ChatGPTが生成した医学記事の参考文献の信頼性と正確性を調査しています。ChatGPT-3.5は、さまざまなトピックや治療領域を網羅した標準化されたプロンプトに基づいて、少なくとも3つの参考文献を含む医学記事30件を作成しました。

参考文献の信頼性と正確性は、Medline、Google Scholar、Directory of Open Access Journalsで検索することで検証しました。また、ChatGPTが作成した参考文献要素の信頼性と正確性も判定しました。

ChatGPTが生成した参考文献は合計115件で、平均3.8±1.1件の参考文献が各記事に含まれていました。これらの参考文献のうち、47%が捏造されたものであり、46%が信頼性はあるが不正確なものであり、わずか7%の参考文献のみが信頼性と正確性を兼ね備えていました。

捏造された参考文献の発生確率はプロンプトのバリエーションによって有意に異なりましたが、信頼性と正確性の高い参考文献の頻度はすべての場合において低いままでした。

各参考文献について、評価した7つの要素のうち、PMID番号の誤りが最も一般的であり、論文の93%に記載されていました。誤った巻号（64%）、ページ番号（64%）、および出版年（60%）がこれ以外で頻度の高いエラーでした。平均、参考文献ごとに7つの要素のうち4.3±2.8個が不正確でした。

以上の結果から、ChatGPTで医療情報を現時点で検索する際は注意が必要であり、ChatGPTが示した参考文献の大部分が捏造または不正確であることを留意しておく必要があるものと思われます。これまでどおり、信頼性のある情報源からコツコツと医療情報を確認することが大切です。

残念ですが、まだまだ、AIに頼って良い時代ではないようですw　（小児科　土谷）