TOPICS

これが世界基準に? AIの性能を正確に評価できる方法を京大が開発

April 10, 2018

 京都大学のJ.B. ブラウン医学研究科講師は3月5日、統計学的分析によって、人工知能(AI)の性能評価指標そのものの有効性を網羅的に検証し、分野を問わず、正確にAIの性能を評価できる手法を開発したと発表した。信頼性の高いAIの開発に加え、ビッグデータを用いた創薬研究や治療法の創出などへの貢献が期待される。

 研究成果は、2月14日付で米国の科学誌「Molecular Informatics」に掲載された。

 この手法では、これまでAIの機能評価に用いられてきたTPR(真陽性率)やACC(正確率)など各指標の特性と有効性を、ヒートマップとiCDF(逆累積分布関数)を使った統計学的な解析によって検証。

 その検証の結果、TPRやACCなどでの高評価値を得られる確率が高く、AIの性能を過大に評価し、実応用の有効性につながらない可能性があることを示している。

 さらに、AIの開発と評価実験を行う前に、評価指標そのものの特性を十分に吟味するべきであることも判明。AIについては、情報の正確性を評価した上で有効利用することが必要不可欠だとしている。なお、詳細な研究結果やグラフについてはPDF形式で別途公開されている。

 AIについてはこれまで、正確性や機能評価については手法が確立されているとは言い難い状況だった。本研究を含め、AIの性能が正しく機能評価される時代がまた一歩近づいたと言えるだろう。

■日本経済新聞
https://www.nikkei.com/article/DGXLRSP473371_V00C18A3000000/