病理組織デジタル標本画像から組織学的所見を推論し文章化する人工知能の開発に成功 ～ Proceedings of Machine Learning Researchに論文が掲載 ～

デジタル病理支援ソリューション「PidPort」を提供するメドメイン株式会社 (本社：福岡県福岡市、代表取締役CEO：飯塚 統、以下「メドメイン」)は、画像処理技術に自然言語処理を組み合わせることで、病理組織デジタル標本画像から組織学的所見を推論し文章化する人工知能の開発に成功しました。本研究の内容は、国際学会であるMedical Imaging with Deep Learning（MIDL2022）( https://2022.midl.io ) において口頭発表され、論文がProceedings of Machine Learning Researchに掲載されました。（掲載箇所：https://proceedings.mlr.press/v172/tsuneki22a.html）

■本研究成果の概要
胃の内視鏡生検病理組織デジタル標本画像から、組織所見を推論し文章化する人工知能の開発に成功しました。本研究成果のポイントは、従前の病理組織画像の分類処理だけでなく、自然言語（組織所見）を病理組織デジタル画像に組み合わせることで、自然言語と画像を組み合わせた基礎的研究が可能となり、研究開発の視野が格段に拓けた点です。また、Image to Captioningにより、胃の内視鏡生検病理組織デジタル画像から直接的に組織亜型（印環細胞癌、低分化腺癌など）の出力が可能になった点も重要です。これは、従来の分類型病理AIとは全く異なるアプローチによる組織亜型の推論であり、選択肢の決まった分類ではなく、自然言語処理と組み合わせることで直接的に組織型を推論する手法です。

■本研究の背景
本研究は、「Vision & Language（画像と言語）」と呼ばれる画像処理と自然言語処理の融合領域における基礎的な研究です。画像処理と自然言語処理は、それぞれ独立した技術ですが、２つの分野の技術をトランスレーショナルに駆使することで、双方向に交差する問題点の解決を試みました。画像と言語の両方を考慮して研究を行うことで、新規の課題に挑戦でき、全く新しいアプリケーションにアプローチすることが可能です。例えば、自然言語を入力し、物体を検出させたり、領域を分割させたり、画像を生成・編集させるなど、画像と自然言語の出入力の組み合わせで多様な試行ができます。

他方、Vision ＆Languageには大きく３つの難しさがあります。１点目は、画像と自然言語情報（文章の情報）の対応付けが難しいことです。病理組織所見も同様ですが、一般的に、画像に関する説明文は、画像の中に含まれる代表的な物体（構造物）について説明がなされているため、モダリティ間の情報差を調整する必要があります。２点目は、画像と自然言語という２つのモダリティがあるため、データのバイアスを考慮しなければならない点です。３点目は、現実世界のデータを取得するのが必ずしも容易ではないことです。特に、病理画像と組織所見という２つの要素からなるデータを必要十分に満たす必要があります。

そこで、本研究では、Vision & Languageの中でも、「Image to Captioning (Image-captioning)」と呼ばれる手法で、胃の内視鏡生検病理組織デジタル標本（画像）から病理組織所見（自然言語）を出力する人工知能の開発を行うことにいたしました。

■本研究の内容
本研究では、国内の医療機関から、胃の内視鏡生検HE染色病理組織標本および該当する症例の病理組織所見（日本語）の提供を受け、デジタルスライドスキャナーでデジタル標本（WSI: Whole Slide Image）を作成しました。病理組織所見（日本語）は全て英語に翻訳し、研究に用いました。病理組織画像情報（Vision）は、convolutional neural networks （CNN）を、組織所見情報（Language）はrecurrent neural networks （RNN）を用いて、深層学習を行いました。

■本研究の成果
本研究により、組織型の推論を極めて高精度（BLEUスコア0.8前後）に行うことが可能となりました。これまでは候補の中から一つを選ぶという分類型のモデルでしたが、本研究で開発したモデルでは、任意の病理組織デジタル画像を入力した際、「Signet ring cell carcinoma」や「Well differentiated adenocarcinoma」といった形で組織型を分類形式ではなく直接言語情報で出力することができました。他方、組織所見の文章としての推論作成については必ずしも全ての症例で完全に行うことはできなかったため、今後の課題と考えられます。
 

 

今後は本研究成果をもとに、画像と自然言語の融合領域の基礎的研究を展開し、病理組織デジタル標本の解析技術を人間の思考過程に近似させていく試みを継続してまいります。

■原著論文
▼論文タイトル： Inference of captions from histopathological patches
▼日本語訳：　病理組織画像から組織所見を推論する人工知能の開発
▼Proceedings of the 5th International Conference on Medical Imaging with Deep Learning; Proceedings of Machine Learning Research, vol. 172: pp.1235-1250, 2022

■著者・所属
＜メドメイン株式会社＞
常木 雅之、Fahdi Kanavati

■会社概要
【会社名】メドメイン株式会社 (Medmain Inc.)
※経済産業省 J-START UP 選出企業　 https://www.j-startup.go.jp/startups
【設立日】2018年1月11日
【事業内容】医療ソフトウェア・クラウドサービスの企画・開発・運営および販売
【代表取締役/CEO】飯塚 統
【所在地】[東京オフィス] 東京都港区南青山2-10-11 A青山ビル２F / [福岡オフィス] 福岡県福岡市中央区赤坂2-4−5 シャトレサクシーズ104

■各種関連サイト
【コーポレートサイト】https://medmain.com
【プロダクトサイト】https://service.medmain.com

■お問い合わせ先
メドメイン株式会社 広報担当： [e-mail]