未来のクルマに使われる？ NTTが研究中の技術をプレゼンテーション 3枚目の写真・画像

NTT コミュニケーション科学基礎研究所 オープンハウス2023 内覧会

NTT コミュニケーション科学基礎研究所の所長である納谷太氏。

NTT R&amp;Dは4つの部門に分かれている。

たくさんの情報から欲しい情報だけを取り出す技術のひとつ。

テレビ番組のアーカイブから欲しい情報を取り出すような感覚だ。

ふたりの混ざった音声から、指定した画像の内容をしゃべった人の音声だけ抜き出す。

従来ならふたりの会話を音声認識して、そのデータを利用し、画像のデータとガッチしたほうを決定する。しかし、これは混合された音声の場合、うまくいかない。

デモでは列車の話と野球の話を同時に発声し、次に見せる画像でどちらの話題を抽出するかを決定していた。

電車の画像を指定すると、「A train on a track near the building.」の会話音声だけ抽出できた。

まだ商品化のようなものは決っていないが、ノイズキャンセリングヘッドホンなどに技術を生かせそうだとのこと。

概念という表現方法を利用し、距離学習によってデータを抽出している。

概念フィルタ

実験結果

概念の表現

目的音声の抽出

心まで伝わるコミュニケーションというのがキーワードだ。

マインドリーディングの研究でもAIは活用されている。

アイメトリクスによるマインドリーディングの概念

「カクテルパーティ」状況の概念図

アイメトリクス計測を応用すれば、スマート補聴器のような、現在のものより聞き取りやすい補聴器ができるといったこともありえる。

実際の実験で用いられた状況

瞳孔を見ることでなにに注力しているかなどがわかる。

瞳孔径の時系列変化とマイクロサッカード方向の分布

計測時には被験者の瞳孔の大きさをチェックしてから始まる。

暗い所を見ると瞳孔が開き45という数値となる。

中間部分では37という数値。

明るいモノを見ると瞳孔は収縮し、26という数値になった。

最初ラウンジの会話に耳を傾けているが、演奏が始まると歌手のいる右側に注力し始める。その時の瞳孔の変化をチェックする。

視線を移動せず同じ場所を見ているはずなのに、演奏中のほうに注力していると瞳孔が小さくなるという結果が出ている。

メガネタイプのアイトラッキングセンサーも発売されている。

簡単に言えば眼球から心を読み取るという技術。