デジタル社会で質の高いつながりを追求する

思いやりを持って暮らせる地域社会の構築をめざして

　近年、超スマート社会（Society 5.0）による人間中心の社会構築が求められていることはご存知でしょうか。Society 5.0とは、サイバー空間（仮想空間）とフィジカル空間（現実空間）を高度に融合させたシステムで、経済の発展と社会的課題の解決を両立する人間中心の社会（Society）の構築を目指すものです。
　景山教授の研究には、人と人をつなぐ技術 “ヒューマンセンシング” と人と社会（環境）をつなぐ技術 “リモートセンシング” があります。センサーを用いて取得した情報を付加価値の高い情報に変換する技術がセンシング技術です。

　最近はオンライン会議や授業など遠方にいてもリモートで繋がれることが日常的となり、簡単に情報の共有ができる時代ですが、｢共感の共有｣は難しい部分もあります。景山教授は伝えやすい言語情報ではなく、非言語情報を伝える技術の開発が今後の課題だと考えています。
　さらに秋田県は少子高齢化や過疎化、雪国ならではの積雪問題も抱えています。景山教授はそうした環境下であっても、人と人をつなぐことで、世代や時間に制限されず、一人ひとりの個性に寄り添い、思いやりを持って暮らせる地域社会の構築を目指しています。そのための手段として、情報工学で社会に役立つ情報技術（IT）を研究しています。デジタル社会で人と人とのつながりを強くするためには、前述したどちらの研究もセンシング技術や画像処理技術、機械学習技術を上手く活用していくことが重要となります。

ヒューマンセンシングを用いた研究

唇の動きと音声情報で議事録自動作成システムを開発する

高精度な議事録自動作成システムの仕組み

　ヒューマンセンシング技術は唇の動き、音声、脈拍、心拍、体の動き等の生体情報を用いて人間の状態を計測し、それらを組み合わせることで人間の体調や表情解析、行動、心理等を把握する技術です。
　景山教授は「唇の動き」に着目し、その生体情報で利便性の良い高性能な議事録自動作成システムの開発に取り組みました。すでに音声を文字に起こすアプリ等はありますが、発話者の人数が多い場合や声が小さい場合、周りが騒がしい場合は、文字おこしの精度が低下する問題があります。
　景山教授が目標とするシステムは、発話者を全方位カメラで撮影し、各人物の唇の動きを比較して音声データから最も似ている人物を発話者として判別する技術、発話区間を推定して切り出す技術、唇の動きと音声データを併用して発話内容を推定する技術という3つの技術を組み合わせた高性能の議事録を自動作成するものです。唇の動きを活用するこのシステムは、図書館や病院など発声に気を遣う場所でも使用できる上に、体調の変化さえも感知できるそうです。

eスポーツを利用した研究で高齢者の健康寿命延伸の手助けを

eスポーツを利用した研究の様子

　

皮膚温度の変化で感情の変化が分かる

　秋田県は高齢者が多く、認知症患者の割合も増加しています。この実情は健康寿命延伸の妨げになっていることがあり、それを打破するための手段としてeスポーツが注目されています。eスポーツは認知症予防と認知機能維持向上に繋がると考えられ、eスポーツ実施時の関心や感情、刺激、体調を定量的に検出し、その効果を明らかにすることで秋田県が抱える問題の改善にも役立つのではないかと期待されています。
　eスポーツに馴染みのない高齢者でも気軽に取り組めるようにと景山教授が選んだゲームは、1回3分程度のカーレースでした。運転免許の有無もありますが、高齢者にとってカーレースはしきいが低く、遠く離れた子供や孫とのコミュニケーションツールにもなり得ると思ったことがこのゲームを選んだ理由だといいます。
　景山教授は、このeスポーツを利用した研究でゲーム中の運転者の顔面皮膚温度を熱赤外線データから、顔色を可視データから算出し、どのような時に変化が現れるかを検証しています。顔面には毛細血管が密集しているため、血流の変化によって温度や顔色に変化が生じ、その様子を熱画像や彩度画像で見ることができるのです。景山教授は両頬と鼻の3ヶ所に焦点を当て、温度変化した時に感情が発生したか、その程度はどのくらいかを推定する技術の開発を目指しています。
　表情の変化は追い越された時やコースアウトした時、追い抜いた時によく見られ、いずれも一瞬微笑んだような表情が現れるといいます。追い越された時は照れ隠しのような笑みとなり、逆に追い抜いた時には「やった！うまくいった！」という喜びの笑みとなります。
　これまでの画像処理では分からなかった複雑な感情の検出までにはまだ至っていないそうですが、今後はより高次な感情を理解する技術を目指しているそうです。さらに、この技術が開発されると遠隔の画面越しの会話からでも心理や体調を理解されやすくなり、感情を出すのが苦手な方の支援もできると考えられています。遠隔でも人と人とのつながりを強くする要素、技術を作っていきたいと景山教授は言います。

労働現場での危険から守る！

骨格データを用いた行動認識手法の検討

　秋田県内の建設現場では55歳以上の労働者が高い割合を占めています。40代後半から男女共に著しく体力水準が低下すると言われている中、従事者の安全管理を行うことは不可欠です。景山教授が取り組むヒューマンセンシングの研究には、安全で安心な労働環境を作る手助けとなる行動認識を解析するシステムの構築もあります。
　作業中の行動を撮影したデータを遠隔地に転送し、危険行為の可能性がある場合には管理者に提示または安全設備に警報を出すというこのシステムは、作業の効率化や労働環境の向上に有用です。今後は危険行為の自動検出を行うだけでなく、骨格データとして取得された身体の動きとディープラーニング技術を組み合わせることで、作業者の疲れ具合や危険行為の可能性を予測し、今以上に安心で安全な労働環境を提供できるシステムとなるようブラッシュアップしていくそうです。

リモートセンシングを用いた研究

高精度なシステム開発を目指す

　リモートセンシングは衛星や航空機などに搭載したセンサーを用いた「対象物を触らずに遠くから広い範囲を一度に観測できる技術」で、様々なスペクトルデータを取得することができます。景山教授はその技術を使って男鹿半島の付け根に位置する八郎湖の水質推定を行っています。
八郎潟を干拓してできた秋田県大潟村には水源が無く、八郎湖の水を農業用水に利用しているため水質状況の把握は重要です。地域の方も水質環境に関して多くの取り組みをしていますが、夏季には緑色に濁るアオコが発生し、景観の悪化や悪臭など水質汚濁が問題化しているといいます。
　景山教授は八郎湖の水質状況推定と汚濁メカニズムを解明するため、これまで現地に出向いて複数の地点から水を汲み上げ、水質を調査しています。水をくみ上げて取得した水質は「点のデータ」であり、ある一点の水質状況しか表せていません。そこで、人工衛星データを組み合わせることで、湖内のすべての地点で水をくみ上げることなく、八郎湖全体の水質を「面の情報」として推定できる技法の開発を行ってきました。さらに、水底の凸凹から生じる水深も考慮することで、より正確に水質状況を推定できることが判明したのです。また、人工衛星は数十メートル単位という低い解像度でしかデータを取得できないため、景山教授は数センチ単位で可視域と近赤外域のデータを得られるマルチスペクトルカメラ搭載のUAV(無人航空機)を新たに導入しました。
　現在は「面のデータ」としての画像情報をより高解像度化するニューラルネットワークを用いて、人工衛星の解像度向上に関して検討を行い、さらに水深と水温データから正確に水質状況推定ができることを目指しています。この研究は民間会社と共同研究で、2022年度は秋田県八郎潟湖地域連携推進事業費補助金を受けて研究の一部を実施しているそうです。こうして研究で得られた環境保護技術や産業応用技術は、地域社会に還元されています。

UAV画像を活用してスズランの個体数を検出する

　景山教授は、リモートセンシングデータを用いて北海道に生息しているスズランの植生の個体数検出を北海道の会社と共同研究しています。個体数を調べるために群生地に入って調査した場合、植生を踏み荒らしてしまう恐れがあります。このため、八郎湖の研究と同様に、スズラン群生地の上空をUAVで撮影し、機械学習と画像処理を用いた解析を行うことで、スズランの花を見つけ出し、個体数を推定しています。
　近赤外域は、私たちが見えている可視波長域という光の波長の帯域よりも長い帯域のことを言います。近赤外域は一般のカメラでは撮影できない対象物の組成により異なる光の反射や吸収、透過特性の違いを可視化することができます。人工衛星やUAVのようなプラットホームを使って、地上の様子を観測できるリモートセンシング研究は様々な分野での活用が期待できるのです。

様々なことにチャレンジして引き出しをいっぱいにしよう

　デジタル化が進む現代では情報工学は幅広い分野で不可欠なものとなり、このコロナ禍で情報技術が開発されるスピードはさらに加速したとみられています。景山教授もこれまで行った研究が世の中と合致するようになってきたことを再認識しているといいます。
　「今後のデジタル社会で必要とされる人材は、将来自分がやりたいことややるべきことから逆算して物事を決定できる人、情報技術を使いこなせる人、論理的・構造的に考えながら行動できる人だと思います。デジタル社会は人と人のつながりが大事ですが、そのつながりの質を高めることが重要です。一見関係のないように思えてもその本質が同じ場合もあります。自分の経験はいつか役立つこともありますし、視野も広がります。コロナ禍のように誰も想定しないことが起きた時、自分がどう動くかも大切なことです。色々な経験は困難を乗り越える新たな扉を開いてくれます。皆さんの引き出しがいっぱいになり、これからの生活が実り豊かなものになるよう全力で応援していきます」
　研究室の学生や共同研究会社の方たちと同じ志を持ち、思索を実現させていくことにやりがいを感じるという景山教授の下には、人を中心としたものづくりに興味を持った多くの学生が集まっています。その中で景山教授は今後ますます加速するであろうデジタル社会に活躍できる学生の育成と、人が人を思いやり、優しくできるものづくりをめざして研究を続けていきます。

研究室の学生の声

大学院理工学研究科 人間情報工学コース 2年次
三浦 有沙子 さん

　私はオープンキャンパスで色々なコースの紹介を見た時に、画像処理について研究しているのを見つけて興味が湧き、景山先生の研究室に入りました。現在は、熱赤外線カメラを使って顔の皮膚の温度から感情が発生しているかの推定を目的としたeスポーツの対象者の感情に関する研究をしています。
　秋田県は高齢化が進んでいますが、eスポーツは離れて暮らす子供や孫とのコミュニケーションツールとしても使えますし、高齢者の皆さんのいい刺激にもなると思います。私たちがこの研究を通して結果を出し、幅広い年代の方にeスポーツを楽しんでもらいたいと思っています。また、現在はカーレースですが、今後は音楽を使ったゲームなども取り入れてみたいです。
　景山先生の研究室では多くの学生が学び、様々な論文が学会で発表され受賞しています。人間情報学に興味のある方はぜひ人間情報工学コースで学んでほしいです。

大学院理工学研究科 人間情報工学コース 2年次
菊地 亮太 さん

　私はオープンキャンパスで初めて人間情報工学コースの存在を知り、展示されていた研究内容を見て非常に興味深く感じました。元々パソコン技術に興味もあったため、景山先生の下で学んでみたいと思い研究室に入りました。
　パソコンのプログラムの知識は全くなかったのですが基礎から教えてもらい、研究室では身についた力を応用してプログラムを作っていくことが楽しいです。実際に試行錯誤しながら形になっていくのはとてもやりがいがあります。
　大学では専門的な知識が身につくということもありますが、私は自分自身の成長に繋がることが一番だと思います。特に研究室に入ってからは色々なことを体験できたので、社会に出るにあたり自分に必要な知識やスキルをたくさん身につけられたと思っています。

大学院理工学研究科 人間情報工学コース 2年次
高松 未佳 さん

　私は高校では理系を専攻していたので、大学進学時にも理系のコースを希望していました。たまたま見たパンフレットに顔の表情を推定する写真が載っているのを見て面白そうだと思い、人間情報工学コースに入りました。そして、ワクワクするほど楽しそうという第一印象から景山研究室に入りました。
　この6年間で学んだことは、今後何かしらの形で社会に貢献していきたいと思います。これまでは楽しいことや面白そうだと思うことを優先していたので、今後は困難な問題でも楽しい方向に切り替えできるような仕事に就きたいと思っています。
　高校生で大学進学を迷っている人もいると思いますが、自分のワクワクする直感を信じて入学してきてほしいと思います。