聴覚障がいを持つ中高生が、ICTで自らの課題を解決するアプリ制作教室

2019年3月16日・17日の両日、KDDI本社にて聴覚障がいを持つ中高生を対象としたアプリ制作教室が催された。KDDIは、ICTを活用することで、障がいに伴う不便さを障がい者自らが解決できるようにする取り組みをしており、本教室はそうした取り組みの一環によるものである。

KDDIは、2015年から都内のろう学校生徒（中高生）を対象としたアプリ制作教室を実施しており、今回で5回目。

その目的は、障がい者の社会課題を自らの力で解決する術を学ぶこと。教室で作ったものは持ち帰って、実際に自分でさらに改良したり、生活のなかで活用したりできる。課題は、毎年ろう学校へのアンケートやヒアリングで決められる。これまでも、さまざまなアプリの制作が試みられた。

例えば第1回目の課題は、陸上スターター・アプリであった。聴覚障がい者はスタートのピストルの音が聞こえない。煙が上がったのを見てから走り出すため、スタートの遅れが生じる。それ解消するため、光でスタートを伝える機器もあるが、台数が少なく、本番競技でしか使えない。そこで、ピストルの音に合わせてスマホを光らせるアプリを作ったのだ。このアプリは、KDDIによって商品化され、文部科学省主催「平成28年度青少年体験活動推進企業表彰」審査委員会特別賞（大企業部門）を受賞している。

その後も、2017年には近隣の音をスマホで拾って周波数分析し、救急車が来たことをスマホで伝えるアプリ、2018年にはテレビの音声を文字起こしして、スマホに表示するアプリなどを作ってきた。

まだ5回目であるが、この教室に参加したろう学校の卒業生が情報系の大学に進学するなど、少しずつ教室の効果が現れてきているという。

聴覚障がい者がラズパイで顔認証インターフォンを作る

今年のIT教室に集まったのは、東京都立中央ろう学校の生徒5名。全員、野球部の生徒である。昨年参加した人も、今回初参加の人も居る。

今年の課題は、次世代インターフォン。聴覚障がい者は、インターフォンの音が聞こえない。そこでインターフォンが押されたことを、メールで知らせてスマホで受け取れるようにする機器を作る。

機器の中心となるのは、Raspberry Pi（ラズベリーパイ）。これに液晶とカメラを接続して構成する。「次世代」という名前にふさわしく、来客を知らせるだけでなく、顔認証技術を使って誰が来たのかを判定する機能も持たせる。また届いたメールに返信すれば、そのメール文面がRaspberry Piの画面に表示されるようにもする。

Raspberry Piにタッチパネル液晶を取り付けた「次世代インターフォン」。カメラが接続されており、［Push］ボタンをタップすると顔を撮影。誰が来たのかをメールで知らせる

教室は2日間。1日目はRaspberry Piの起動から基本操作、基本的なプログラミングまでを習得。そして2日目に、実際に、次世代インターフォンを作っていく。講座を担当するのは、子ども向けのIT教育コンテンツを多数手がける、株式会社プロキッズ CEOの原正幸氏だ。

株式会社プロキッズ CEO 原正幸氏

原氏は難しい事柄を伝えるときも、生徒の普段の生活に置き換えて説明するなど、分かりやすい説明が心がけられていた。たとえば、人工知能について説明する際は、「イヌ」と「ネコ」の写真をいくつか見せ、「この違いを、どうやって判断していますか。子どもに違いを教えるときは、どうすればよいですか？」という問いかけをする。それに対して、「耳が違う」「顔の堀りが違う」「輪郭が違う」というように生徒が答えると、「その通り、そうした違いのことを特徴量と言い……」というように、説明がスムーズにつながっていった。難しい人工知能の話も、こうしたやりとりなら、子ども達にも理解しやすい。

ブロック単位でプログラムを解説した、わかりやすい受講テキストを用意

作成する次世代インターフォンは、「事前に友達の顔を撮影して学習させるプログラム」と「顔認識するインターフォン本体」の2つのプログラムから構成される。

顔認識を実現するには、カメラを使った画像撮影、顔部分の切り出し、多数の画像の効率的な学習を処理していかなければならず、プログラムは長く複雑になる。

少し長めで複雑なプログラムでも分かりやすくするための工夫として、この講座の受講テキストでは、Jupyter Notebookが使われていた。Jupyter Notebookは「本文」と「プログラム」、「数式」などを1つのファイルにまとめることができるメモ帳。プログラム部分はブロック単位で、ボタンひとつで実行できる。解説文とプログラムが交互に並ぶ受講テキストは分かりやすいだけではない。生徒が実行する際もプログラムを写す必要がないため、打ち間違いなどのケアレスミスがなく、とてもスムーズに授業が進んでいた。

教材のプログラムはブロック単位で上からひとつずつ実行できるので、どのプログラムがどの処理に対応するのかわかりやすい。ひとつずつ積み上げて学習していく達成感がある

受講テキストに掲載されているプログラムは、「写真から顔部分だけを切り出す」「人工知能の学習数を多くして精度を高めるため、少しずつ回転させたり反転させたりした画像を自動生成してサンプル数を水増しする」など、人工知能の基本となるノウハウが多く含まれており、人工知能を学び始めている大人にとっても有益な情報だった。

カメラで顔を撮影し、学習させようとしている様子。プログラミングや操作は、ラズベリーパイにモニタとキーボード、マウスを接続して行った

名古屋工業大学のAIの取り組みについての講演も

この教室では、大学進学を志す生徒もいることから、途中、名古屋工業大学の打矢隆弘准教授による、「名古屋工業大学におけるAI/IoTの取り組み紹介」という講演もあった。名古屋工業大学は、今回の課題である次世代インターフォンにも使われている「人工知能」、そして、「ロボット研究」で著名な大学である。

名古屋工業大学 准教授 打矢隆弘氏

講演では、まず、研究例として、大学生が開発したシステムが2つ紹介された。ひとつは、littleBitsを使ってスマートフォンからエレベータを呼ぶ装置。もうひとつは、micro:bitを利用して生徒の進捗度を確認するための装置だ。進捗度を確認する装置では、液晶にダックスフンドが表示され、課題を進めるとダックスフンドの胴体が伸びていき学習意欲を沸かせるものと、手首に付けて挙手回数を先生が確認できる装置とがあった。

続いて、研究室での研究例として、火災が発生したときに安全な場所に誘導するロボットの研究、そして、人工知能を用いたデジタルサイネージ「メイちゃん」が紹介された。メイちゃんは、話しかけると大学構内の案内をしてくれるAIシステムだ。

デジタルサイネージ「メイちゃん」

同大学では、障がい者とのコミュニケーションを図る研究も盛んである。そこで続いて、酒向慎司研究室の、手話の動きをコンピュータに取り組み、それをテキスト化する研究が紹介された。

手話は、「手での動作」と「顔などの表情」との組み合わせで構成されており、手の動作はともかく、表情の読み取りが難しいらしい。研究の結果、75%程度の認識率に成功したとのことだ。

こうした手話をテキスト化する研究は、聴覚障がい者と健聴者との橋渡しとなるだけでなく、飛行場など騒音が大きいところで、身振りで相手に伝えるときなどへの応用も期待できるという。

手話の自動認識技術の研究

次世代インターフォンの完成、そして、プレゼンテーション

「次世代インターフォン」の製作は、途中、Gmailとの連携の問題から、顔認識した後にスマホにメールを送信する処理ができなかったり、メールソフトの環境の問題で、返信が文字化けしたりするなどのトラブルがあったものの、皆、無事に完成。

Raspberry Piの画面に表示された押しボタンをタップすると顔認証され、その結果がメールに届き、返信も画面に表示されるようになった。

完成後、生徒達は2チームに分かれ、デモならびにプレゼンテーション発表をした。デモでは、ひとりがRaspberry Pi上の呼び鈴を鳴らし、もう一人のスマホにメールを確認、返信すると、Raspberry Pi上に、そのメッセージが表示されるという流れが示された。

完成した次世代インターフォンで友達を呼び出してみる

生徒達からは、「新しい趣味として、いつかまたやる機会を見つけたい」「Python以外についても知りたい」「アプリを作れるようになりたい」など、今後もさらに勉強を進めたいという意見が多く語られた。

2組に分かれてプレゼンテーションが行われ、感想や今後の目標が語られた

わずか2日間という短い時間だったが、実際にプログラミングを体験できたのは、生徒達にとって貴重な経験だと思う。取材していて、皆、楽しそうにプログラミングしていたのが、とても印象的だった。