Pepperアプリ開発インターンシップ 東京大学フタツギさん

1. はじめに

こんにちは。東京の大学からインターンシップに参加したフタツギと申します。
大学では、プログラミングやコンピュータの理論について学びつつ、
コンピュータの歴史研究や情報社会の哲学も履修し、文理両面から「情報」について学んでいます。

2. インターンシップに参加した理由

現在IT業界を志望して就職活動をしており、
イサナドットネット様の説明会に参加したところ、インターンシップを教えていただきました。

感情を認識するロボットであるPepperに興味があり、
世に出たばかりのPepperのアプリ開発に取り組めるという願ってもない機会でしたので参加しました。

Pepperのアプリ開発を通して、人間とコミュニケーションをとるプログラムの開発とは
どのようなものか体験してみたかったという理由もあります。

3. インターンシップでの課題

事前準備でPepperでできることを学び、
Pepperとコミュニケーションをするアプリを作りたいと思いました。

ちょうどNHKクリエイティブ・ライブラリー(以下、NHKCL)
というNHKの番組素材を利用して映像編集体験のできるサイトを知っていたので、
サイト内のコーナーの一つである「動画で詠む百人一首」に、Pepperと一緒に取り組むアプリを考えました。

Pepperと一緒に和歌にぴったりな風景の画像を見つけて遊ぶアプリです。
事前にメンターの方と相談し、分量を調整しました。

*リンク
NHKCL
http://www1.nhk.or.jp/creative/

動画で詠む百人一首
http://www1.nhk.or.jp/creative/special/special1_08.html

今回取り組んだアプリの概要は以下の通りです。

(1)人間が和歌を選びます。
(2)Pepperがその和歌について説明します。
(3)Pepperがその和歌にぴったりだと考える画像を出します。
(4)Pepperが人間の表情を読み取ります。
(4-1)人間が気に入ったようであれば、そこで終了します。
(4-2)人間が気に入っていないようであれば、もう一度(3)を行います。ただし、画像を提示するのは最大で3回です。

画像は私の独断でNHKCLから用意しました。
取り上げた和歌にも私の好みが反映されています。

各和歌に対して画像のピッタリ度合いを設定しています。
一番合うのは画像6、2番目に合うのは画像9、・・・というふうに一つの和歌に6枚ほどの画像を設定しました。

(3)でPepperはランダムに画像を出します。
(4-2)で人間が気に入らなかったと判断した時は、出した画像よりピッタリ度合いが高い画像の中から新しく選びます。

このアプリでは、人間の表情が「喜び」または「驚き」の場合は、画像が気に入ったと判断し、
「無表情」「悲しみ」「怒り」の場合は、画像が気に入らなかったと判断します。

ランダムに画像を出すことで、思ってもない画像との出会いから和歌のイメージが膨らむこともあるのではないかと考えました。
また、ピッタリ具合は完全に私の主観に基づくものであるため、

私が合わないと感じている画像でも人によってはピッタリだと感じることもあるだろうと考え、
ランダムに画像を出すようにしています。

和歌はPepperに読み上げさせましたが、イントネーションの調整に苦労しました。
ロボットページを通して、声の高さや詠む速さ、読み上げる文字を変更して読み上げさせ、調整を行いました。

例えば、「恋の道かな」は「恋の道加奈」と設定した方が、
「かな」の部分の詠みが読手(*1)に近くなるなど、さまざまな発見がありました。

私としては読手の詠みのイメージに近づけたつもりでしたが、
メンターの方からは「あまり趣を感じないね」と辛口の評価をいただきました。
(*1)読手とは競技かるたで百人一首を読み上げる人です。

一つの和歌で画像を提示する機能を作った後、それをコピーして各種設定を変更することで、
全部で10首の和歌に対応するアプリが完成しました。
最初はPepperが話すだけでしたが、思っていたよりも簡単に動きをつけることができました。

 

4. インターンシップを終えて

Pepperのプログラミングは用意された機能(ボックス)をつないでいくのですが、
既成のボックスの出力が私の利用したいデータ型とは異なり、
私の欲しいボックスへとボックスを改造することに苦労しました。

ボックスの改造に使う言語pythonはこれまでに学んだことのない言語でしたが、
他の言語でのプログラミング経験をもとに改造を試みました。

メンターの方も丁寧に教えて下さり、私のPepperのプログラミングの理解の甘さを痛感しました。

同時に、「pythonの知識があればもっと自由にプログラミングできるのだろうな」とも感じ、
IT業界でエンジニアとして働く以上、常日頃からプログラミングについて勉強していかなければならないと思いました。

また、社員の方の近くでアプリ開発に取り組むことで、働く自分の姿がより具体的にイメージできました。

今回貴重な機会を与えてくださったイサナドットネット様に感謝いたします。

どうもありがとうございました。

5. 最後に

インターンシップのフタツギさんの体験記をブログとして掲載させて頂きました。

限られた時間を有効活用しようと、インターンの直前まで準備をしていた姿が印象的でした。
表情認識によって思わぬ分岐に入ったりして非常に楽しめるアプリに仕上がったと思います。

この経験を活かし、これからも勉強に励んでいただければと思います。

isana.netでは積極的にインターンシップを受け入れ中です。

ご興味持った方はisana.netまでお問い合わせ下さい。
詳細・お問い合せはこちら

イサナドットネット全員でお待ちしております。

%d人のブロガーが「いいね」をつけました。