sketchpad

Creating the app for SOUND SAFARI at Tinkering Studio

06
May/18

This is a guest post written by Tinkerer in Residence, Keina Konno. Keina is a Video & Device Engineer in the InterLab at the Yamaguchi Center for Arts and Media (YCAM) in Yamaguchi, Japan. Keina participated in a year-long residency at the Exploratorium, where she spent half her time with the New Media group in Exhibits and Media Services and half her time in the Tinkering Studio. During her time with us, Keina conceived and developed a computer app to record and play back sounds for a prototype activity, "Sound Safari."

I joined the Tinkering Studio for a fellowship last October. During the six month residency, the Tinkering Studio team started to create a new activity related to sound called "SOUND SAFARI." The activity uses a piezo sensor (or a microphone for picking up vibrations) to find new sounds from the world surrounding us. Many everyday materials can make great sounds.

26303061888_68841af8c3_k.jpg

First, we created a paper worksheet for sound archiving because we didn't have a way to record the great sounds participants made. On the worksheet, there were spaces for writing down the name of the sound, what was used to make the sound, what did it sound like, and a space for drawing the setup for making the sound.

38282240655_11db0a243b_k.jpg

The updated worksheet was laid out like a trading card and overall looked much nicer than before!

During this time, the worksheet wasn't very attractive. But even so, it worked for saving and archiving the sounds. Our next step was to create an application to archive sounds on a computer or iOS device.

We found a device that could make this possible. The "iRig" can connect a piezo sensor to iOS devices and record the sound from the piezo. It's a little bit tricky because the piezo sensor only makes a little bit of electricity. We needed to find something that could connect the piezo sensor to the computer. Otherwise, the signal of the piezo sensor would break the computer easily.

We then started to create a computer app using the iRig. I used "openFrameworks," an open source C++ toolkit, to make the prototype app. We repeated the prototyping cycle of making and updating the prototype app, using it on the "floor" of the museum, and discussing what worked and what didn't.

This is the first prototype app.

40634605182_cd75ea54a1_k.jpg

Making "good affordance" on the app was a challenge for me. I realized the app should be as non-verbal as as possible. When I created the app, I realized that I'm dependent on the commonsense of my mother language when I create something (for example, the name I would assign to a category on the UI). So, I tried to not use language as much as possible in the app user interface. The challenge with minimal text is if the app lacks sufficient explanation for how to use it. However, lack of text was a design strategy that makes the app more universal and makes "good affordance" for everyone.

When a participant assigns a color and name to the sound, they will think, "It is my sound!" At first, we thought about using a typing function on the app, but decided that it would not be a good user experience. But we learned that giving a name to a sound is really functional for prototyping.

26303060038_189f771032_k.jpg

Every participant approaches the app in a different way. Some people are really into finding a new sound with the piezo sensor and aren't that interested in recording. And some people are into making their own music like a DJ with the playing function in the app.

25043188377_63c42c5aa0_o.jpg

Touch displays and iOS devices still have a few challenges with controlling in the app. But even so, using an iPad is very intuitive and it seems easier for young kids than with a mouse and keyboard on a normal computer.

Through creating the app, we realized there are many possibilities for the app and the activity. But it is still a work in progress and not a final product.

39356547845_ff6a25ba35_o.jpg

The Tinkering Studio is a great place for participants and creators to "keep making." This approach to working was quite new for me because I always have deadlines when making something. At first, I felt it was easy because I can take as long as I want to make something. Now I realize it is great because we can focus more on the "user experience" with this approach. We can continue to find new problems and new points of view each time we test.

I learned many things from my experience spending time with great tinkerers who work at the Tinkering Studio. I hope I can visit again soon!

私は昨年10月から今年の2月末まで、San FranciscoのExploratoriumにあるTinkering Studioにインターンとして訪問し、開発中だった新作ワークショップ「SOUND SAFARI」の制作に参加しました。SOUND SAFARIは、「コンタクトマイクと呼ばれる物理的振動を音(電気信号)に変換するデバイスを使い、身の回りのものの持つ『新しい音』を発見する」という内容で、発見を通じて「音が鳴る仕組み」について考えたり、「身の回りのものが持つ特徴(テクスチャなど)」に目を向けることなどを実施の目的としています。

まず初めに、私たちは「発見した音の名前」「どうやってその音を発見したか」「その音を発生させた時の状況の図解」などを記入する「音のレシピ(作り方)を記入するためのワークシート」を制作しました。そのワークシートを見ることで、身の回りの素材への理解がより深まったり、他の人が真似したり、アレンジを加えたり出来るようにすることが目的としていましたが、このワークシートでは「音を見つけた瞬間」を瞬間的に記録することは難しく、もっと素早く、もっと簡単にアーカイブする方法を探すことが必要となりました。
そこで次に私たちは、コンピューターで発見した音を録音できるシステムを整えることにしました。少しトリッキーだったのは、ピエゾマイクに使用されている「ピエゾ素子」は、振動を感じると微弱な電気を発生させそれを音に変換するため、そのままiOSデバイスやコンピューターに接続すると、デバイス側を故障させてしまう恐れがあることです。私たちは「アコースティック・ギターなどの音をコンピューター上に録音/アンプリファイする」ためのデバイスである「iReg」というプロダクトを発見し、それを利用することとしました。加えて、Openframeworksというプログラミングツールキットを使用して、録音用のコンピューターアプリケーションを制作し、録音できるシステムを整えました。

そこから、制作したシステムを「フロア」と呼ばれるワークショップを実施するためのスペースで実際にワークショップに参加してくれるビジターと一緒に使用し、その時のフィードバックを持ち帰ってメンバーと話し合い、アップデートを加える、という作業を繰り返しました。アプリケーションにおける「良いアフォーダンス」をデザインすることは、私にとってチャレンジングでした。特に、自分の母語と違う言語環境でスムーズに使えるアプリケーションにするため「ノンバーバルに理解できる」ようにすると、言葉にすると当たり前ですが、実際にそれをきちんと実装すること想像以上に大変なことでした。

音に「タイトルと色を割り当てる」ことが出来る機能を実装したことで、参加者が音に対してこだわりや思い入れを持つようになってくれた、など、何度もアップデートをした結果、様々な機能が追加/修正され、それによって参加者との様々な関係性が生まれました。
ある参加者は、「録音した音を再生する」というシンプルな機能を使ってDJの様に新しい音楽作りに没頭したり、またある参加者は、同じ素材から異なる音を発見するために録音した音を何度も聞き返したり、ワークショップ参加者のそれぞれ違ったワークショップへのアプローチは、開発を進める上でこの上なく興味深く、アップデートのための最高の資料となりました。タッチディスプレイを使用したバージョンなども制作し、SOUND SAFARIは今後ますます進化していくことでしょう。

Thinking Studioは、ワークショップの作り手であるスタッフ、ワークショップ参加者、そのどちらもが「作り続ける」を実践するための場所として、これまで常に仕事で締切に追われていた私にとって新鮮で刺激的でした。参加当初は「締切がないなんて、なんでも簡単にできるじゃないか」と思ったものですが、今となってはこの方法が「いかに大きな成果を生むか」「いかに大変か」を身にしみて実感しています。常に新しい問題を発見し続け、新しいことにチャレンジし続けることは、「参加者の体験(ユーザーエクスペリエンス)」に重要視する上で最も誠実なアプローチと言えるでしょう。

様々な経験をさせて頂いたTinkering Studioでの学びを、自分の仕事や職場で活かすとともに、またこの素晴らしいメンバーと一緒に「新しい何か」を作れることを楽しみにしています。

Add a comment

Note: all comments are moderated. After you save, your comment will not appear until approved.