「寄席の箱」というブラウン管TVを使ったデジタルアート作品を展示しました

kamiyam

Apr 22, 2019 • 7 min read

今回、中国出身の Designer 王雅さんと一緒に制作した「寄席の箱」を SNACKS Vol.2 で展示しました。

実は、王さんは私が学校の授業（IoT）で教えていた生徒なのですが、卒業デザインで発表した内容の世界観がとても良いなと思っていました。

せっかくなので卒業制作とは別に展示やコンテストに出せるものにしないかと声をかけたのでした。
// 一応補足しておくと学校の卒制の合否判定は私の担当では無く、また卒業制作提出後のやり取りです

彼女は、日本のデザインと漫才がとても好きで来日し、1年足らずで日本語のやり取りがほとんど出来るぐらいになっていました。

お笑いを知るには歴史から（？）ということで漫才について色々と調査し、その流れの中で寄席や漫才、お笑いにはテレビが非常に大きな関わりを持っており、欠かせないものであると感じ、その時代背景とともにお笑いの歴史をブラウン管に映し表現したい。というものでした。

例えば、中国にもお笑いが有り、ボケとツッコミなど日本との相関図をインフォグラフィックで表現したり、お笑いやコントのキーワードをアニメーションさせるモーショングラフィックで表現したりさまざまなものでした。

そこで私は、彼女が考える世界観を極力表現できるサポートに徹しようと思いました。

SNACKSに展示を行うまでの経緯や漫才に対する思いは王さん自身のブログを見てもらうことにし、私は制作したものの仕組みについて書きたいと思います。

作ってみたの楽しみ・“SNACKS”に参加しました
https://ajizakamiyabi.hatenablog.com/entry/2019/04/18/120631

以下、中国語版

参加了中津小巷里名为“SNACKS”的展会
https://ajizakamiyabi.hatenablog.com/entry/2019/04/18/105543

(中国語版いずれ読めるようになりたい...)

余談ですが、王さんは出展時の自己紹介に小林賢太郎氏とハイタッチしたいと書くぐらいラーメンズが好きです。

ブラウン管テレビに映像を映す

今回、ブラウン管テレビに漫才のキーワードや時代のテーマなどを映し出す。ということが鍵となっています。

昭和の時代のレトロ感を出すことが目的であったため、HDMIを搭載したレトロチックなテレビは選択肢から早々に対象から外れていました。
また、ブラウン管の表側の曲面が大事だなという認識でした。

そこでやはり古いブラウン管テレビを使おうという事になりました。
私はオークションサイトで中古のブラウン管テレビを物色し、到着するまでの間に映像を投影する方法を考えました。
// やったことのないことだったので、考えうる全ての方法を並行しながら実行した記憶があります。

ブラウン管そのものを切った張った改造してなんとか映像を映したり出来ないかと考えていましたが、流石にそれは難しそうということで、色々調べていると昔ファミコンで利用した RFモジュレータを改造し、RCA出力とする手法があることを知りました。
RCAに変換できればさらにそこからHDMIに変換することが出来るため、映像を表示することが出来るかもしれない。
そう考え、RFモジュレータを物色する日々が続きました。

所謂ファミコンと言われるハードに使用するRFモジュレータはやはりなかなか見つからず、Nintendo64 のRFモジュレータを改造する方法にたどり着きました。

ボクにもわかる地上デジタルＲＦコンバータ
https://bokunimo.net/bokunimowakaru/design-rfconv.html

記事を参考に色々作ったものがこちら

つまり

HDMI <=> RCA <=> RFモジュレータ => VHF

と接続されることになります。

これで、何かしらのデバイスからの映像を映し出すという確証は得ることが出来ました。

ラーメンズ日本語学校

映像表現について

話し合いの結果、テレビのチャンネルを選んだ時に昭和や平成の時代を象徴する映像を流し、テレビの音量ボリュームを回すとその映像オブジェクトを回転させることが出来る。
というものが最終的な表現となりました。

王: 映像担当
かみやん(私): テレビまわり担当

となり、ツールをどうしようかという話の中でUnityが無難かなと思っていましたが、
王さんとしては、CINEMA4Dでの映像が得意であるため、そこで制作したいという話になりました。

結果、何らかのモデルデータを出力 し、 何らかのデバイスで表現 し、 何かしらの方法でモデルをコントロールする ということが決まりました。

当時書き出したメモをそのまま書いたのがこちら

# 現状 2通り

## 1. CINEMA4D エクスポート => GLTF
### Render
- Raspberry Pi
GLTF => Three.js (on Node.js Server) => 表示

### 操作
チャンネル/ボリューム => Arduino
↓
- raspberry pi
=> Johnny-five => Node.js Server => Socket.io => Three.js

## 2. CINEMA4D エクスポート=> FBX

### Render
- Win or Mac(テレビ台に隠す)
FBX => touchDesigner(Syphon Spout Out) =>  TCPSyphonServer(Syphon => INetSyphon)
↓
- Raspberry Pi
TCPSyphonClient(INetSyphon) => 表示

### 操作
チャンネル/ボリューム => Arduino
↓
- raspberry pi
=> Johnny-five => Node-OSC
↓
- Win or Mac 
=> TouchDesigner

第2案はどうしても外にPCを置く必要がありそう。
しかし、やはりブラウン管テレビ単体で映像を流したい。
そういうコンセプトがあり、色々と調べるうちにCINEMA4DのGLTFファイル形式で出力するとブラウザのJavaScriptで映像が出せそうだ。ということになりました。

上記の HDMI <=> RF の画像で、RaspberryPi が接続されているのはその時に試したものでした。

TouchDesignerの映像レシーバとしてRaspberryPiを置く方法(第2案) はできれば今回は避けたい。という方向で走り始めました。