日本語

From Visual To Multimodal. From Information To Energy.

Sosuke, a PhD student at Georgia Tech, creates new ways for humans to interact with the world by repurposing visual media into multimodal experiences. For instance, Hydroptical Thermal Feedback creates the illusion of instant water temperature changes using LED-based skin heating, without altering the water’s actual temperature. ThermoBlinds draws inspiration from liquid crystal displays (LCDs) to deliver fast-switching thermal sensations, while Swell by Light leverages a standard office printer to generate 2.5D tactile textures. These projects demonstrate how visual media technologies can transcend simple information display, reshaping the physical world and our perception of it by directly mediating energy.

This approach seeks to return us to more organic, synesthetic, and multimodal way of interacting with our environment and each other, enhanced by the magic of computing. Hydroptical Bath, for example, offers a meditative, relaxing experience with physiological benefits. Similarly, Thermal Painting augments an artist’s creativity with multimodal paints that evoke both thermal and color sensations. Ultimately, Sosuke’s research pulls magical experiences out from behind the sceen, integrating physiological, emotional, and behavioral changes into our media experiences.

From an engineering and societal perspective, repurposing visual technologies benefits from both the past and future of human assets. Since Gutenberg’s printing press, we have heavily invested in visual media. As a result, highly sophisticated technologies have emerged, many devices have become ubiquitous throughout society, and rich visual media cultures and skills have been cultivated. By adapting these existing technologies, we can utilize their precise spatio-temporal control methods to realize multimodal experiences everywhere, without the need to manufacture and distribute new hardware. Furthermore, by leveraging this rich visual culture, people can seamlessly create and enjoy multimodal experiences. Swell by Light is a good example of this, allowing people to make 2.5D tactile patterns using familiar methods and tools, such as drawing and office printers. In short, the approach of repurposing visual media facilitates a seamless transition from visual-centrism to true multimodalism.

Looking toward the future of computing, the exponential growth of both populations and devices demands faster transfers of information and energy, whether human-to-human, human-to-device, or device-to-device. Under these circumstances, we are shifting from the “age of electricity” to the “age of light.” Optical circuits are increasingly being integrated into electrical ones (e.g., NVIDIA CPO), and optical power transfer from space-based solar plants to ground receivers is in active development (e.g., Japan SSP). To better access these energy sources, computing infrastructure is migrating toward orbit. In the future, people, environments, computers will be connected not only electronically (visually) but also optically (multimodally).

This opto-electrical fusion boom aligns with Sosuke’s visual-to-multimodal vision. In the age of electricity, optical patterns were of such low energy that they could only conveyed information, functioning merely as visual media. However, as we learn to control higher-energy patterns, we are giving rise to what Sosuke calls “energy media.” What were once mere visual representations will come to give thermal, tactile, kinetic, olfactory, and gustatory sensations. What was once mere information will come to exert physiological, emotional, and motivational impacts on us humans. These high-energy patterns will morph, heat, power, and control physical matter and computing systems.

視覚体験は多感覚へ拡張され、情報はエネルギーを得る

市橋は、視覚メディアを多感覚体験へと転用することで、人と世界との新しいインタラクションのあり方を創造する。例えば、Hydroptical Thermal Feedback（水光温覚提示）では、実際の水温を変えることなく、LEDによる皮膚加熱を用いて瞬時に水温が変化したかのような錯覚を作り出す。ThermoBlinds は液晶ディスプレイ（LCD）から着想を得て高速に切り替わる温度提示を実現する。Swell by Light は一般的なプリンターを活用して2.5次元の凸凹模様を生成する。これらのプロジェクトは、視覚メディア技術が単なる情報提示にとどまらず、エネルギーを直接媒介することで物理世界とそれに伴う私たちの知覚を再構築できることを示す。

このアプローチは、環境や他者とのより有機的で、共感覚的かつ多感覚的な関わりへと私たちを回帰させ、それらを計算機の魔法によって拡張する。例えば、Hydroptical Bath（水光風呂）は生理学的な効果のある、リラックス体験。Thermal Paintingは、色彩だけでなく温覚をも喚起する多感覚な絵の具によって、画家の創造性を拡張する。市橋の研究は、スクリーンの背後にあった魔法のような体験を現実世界に引き出し、生理学的、感情的、行動的な変化のあるメディア体験を実現する。

工学的および社会的な観点から見ると、視覚技術の転用は、人類の過去・未来双方の資産を利用可能とする。 グーテンベルクの活版印刷以来、私たちは視覚メディアに多大な投資を行ってきた。 その結果、高度に洗練された技術が生まれ、多数のデバイスが社会全体に遍在し、豊かな視覚メディアの文化やスキルが育まれた。 これらの既存技術を応用すると、新しいハードウェアを製造・流通させることなく、その精密な時空間制御手法を活用してあらゆる場所で多感覚な体験を実現できる。 さらに、豊かな視覚文化を活かして、人々はマルチモーダルな体験を創造し楽しむことができる。 Swell by Light はまさにその好例であり、お絵かきやオフィス用プリンターといった慣れた手法やツールを用いて、2.5次元の触覚パターンを作成できる。 つまり視覚メディアの転用というアプローチは、視覚中心主義から真の多感覚社会へのシームレスな移行を促進する。

計算機の未来に目を向けると、人口とデバイスの双方の爆発的な増加により、人同士、人とデバイス、あるいはデバイス同士において、情報とエネルギーのより高速な伝達が求められる。 そういった状況において、私たちは「電気の時代」から「光の時代」へと移っていく。 光回路は電気回路へとますます統合されつつあり（例：NVIDIA CPO）、宇宙太陽光発電所から地上の受信機への光エネルギー伝送も活発に開発されている（例：日本のSSP）。 これらのエネルギー源へより良くアクセスするため、計算機インフラは軌道上へと移行しつつある。 将来、人、環境、そしてコンピュータは、電子的（視覚的）に接続されるだけでなく、光学的（マルチモーダル）にも接続されるようになる。

この光電融合ブームは、市橋の「視覚からマルチモーダルへ」というビジョンと軌を一にする。 電気の時代において、光の模様は非常に低エネルギーであり、情報を伝えることしかできず、すなわち単なる視覚メディアとしてしか機能してこなかった。 しかし、私たちがより高エネルギーな模様を制御できるようになるにつれ、市橋が「エネルギーメディア」と呼ぶものが台頭しつつある。 かつては単なる視覚表象だったものが、温覚、触覚、力覚、嗅覚、そして味覚を表すようになる。 かつては単なる情報だったものが、私たち人間にとって生理学的、感情的、そして動機的な影響を与えるようになる。 これら高エネルギーの模様は、物質や計算機に形・熱・電力・制御をもたらすことになる。