ULTRACOMBOS 叁式通訊 #10 以程式語言譜成的詩：在綠美圖，我們如何用 AI 捕捉看不見的關聯
前言：在文學與藝術之間，尋找看不見的線
在 臺中綠美圖（Green Museumbrary） 這個特殊的場域裡，同時流動著兩種氣息：美術館的視覺張力，與圖書館的文字深邃。建築上，它們共享同一個屋簷；但在數位的世界裡，它們卻說著截然不同的語言。
我們手邊擁有圖書館約 5300 筆關於藝術、設計、生活與文學等的藏書資料，以及美術館數千筆的畫作典藏。過去，大家習慣用「關鍵字」來搜尋——輸入「春天」，系統精準地遞給你一本園藝指南，或是一張百花盛開的圖片。雖然正確，卻很貧乏。它少了策展最核心的靈魂——那些不期而遇的驚喜（serendipity），以及藏在表徵之下的敘事（narrative）。
作為工程師的我在想，任務不應該只是把資料倒進資料庫，也許能在理性數據與感性策展之間，接上一條看不見的線。想知道，能不能不透過關鍵字，而是「情緒」、「觸感」甚至「哲學的隱喻」，讓一本書與一幅畫產生共鳴？
I. 當「藍色」只剩下藍色
剛開始，我們以為這是一個標準的 Multi-modal Embedding（多模態向量嵌入）問題。理論上，將圖片和文字丟進模型，它們應該會在數學的向量空間中找到彼此。
但現實往往不如想像中美好。
當設計提出像「憂愁的形狀」這樣充滿想像力的提問時，系統的回應往往讓人啼笑皆非。我們輸入「偵探、隱藏的真相」，期待看到風格陰鬱的畫作與懸疑小說的碰撞，但電腦卻給了一堆教人「說話之道」的工具書。
那一刻才意識到，這不是模型的問題，而是「語意的斷裂」。 一張畫著藍色海洋的圖，在 AI 眼裡就是「藍色」與「水」；但在我們的眼裡，那可能是「憂傷」，是「流逝」，甚至是「深層的記憶」。AI 看得見「花」，卻不一定看得懂「花開的喜悅」；看得見「幾何冰晶」，卻讀不出「邏輯的冷冽」。
如果不教會 AI 讀懂這些「言外之意」，再厲害的演算法，也只能給出最淺薄的答案。
II. 把 AI 變成「藝術評論家」
為了跨越這個鴻溝，我們決定改變策略。既然原始資料不夠「多維」，那我們就自己創造維度。我們加入了大型語言模型（LLM），讓它扮演一個「翻譯」的角色。
我們不直接拿原始圖文去算向量，而是設計了一套縝密的 Prompt（提示詞），請 AI 想像自己是一位熟知藝術文化與文學的專家。對於每一本書、每一張畫作，我們請它從三個層次進行描述：
看見了什麼：是幾何圖形？是柔焦的光影？還是糾結的線條？
風格是什麼：是油畫？是極簡主義平面設計？還是充滿雜訊的攝影？
感覺到了什麼：這是最關鍵的一步。我們問 AI：「這件作品是在探討孤獨、慶祝，還是時間的停滯？」
接著，我們將這些描述「縫合」起來。把 AI 分析出的創作者、視覺特徵、抽象概念與核心情緒，填入一個標準化的敘事模板中。我們不只是存下關鍵字，而是將 AI 分析出的 creator（創作者）、concreteKeywords（視覺特徵）、abstractKeywords（抽象概念）與 emotions（核心情感），組合成一個標準化的句子：
「這是一件由創作者 [Name] 所創作... 在視覺與風格上，它呈現出 [Keywords] 等特徵。在主題與情感上，它旨在探討 [Abstract] 等概念...」
這就像是讓原本無法溝通的文學與藝術，學會了同一種語言。它們不再只是冷冰冰的數據，而是變成了一段段帶有情緒與溫度的自我介紹。
III. 當「冰」遇見了「真理」
當資料經過這層「轉譯」並重新進入系統後，神奇的化學反應發生了。
現在，我們可以用極具詩意的句子來進行策展，而系統終於「聽懂」了。
例如在策劃「冬天的聲音」這個主題時，設計寫下的 Prompt 是：「冰會記得什麼？」 在新的系統裡，AI 捕捉到了「幾何結晶」、「白色留白」的視覺特徵，同時也關聯到了「邏輯」、「真理」、「永恆」與「沈默」的抽象概念。
於是，螢幕上出現了一幅極簡主義的幾何畫作（視覺上的冰），而飄浮在它旁邊的，是一本《純粹理性批判》或是探討邏輯結構的哲學書（概念上的冰）。
這就是我們理想中的 Fusion。
圖書館提供了「骨架」（敘事的深度與哲學），美術館提供了「血肉」（視覺的衝擊與美感）。這兩者不再是依賴關鍵字硬湊在一起，而是在「冷冽與理性」的共同語境下，展開了一場跨越媒材的對話。
又或者在「春天的氣味」裡，透過「晨霧」、「嫩芽」與「初生的脆弱感」，系統將一幅水墨渲染的畫作，與一本講述生命起源的科普書牽起了手。這不再只是資料檢索，這是一場概念的探索。
結語：科技是為了讓浪漫被看見
回頭看這段過程，工程師的角色與其說是開發者，不如說是「轉譯者」。
我們嘗試用程式語言填補了人類直覺與機器邏輯之間的鴻溝。這個系統不再是冷冰冰的檢索工具，它變成了一個可以回應「憂愁」、「輕盈」甚至「時間的重量」的有機體。
在綠美圖，我們希望科技是隱形的。當民眾站在環形的螢幕前，因為一句「霧可以飛多高？」而意外發現一本從未想過的書、或一幅觸動內心的畫時——那種眼神裡的驚喜，才是我們寫下這些程式碼最浪漫的理由。
Photo: Courtesy of YHLAA
Text by: 椎名貝波
Key Visual: 一杯中冰美
ULTRAWAVE is now available in English. Read the English version here.