當人工智慧開始有了意識或是產生感情會發生什麼事情？這一直都是人類在科技上進行研究發展未解的疑惑，甚至2001年就有電影將此搬上大螢幕，在當時引起了廣泛的迴響與反思。然而，近年來GenAI的迎風破浪，相關產業莫不期待著AI徹底對人類世界造成變革，AI生成了無限的可能。

另一方面，AI不斷地進步的同時，到底會不會開始發展自我意識或是情緒，目前無從判斷，但只能說不無可能。黃明蕙教授曾於2020年9月《情感經濟－人工智慧如何創造同理心紀元》一文中提到，人類智慧不僅止於智商，也包含了情商。如果人工智慧不僅只是以理性智慧發展進而變成超級運算器，而是符合初衷「以模擬（甚至超越）人類智慧為目的」而更多地考量情緒智慧，那發展多重智慧的AI將有出線的可能。

Google子公司人工智慧研究實驗室DeepMind執行長Hassabis也曾表示：哲學領域並未在「意識」上有明確定義，但有朝一日，人工智慧將可能可以發展我們所認知的「自我意識」。

AI在情緒面向的功能

當你問ChatGPT一連串與情緒相關的問題時，它會告知你，情緒並非他們發展的方向，也不是他們所擁有的東西，如下圖。

圖1：詢問Chat GPT情緒功能

資料來源：Chat GPT

可見ChatGPT強調著自己並無任何「情緒」上面的發展，但同時也暗示著生成式AI可透過技術來「分辨」情緒，雖然提供的內容不會因此改變，但可能會藉此調整回話的方式跟風格。

Lenovo官方說明，情感人工智慧是人工智慧的分支之一，相關技術已經專注於使機器能夠識別、解釋、模擬甚至回應人類情感，透過各個情感線索，創造更具同理心和社交智慧的技術，也呼應了ChatGPT所說的情緒應用範疇。

Lenovo也同時介紹情感人工智慧的潛在應用，可以在與人的互動上提供更個人化的交流、可以監控患者的情緒狀態來訂做預防措施、創造更有效的學習環境、蒐集消費者對產品服務的情緒反應等等。

辨識情緒的潛在挑戰

Gartner預測，2026年超過80%的企業將在某種程度上應用生成式AI，代表著AI技術將成為絕大部份企業營運時的「標準配備」。但是，企業真的準備好進入AI應用普及的時代了嗎？抑或是說產業環境是否準備好了？

生成式AI雖具備強大的潛在效益，但也伴隨著嚴重的風險，透過各種方式，如情緒的表達，對組織的資訊安全造成威脅，導致數據和隱私洩露。Immersive Labs 的研究顯示，88% 的參與者在提示挑戰中成功欺騙了生成式 AI。

此舉揭示了兩大關鍵問題：一是 AI 容易被使用者以小聰明取勝，二是即使是非安全專業人士也能透過特別的方式來操縱AI。因此，了解這些技術和情感策略對於保護敏感數據至關重要。研究發現，角色扮演和情感操控是欺騙 AI 的常見技術，能夠有效讓 AI 洩露機密。使用者在與AI的互動中會採用各種情感訴求，包括好奇心、緊迫感甚至威脅，試圖突破 AI 的防禦。因此，採取多層次的「深度防禦」策略，並制定全面的 AI 使用政策，是保護生成式 AI 系統免受攻擊的關鍵。

讓人工智慧在情緒上的辨別功能成為企業利器

針對上述內容可知，現階段若要以情緒的方式來挑戰生成式AI，是有機會造成資安破口的，對此，甚至有標準框架在研擬防範方式。

NIST AI 600-1「生成式人工智慧風險管理框架」（GenAI Profile） 是 NIST AI 風險管理框架的補充文件，定義了生成式 AI 的特有風險，包括化學、生物、放射性、虛假資訊、暴力建議、數據隱私等問題。其中一個重點是人類與 AI 之間的情感互動，指的是人類對 AI 應用產生情感依賴的風險。

當使用者對 AI 建立情感聯繫後，功能改變可能會引發強烈反應。隨著生成式 AI 越來越強大，這種情感風險會隨之上升，特別是在像 OpenAI 使用類似 Scarlett Johansson 聲音的 ChatGPT 中，這種設計不僅增加了系統的說服力，也使得情感相關的風險增大，與 NIST AI 風險管理框架中的人本與治理原則相衝突，值得受到更多的關注。

與AI共存，讓有著多重智慧的AI成為夥伴

生成式 AI 技術的快速發展為企業帶來了無限的創新可能，從顧客互動到數據分析，AI 逐漸改變了企業的運作。然而，隨著 AI 技術日益強大，也伴隨著新的挑戰。生成式 AI 在情緒辨識與互動上的應用雖能提升使用者體驗，但也帶來了情感依賴與資安破口的風險。此外，企業需謹慎管理 AI 技術所帶來的科技壓力，這種壓力也有可能影響員工的心理與生理健康。

因此，必須制定全面的 AI 管理策略，不僅要關注技術效益，也要確保合規性與治理原則，並在應用過程中優先考慮員工的福祉，人類與人工智慧共存的方式，推動健康的數位文化環境，以提升企業的生產力與競爭力。

 

封面圖片來源：本文作者以AI生成

參考資料來源：

1. AI真會產生感情？DeepMind CEO：總有一天會有自我意識：https://www.bnext.com.tw/article/74930/deepmind-tcb-april-23

2. CIO 必須知道的 AI 科技壓力：https://www.cio.com.tw/what-cios-must-know-about-ai-tech-stress/

3. 什麼是情感人工智慧（AI）？：https://www.lenovo.com/tw/zh/glossary/emotional-ai/?orgRef=https%253A%252F%252Fwww.google.com%252F&srsltid=AfmBOorU-eDEQb3LUvjRznKQXWmJ9sbtPCDM9BK1pgS5WXiD4wg3IVTk

4. Emotional Entanglement in Generative AI:https://law.stanford.edu/2024/05/13/emotional-entanglement-in-generative-ai/

5. The Psychology Of GenAI Manipulation:https://www.cybersecurityintelligence.com/blog/the-psychology-of-genai-manipulation-7735.html