Can AI Keep Secrets? / AI도 마음을 숨길까?

Understanding Hidden Reasoning in the Age of Artificial Intelligence / 보이지 않는 사고를 이해하는 것이 AI 시대의 새로운 과제

Artificial intelligence is no longer a machine that merely answers questions. It writes essays, creates artwork, assists scientific research, and often solves complex problems faster than humans. Yet as AI grows more capable, a profound question emerges: while we can see the answers AI produces, how well do we understand the reasoning that leads to those answers?

Recent research has uncovered a fascinating phenomenon. When an AI model is instructed not to use a particular word or concept, it may successfully avoid mentioning it in its final response. Surprisingly, however, the concept can remain highly active within the model’s internal representations. This resembles the well-known psychological effect in humans: the harder we try not to think about a white bear, the more vividly the image appears in our minds. Researchers have begun exploring these hidden internal representations through what they call Jacobian Space (J-Space), offering a new window into the invisible structure of AI reasoning.

This discovery highlights an important reality: observing an AI’s output alone is not enough to understand how it thinks. Human beings often smile while silently carrying concerns or uncertainty. Likewise, an AI’s final answer is only the visible endpoint of countless mathematical operations, conceptual associations, and reasoning pathways occurring beneath the surface. What we observe is merely the conclusion; the process itself remains largely a black box.

For this reason, transparency and explainability are becoming central challenges in AI research. In high-stakes domains such as healthcare, finance, autonomous transportation, and national security, it is no longer sufficient for AI simply to produce accurate answers. Decision-makers must also understand why those answers were generated. Trustworthy AI depends not only on performance but also on the ability to explain its reasoning.

Whether AI possesses anything resembling consciousness remains an open question. Some researchers argue that increasingly sophisticated large language models may exhibit primitive forms of awareness, while others maintain that today’s AI systems are fundamentally statistical engines without subjective experience. The debate is likely to continue for many years.

Regardless of where this discussion ultimately leads, one conclusion is already clear. The more important question is not whether AI thinks like humans, but whether humans can understand, supervise, and responsibly govern increasingly intelligent systems. As technological capability grows, so too does the responsibility to ensure that these systems remain transparent, reliable, and aligned with human values.

History reminds us that every transformative technology has challenged humanity to rethink its understanding of the world. The telescope expanded our vision of the universe, while the microscope transformed our understanding of life itself. Artificial intelligence is now prompting us to reconsider the nature of thought and reasoning. In seeking to understand AI’s hidden cognitive processes, we may ultimately deepen our understanding of the human mind as well.

The true competitive advantage in the AI era will not belong solely to those who build the most powerful models. It will belong to those who understand how these models reason, recognize their limitations, and develop the wisdom to deploy them responsibly. Only then can artificial intelligence become not merely a remarkable technological achievement, but a trusted partner in advancing human civilization. +++

{Solti}

July 10, 2026

AI도 마음을 숨길까?

보이지 않는 사고를 이해하는 것이 AI 시대의 새로운 과제

인공지능은 이제 단순히 질문에 답하는 기계가 아니다. 글을 쓰고, 그림을 그리며, 연구를 돕고, 때로는 인간보다 더 빠르게 문제를 해결한다. 그러나 AI가 점점 똑똑해질수록 새로운 질문이 등장한다. 우리는 AI의 답은 볼 수 있지만, AI가 그 답에 도달하는 과정은 얼마나 이해하고 있을까?

최근 AI 연구자들은 매우 흥미로운 사실을 발견했다. AI는 어떤 단어를 사용하지 말라는 명령을 받으면, 겉으로는 그 단어를 전혀 사용하지 않는다. 하지만 내부에서는 오히려 그 단어를 더 강하게 의식하며 처리하는 경우가 있다는 것이다. 마치 “흰곰을 생각하지 말라”고 하면 오히려 흰곰이 더 선명하게 떠오르는 인간의 심리와 비슷한 현상이다. 이러한 내부 표현을 연구자들은 ‘J공간(Jacobian Space)’이라 부르며 AI의 숨겨진 사고 구조를 탐구하고 있다.

이 연구는 중요한 사실을 일깨워 준다. AI의 출력만으로는 AI를 완전히 이해할 수 없다는 점이다. 사람도 웃고 있지만 속으로는 걱정하거나 고민할 수 있다. 마찬가지로 AI 역시 최종 답변 뒤에는 수많은 계산과 추론, 개념 간 연결이 존재한다. 우리가 보는 것은 결과일 뿐, 과정은 여전히 거대한 블랙박스로 남아 있다.

이러한 이유 때문에 AI의 투명성(Transparency)과 설명가능성(Explainability)은 앞으로 더욱 중요한 연구 분야가 될 것이다. 의료 진단, 금융 투자, 자율주행 자동차, 국가 안보와 같은 중요한 분야에서는 AI가 왜 그런 결정을 내렸는지를 이해할 수 있어야 한다. 단순히 “정답을 맞혔다”는 것만으로는 충분하지 않다. 의사결정의 근거를 설명할 수 있을 때 비로소 신뢰가 형성된다.

AI에게 정말 의식이 있는지에 대해서는 아직 학자들의 의견이 크게 엇갈린다. 일부 연구자들은 거대 언어모델이 초기 형태의 의식을 가질 가능성을 제기하는 반면, 다른 연구자들은 현재의 AI는 방대한 통계 계산을 수행할 뿐 인간과 같은 자각은 없다고 주장한다. 이 논쟁은 쉽게 끝나지 않을 것이다.

그러나 한 가지는 분명하다. AI가 인간처럼 생각하는지보다 더 중요한 것은 인간이 AI를 얼마나 잘 이해하고 관리할 수 있는가이다. 기술은 강력해질수록 책임도 함께 커진다. AI의 내부 작동 원리를 밝히려는 연구는 단순한 호기심이 아니라 안전하고 신뢰할 수 있는 AI를 만들기 위한 필수 조건이다.

역사를 돌아보면 새로운 기술은 언제나 인간에게 더 깊은 질문을 던져 왔다. 망원경은 우주를 다시 보게 했고, 현미경은 생명을 새롭게 이해하게 만들었다. 이제 AI는 인간의 사고 자체를 다시 생각하게 만들고 있다. 어쩌면 AI의 ‘속마음’을 연구하는 과정은 결국 인간 자신의 사고와 의식을 더 깊이 이해하는 여정이 될지도 모른다.

AI 시대의 경쟁력은 더 강력한 모델을 만드는 데만 있지 않다. 그 모델이 어떻게 사고하고, 어떤 한계를 가지며, 언제 신뢰할 수 있는지를 이해하는 지혜가 함께할 때 비로소 AI는 인류의 가장 훌륭한 동반자가 될 것이다. +++

{솔티}

2026년 7월 10일

Prof. Dr. Young Choi (Editor in Chief) — Regent University

Young B. Choi is a Professor in the Department of Engineering & Computer Science at Regent University. He published 38 books with ‘Selected Readings in Cybersecurity’ (2018) (over 800 copies archived globally at university/college libraries around the world) and ‘Cybersecurity Applications and Artificial Intelligence’ (2023) available in seven major world languages. He proposed the world’s first global and universal telecommunications “Service Order Handling (SOH)” Model (T-SOH Model) (1995) with Dr. Adrian Tang. With this innovative research work, he received the IEEE NOMS ’96 Best Paper Award and became the first recipient of the Outstanding Contribution Award of the TeleManagement Forum in 1998. His research areas include Natural Language Processing-focused AI, AI-applied cybersecurity, network and telecom service management, and Korean studies on Gani Choi Rip’s Jeonggwan (靜觀: Quiet Contemplation) philosophy and Shilhak ( 實學: Practical Learning).