확률적 앵무새. 概率鹦鹉.

 

"확률적 앵무새"라는 용어는 인공지능, 특히 언어 생성 모델이 작동하는 방식을 비유적으로 설명하기 위해 사용이 되고 있습니다.

“概率鹦鹉”这个术语被用来比喻地描述人工智能，尤其是语言生成模型的工作方式。

 

 

이 용어는, 위싱턴 대학교의 언어학자인 에밀리 벤더 교수가 2021년 FAcct 논문에서 챗GPT에 대해, 확률적 앵무새 stochastic parrot에 불과하다고 이야기하며 처음 사용하게 되었습니다.

 

这个术语是由华盛顿大学的语言学家艾米莉·本德教授在2021年的FAccT会议论文中首次使用，她在论文中提到，相对于ChatGPT来说，只不过是一个“概率鹦鹉”。

 

FAccT(Conference on Fairness, Accountability, and Transparency): 세계 최초의 컴퓨터 과학 분야의 학술과 교육을 목적으로 하는 각 분야 학회인 ACM(Association for Computing Machinery)에서 주최하는 세계 최고 권위의 공정성, 책임성 및 투명성 확회                                                                                                                                                 
                                                                                                                                                                                                 - AI 전쟁  중에서 -

FAccT (Conference on Fairness, Accountability, and Transparency)는 인공지능(AI) 및 알고리즘 시스템에서 공정성, 책임성, 투명성을 다루는 중요한 국제 회의 중 하나입니다. 이 회의는 기술, 법, 사회과학, 인문학 등 다양한 분야의 연구자들이 모여 AI 및 알고리즘 시스템의 사회적 영향을 평가하고, 이러한 시스템이 개인과 사회에 미치는 영향을 더 공정하고 책임감 있으며 투명하게 만들기 위한 방법을 모색합니다.

FAccT 회의는 다음과 같은 주요 주제들을 다룹니다:

• 공정성(Fairness): 알고리즘과 AI 시스템이 모든 사용자에게 공정하게 작동하도록 보장하는 방법에 관한 연구입니다. 여기에는 편향성 감소와 차별 방지 전략이 포함됩니다.
• 책임성(Accountability): 알고리즘 결정 과정이 어떻게 구성되어 있는지, 그리고 그러한 결정이 사회에 미치는 영향에 대해 개발자와 사용자가 어떻게 책임을 질 수 있는지에 대한 연구입니다.
• 투명성(Transparency): AI 및 알고리즘 시스템의 작동 방식을 사용자와 사회가 이해할 수 있도록 만드는 방법에 대한 연구입니다. 이는 시스템의 결정 과정을 명확하게 파악할 수 있도록 하는 것을 목표로 합니다.

FAccT는 이러한 주제들을 통해 기술이 사회에 긍정적인 영향을 미치도록 하며, 동시에 기술 발전이 가져올 수 있는 부정적인 사회적 영향을 최소화하는 데 중점을 둡니다. 회의는 연구 논문 발표, 워크숍, 튜토리얼, 패널 토론 등 다양한 형식으로 진행되며, 학계, 산업계, 정부 기관 등 다양한 분야의 전문가들이 참여합니다.

 

이 용어는 모델이 대량의 텍스트 데이터를 학습하여, 그 안에서 단어들 사이의 관계와 패턴을 이해하고, 이를 바탕으로 새로운 텍스트를 생성한다는 개념을 담고 있습니다. 모델이 다음 단어를 예측하는 과정은 학습 데이터에서 관찰된 단어들 사이의 확률적 관계에 근거하는 것이죠.

这个术语涵盖了模型通过学习大量文本数据来理解词语之间的关系和模式，并基于此创建新文本的概念。模型预测下一个词的过程是基于学习数据中观察到的词语之间的概率关系的。

 

 

특히, "확률적"이란 용어는 모델이 특정 단어 뒤에 어떤 단어가 올 확률을 계산하여 가장 가능성 높은 단어를 선택하는 과정을 나타냅니다. 이는 마치 앵무새가 사람의 말을 모방하듯, 모델도 사람이 쓰는 언어를 모방하는 것처럼 보이게 합니다. 그러나, 이 비유에는 한계가 있다고 생각합니다. (2021년 FAcct 논문에서 "확률적 앵무새"라는 말을 언급했으니, 2020년 말 GPT-3를 기준으로 쓰여진 글일 것입니다.)

特别是，“概率”这个术语指的是模型计算特定单词后哪个单词出现的概率，并选择最有可能的单词的过程。这就像鹦鹉模仿人类的话语一样，模型似乎也在模仿人类使用的语言。然而，我认为这种比喻是有限制的。（考虑到2021年FAccT论文中提到了“概率鹦鹉”，这篇文章应该是基于2020年末的GPT-3写成的。）

 

 

실제 앵무새는 들은 말을 그저 반복할 뿐, 그 의미를 이해하지 못하지만, 언어 생성 모델은 패턴 인식과 확률 계산을 통해 문맥에 맞는 응답을 생성하려고 시도합니다.

虽然真正的鹦鹉只是重复它所听到的话而不理解其含义，但语言生成模型试图通过模式识别和概率计算来产生符合上下文的回答。

 

이 개념은 모델이 단순히 말을 반복하는 기계가 아니라, 복잡한 언어 패턴과 문맥을 이해하고 새로운 문맥에 맞게 조정할 수 있는 능력을 가지고 있음을 시사합니다. 그럼에도 불구하고, 이 용어는 모델이 인간의 사고방식이나 창의성을 진정으로 이해하거나 모방할 수 있는지에 대한 질문을 제기하며, 모델의 한계와 가능성에 대한 논의를 촉진시킵니다.

这个概念暗示了模型不仅仅是重复话语的机器，而是具有理解复杂的语言模式和上下文，并能够适应新上下文的能力。尽管如此，这个术语还是提出了模型是否真正理解或模仿人类的思维方式或创造性的问题，并促进了关于模型限制和可能性的讨论。

네이버 클라우드 AI혁신 센터장인 하정우 센터장, 

"지금은 확률적 앵무새만으로 보기에는 생각의 사슬Chain of Thought를 설명할 방법이 없어요. 생각의 사슬은 어려운 문제를 풀기 위해 단계별로 다음을 생각하고, 그 다음을 생각하면서 순차적으로 접근하는 방법입니다. 그냥 문제를 주고 답을 맞추라고 하면 못 풀거나 틀리겠죠. 특히나 수학 문제 같은 경우에는요. 그런데 프롬프트에 "단계적으로 생각해보자"라는 문구 하나만 넣었을 뿐인데 문제를 풀어요. 이건 과정과 단계에 대한 이해도가 있다는 얘기거든요"
现在仅将其视为概率鹦鹉来解释思维链条是不够的。思维链条是解决困难问题的一种方法，通过逐步思考接下来的每一步，然后再思考下一步，以此顺序逼近。如果仅是给出问题并要求给出答案，可能会解不出来或答错，特别是在数学问题上。但只要在提示中加上“让我们逐步思考”的一句话，就能解决问题。这说明了对过程和步骤的理解。

 

그런데, 여기서 '생각의 사슬' 같은 기능을 보면, 단순히 확률적으로 다음 단어를 예측하는 것 이상의 능력을 보여주고 있습니다.

但是，在这里看到的“思维链条”功能显示了超出仅仅基于概率预测下一个词的能力。

 

이런 접근 방식은 문제를 해결하기 위해, 여러 단계를 거쳐야 하는 복잡한 문제를 다룰 때 특히 유용합니다. 이를 통해 모델이 단계별 추론을 통해 어떤 문제의 해결책을 도출할 수 있는 능력을 보여주는 것 같습니다.

这种方法在处理需要经过多个步骤才能解决的复杂问题时特别有用。通过这种方式，模型似乎能够展示出通过逐步推理来导出问题解决方案的能力。

 

이러한 능력은 모델이 단순히 정보를 저장하고 검색하는 수준을 넘어, 문제를 분석하고 이해하며, 그에 따라 단계적으로 접근하는 일종의 '이해' 능력을 보여준다고 할 수 있습니다. 물론, 이것이 인간의 사고 방식과 완전히 동일하다고 보기는 어렵지만, 분명 이전 세대의 모델보다 더 발전된 형태의 정보 처리와 문제 해결 능력을 보여준다고는 할 수 있겠습니다.

这种能力表明，模型不仅仅是在存储和检索信息的水平上，还能分析和理解问题，并据此逐步接近问题，显示出一种“理解”的能力。当然，这与人类的思维方式不完全相同，但确实可以说，与前一代模型相比，它展示了更先进的信息处理和问题解决能力。

 

그래서, "확률적 앵무새"라는 개념을 넘어서는 측면이 분명 있다고 생각합니다. 그리고, "확률적 앵무새"라는 용어는 GPT-3를 보고 나온 용어라는 걸 생각하다면, 이후에 GPT-3.5(챗GPT), ChatGPT4를 경험하고 나서는 어떤 용어를 붙일 수 있을까요?

因此，我认为确实存在超越“概率鹦鹉”概念的方面。考虑到“概率鹦鹉”这个术语是在见识了GPT-3之后提出的，那么在经历了GPT-3.5（ChatGPT）、ChatGPT-4等更进一步的模型后，我们又该如何称呼它们呢？

 

이런 발전을 보고 있으면, 앞으로 언어 모델이 어떻게 발전할지, 어떤 새로운 능력을 보여줄지에 대한 기대를 갖게 만듭니다.

看到这样的进步，确实让人期待未来语言模型将如何发展，以及它们将展现出什么样的新能力。

 

> 중국어 번역은 챗GPT를 활용했습니다.

 

 

 

 

정보검색의 진화. 챗GPT

검색말고 질문하세요.

 

미래소년이었습니다.