GPT의 열기가 뜨겁습니다. 지난 글에서도 GPT를 다루었지만, 이번 글에서는 GPT와 의식에 관한 뜨거운 논의에 대한 다른 관점을 보기 위해, 인공신경망이 의식을 가질 수 있는지를 살펴보도록 하겠습니다. 다분히 수학적인 내용들로 구성이 되어 있음을 미리 알립니다.
$A$를 non-empty set이라고 하고 $h:A\to A$를 partial function이라고 하자. 함수 $h$의 graph $H$는 $H=\{(a\to b):b=h(a),a\in A\}$로 정의된다. 여기서 $(a\to b)$를 $(a,b)$대신 적은 것은 다분히 의도적이다.
집합간의 연산으로 간주해서, singular argument $\{a\}$에 대한 $H$의 application은
$$ H\cdot\{a\}=\{b:\exists x\in\{a\}.(x\to b)\in H\} $$
이다. 즉, $h(a)$ 중 $H$에 들어가는 것으로 생각할 수 있다. 우리의 첫 번째 목표는 이를 일반화하는 것이다.
$A\neq\emptyset$, $n\in\mathbb{N}$이라고 하고 $G_n(A)$를 귀납적으로 다음처럼 정의하자: $G_0(A)=A$, $G_{n+1}(A)=G_n(A)\cup\{(\alpha\to h);\alpha\subseteq G_n(A),\alpha\text{ finite},b\in G_n(A)\}$. 그리고 $G(A)=\bigcup_{n\in\mathbb{N}} G_n(A)$로 정의하자. $M,N\subseteq G(A)$에 대해서
$$ M\cdot N=\{b:\exists\alpha\subseteq N,(a\to b)\in M\} $$
로 정의한다. 이는 위에서 정의한 $\{a\}$에 대한 $H$의 application의 일반화이다.
Graph algebra over $A$는 binary operation $\cdot$에 대해 닫혀있는 $G(A)$의 subset들의 모임이다.
$\mathbb{A}=\langle A,\cdot\rangle$로 표현되는, binary operation $\cdot$이 있는 모든 algebra는 $A$에 대한 graph albgebra 중 하나와 isomorphic하다.
Alan Turing의 업적 이래로 artificial neural network(ANN)는 brain model로 대두되었고 딥러닝의 유행 덕에 이러한 학풍은 더욱 가속화되었다. 수많은 ANN 모델이 있지만 이들 하나하나에 집중하기보다는 전체적인 ANN을 포괄하는 설명법을 전개해보기로 한다.
Brain model은 directed graph로 생각할 수 있다. 각 edge는 neuron이라고 불리며, 이들은 discrete time에 fire하여 신호를 전달한다. 이 firing time은 $t\in\mathbb{Z}$로 표현된다. 뇌의 전체적 모델을 firing function $f(a,t)$로 논리 전개를 할 수 있는데, 이 때 $a$라는 neuron이 time $t$에 fire하면 1, 아니면 0의 값을 갖는 모델로 표현된다. 다른 말로 $f$를 firing law를 따르는 함수라고도 부른다. Neuron $b$의 firing law는 neuron $a_1,a_2,\cdots,a_k$ 들의 firing at $t_1,t_2\cdots,t_k$에 의해서 $b$가 fire되는지의 여부가 결정되며 이는 directed edge로 표현된다. 이 때 incoming edge들의 fire에 의한 신호들이 given threshold 이상이 되면 neuron $b$도 fire하고, 아니면 fire하지 않는다.
Directed graph $A$가 있다고 하고 이의 모든 node에서의 firing law를 모아 놓은 것을 $F(A)$라고 하자. 이들을 합쳐서 우리는 brain model이라고 하고 $\mathcal{A}$로 쓸 것이다. ($A$와 $\mathcal{A}$의 폰트가 다름에 주의하라.) Brain model은 $\mathcal{A}$의 firing history들에 다음 표기법을 건 것으로 주어진다: