필자, 강신동은 한국산업기술대학 컴퓨터공학과 겸임교수와 서울시 IoT 추진 기술전문위원, 한국건설기술연구원 연구기획위원 등을 역임했으며, 현재 ㈜지능도시 설립자/대표이자 Smart Beam forum 설립 및 운영자로 활동하고 있다.(편집자 주)인류의 과학문명에서 우주 자연에 대해서 알아낸 가장 대단한 물리학적 성과로서 최소 작용의 원리(The Principle of Least Action)가 있다. 최소 작용의 원리는 우주 만물의 모든 움직임이 정확하게 따르는 원리이다.본고에서는 우주와 자연의 원리를 인류 과학문명이 알아낸 원리
필자, 강신동은 한국산업기술대학 컴퓨터공학과 겸임교수와 서울시 IoT 추진 기술전문위원, 한국건설기술연구원 연구기획위원 등을 역임했으며, 현재 ㈜지능도시 설립자/대표이자 Smart Beam forum 설립 및 운영자로 활동하고 있다.(편집자 주)인공지능 구현에 핵심적인 자연어 처리(NLP) 방식은 규모, 언어 및 도메인에 적용되는 알고리즘에 중점을 두고 여러 방식으로 다양한 분야에서 사용되어 사용자 경험을 제공하고 AI 시스템이 문제 해결을 하는데 중추적인 역할을 담당하고 있다.본고에서는 자연어 처리에서 사용하는 인공지능(AI) 기
필자, 강신동은 한국산업기술대학 컴퓨터공학과 겸임교수와 서울시 IoT 추진 기술전문위원, 한국건설기술연구원 연구기획위원 등을 역임했으며, 현재 ㈜지능도시 설립자/대표이자 Smart Beam forum 설립 및 운영자로 활동하고 있다.(편집자 주)본고에서는 딥러닝 AI 분야에서 인공신경망의 최종 결과가 어떤 부분을 보고서 결과를 도출했는지 알기 위한 방법의 일종인 CAM (Class Activation Mapping)에 대해서 알아본다.▷ 컨볼루션 네트워크(CNN. Convolutional Neural Network)에서 위치정보
본고에서는 숫자로 움직이는 딥러닝 AI 분야에서, 숫자의 비율과 무차원 수의 이용에 대하여 알아본다.▷ 본질을 위한 비율물체가 낙하는 것의 본질을 파악하는 것은 어려워서, 인류 역사상 매우 최근에서야 본질을 파악한 역사이다. 무거운 공을 떨어뜨리면, 속도가 빠르게 점점 더 빨라져서 본질적인 특성을 파악하는 것은 어려운 관찰이다.그러나, 시간의 변화량에 따른 속도의 변화량에 대한 비율에 관심을 두면 특성은 쉽게 파악할 수 있다. 그 비율은 언제나 항상 일정하게 유지된다는 사실이 물체가 떨어지는 것의 본질을 파악할 수 있게 한 핵
딥러닝에서 널리 적용되고 있는 어텐션(Attention)은 모델을 더욱 정교하고 우수한 성능을 보여준다. 본고에서는 최근 가장 뛰어난 성능으로 많은 분야에서 활약하고 있는 AI 기술 분야인 어텐션에 대하여 알아 본다.▷ 워드 엠베딩 (Word Embedding)AI의 딥러닝 기술은 기본적으로 벡터 연산으로 이루어져 있다. 벡터는 크기와 방향이 동시에 있는 것이고, 크기와 방향만 유지된다면, 어느 공간의 위치로 옮겨도 같은 벡터인 성질이 있다. 벡터의 마이너스 값은 방향이 반대이고 크기가 같은 벡터를 뜻한다.서로 다른 벡터간의 뺄셈
최근 인공지능(AI) 기술분야에는 워낙 많은 개념과 모델이 하루가 다르게 대두되다 보니, 전체적인 개념 이해가 어려운게 사실이다. 본고에서는 일반인의 관점에서 트랜스포머 어텐션(Transformer Attention)에서 사용하는 위치 엔코딩(Positional Encoding)에 대해서 알아 본다.▷ 순환신경망(Recurrent Neural Network 이하, RNN)에서의 순서 위치 정보RNN에서는 입력값이 입력되는 순서에 대한 정보는 앞선 출력값이 새로운 입력값과 함께 다시 입력되는 과정에서 자연스럽게 순서 위치에 대한 정보
본고에서는 인공지능(AI)의 여러분야에서 사용되는 딥러닝의 내적 의미와 실제 사용에 관하여 알아본다.▷인공신경망 벡터의 내적(dot product)은 인공신경망의 각 뉴런 노드의 입력과 가중치 (weight)의 상호관계의 계산에 사용된다.각 입력값에 가중치를 곱하여 전체를 더하는 것이 입문자가 받아들이는 방식이라면, 입력값 전체를 여러개의 축(axis)을 가진 하나의 벡터(vector)값으로 보고, 가중치 전체를 여러개의 축을 가진 하나의 벡터값으로 보아, 단지 input vector와 weight vector 2개의 벡터의 dot
확률(probability)은 AI 분야에서 처음부터 끝까지 함께 붙어 다니는 개념이다.어찌보면 단순한 것이지만, 본질적으로 물리학적인 관점으로 살펴보면 재미있고도 중요한 것을 느낄 수 있다. 몇 가지 대표적인 확률을 들어 정리해 본다.▶결정론적 확률 (probability of deterministic)힘의 원리를 발견한 뉴턴(Newton)의 고전 역학에서 유래한 결정론적 세계관은 신의 영역으로 여겨졌던 미래의 예측에서 신을 완전히 배제하고 간단한 수식만으로 미래의 상태를 매우 잘 예측하며 천체 예측이나 교량 건축 등에서 인류의
실제 물리적인 환경이 아닌 상상속의 세계인 인공지능 계산 모델(AI model) 에서, 온도 파라미터(temperature parameter) 가 자주 등장한다.바둑에서 인간의 기보를 이용하여 학습을 초기에 시키지 않고, 인간의 바둑 기보를 전혀 주지 않고 학습을 진행하여 이세돌을 이긴 알파고(AlphaGo)를 넘어서서 비교도 안되게 이를 뛰어넘은 알파고 제로(AlphaGo Zero)가 있다. 알파고 제로는 인간이 도저히 이길 수 없는 수준에 도달하여 인간과의 대결은 의미가 전혀 없어져서 이미 은퇴한 상태이다.순전히 스스로의 경험에
물리학에는 우주의 시간 흐름과 관련된 것으로 생각할 수 있는 재미있는 물리학적 상태 함수로서 엔트로피 (entropy)가 있다.엔트로피의 재미있는 법칙은, 시간이 흐를 때, 자발적인 상태 변화는 항상 엔트로피가 증가한다고 하는 매우 중요한 물리학 법칙인 엔트로피 증가의 법칙이 있다.우리 우주를 관통하는 원리인 엔트로피 증가의 법칙은 물리학과 별로 관련이 없어 보이는 수학 분야에서 세기의 난제로 알려졌던 프앙카레(Poincare) 추측 문제를 러시아 수학자 그리고리 페렐만 (Grigori Perelman)이 물리학의 엔트로피 법칙을