AI 연구하시는분 생각을 듣고 싶습니다

2023.11.26

2429

AI에 대한 지식이 적어 글의 주장이 논리적이지 않을 수 있다는 점 미리 양해 부탁드립니다.

AI나 데이터과학이라는 것이 결국 데이터를 넣고 학습을 시키면 성과가 나오는 구조인데

결국 중요한것은 학습의 방법보다는 데이터 그 자체인것 같습니다.

인간의 학습에서 공부하는 방법도 중요하긴 하나 결국 머리좋고 공부량 많은 사람이 잘하는 것처럼

질 좋고 양 많은 데이터와 NPU를 가져올 수 있는 자본이 있는 미국이나 중국이 우세할 수 밖에 없는 것 같습니다.

역전파를 통한 가중치 조정 알고리즘의 발명 이후로 AI 방법 학습론에 혁신이 있었다고는 생각하지 않습니다.(제가 무지해서 그런 것일수도 있고요)

그렇다면 국내를 포함한 세계 각국은 어떤 목적으로 AI를 연구하는 것인지 궁금합니다.

특수한 상황에 적합한 소규모 AI를 개발한다고 보아야 할까요?

아니면 알고리즘의 개선방안을 연구한다고 보아야 할까요?

카카오 계정과 연동하여 게시글에 달린
댓글 알람, 소식등을 빠르게 받아보세요

댓글 11개

2023.11.26

데이터도 중요하지만 학습 방법에 따라 성능 차이가 매우 큽니다. 당장 ResNet, Transformer, self-supervised learning 이나 Generative model 발전 역사를 들여다보면 알 수 있습니다.

물론 궁극적인 AI 성능은 데이터나 하드웨어 자본 싸움에 크게 좌우되지만 애초에 그런 투자를 이끌어낸 것도 학습 방법에 대한 AI 연구자들의 성과가 있기에 가능한거죠.

2023.11.26

누적 신고가 20개 이상인 사용자입니다.

질문전에 최소한의 공부(기본코스 하나라도)는 하셔야 할듯.

2023.11.26

개인적으로는 ai는 하드웨어 싸움인 것 같아요

쑥스러운 앨런 튜링*

2023.11.26

네 맞아요. ai에서 혁신적인 방법론을 제시하는 논문은 세계적으로 봐도 소수이고, 대부분 application이죠. 국내는 더 심하구요.
솔직히 이게 제대로 된 연구인가 싶음. 딥러닝은 많은 문제를 풀수있는 강력하고 편리한 툴인만큼, 실상 문제를 푸는 건 인간이 아니라 기계인 느낌이고

2023.11.26

최근 혁신이 좀 뜸하긴한데 역전파랑 최신 학습기법을 대는건 비교의 레벨이 안맞는거같네요.

2023.11.26

Transformer 모르세요? ChatGPT가 그래서 탄생한건데

2023.11.26

맞는데 그런 기술을 다 돈주고 사서 쓸순없으니까 하는거 아닐까요? 외국꺼 쓰면 우리나라 데이터도 그만큼 계속 더 뺏기게되구요

2023.11.26

1. 이야기하시는 내용도 AI 연구의 산물입니다. 과거에는 대용량 데이터를 대용량 모델에 밀어넣어서 문제를 풀 수 있다는 생각을 별로 안했었습니다. 이러한 생각은 컴퓨터 성능이 좋아지고 인터넷에 데이터가 흘러넘치면서 이를 사용해보자는 흐름이 있던 2000년대 말부터 2010년대에 들어서 등장한 생각입니다.

1-1. 딥러닝 분야의 연구 떡상시켰던 AlexNet (NIPS 2012)의 경우는 NVIDIA가 고성능 컴퓨팅에 쓰라고 만든 CUDA를 사용해서 기존 개인컴에서는 돌리기 힘든 규모의 신경망을 학습한 것이 중요한 부분이었습니다. 게다가, 당시 기준의 라지스케일 데이터인 이미지넷을 피팅하고 챌린지에서 괄목적인 성능 향상을 이루면서 이루어졌습니다.

1-2. ChatGPT와 같은 LLM의 기저를 담당하는 Transformer같은 모델은 GPU와 클러스터 환경에서 대용량 데이터와 대용량 모델을 처리하기 위해 만들어진 연구 패러다임입니다. 실제로 학습을 시도하면 자원을 투입한 만큼 속도가 빨라지고 성능도 예측 가능한 편입니다.

대댓글 1개

2023.11.26

2. 그럼 이러한 생각이 앞으로도 계속 맞을 수 있을까요? 최근 연구들을 보면 간단한 사칙연산이나 코딩테스트 같은 문제의 숫자나 범위를 바꾸면 LLM이 못푼다는 이야기도 많이 있습니다. 환각에 대한 문제도 많이 알려져있고요. 이러한 문제를 푸는 것도 중요한 기여겠죠. 궁금하시면 유튜브에서 최예진 교수님 테드 톡을 찾아보시면 좋을 것 같습니다.

3. 이러한 시대를 선도하는 연구 뿐만 아니라 파생되는 첨단 연구 분야도 많습니다.

3-1. 가령 LLM이 잘 작동하고 나니 기존에 못풀던 로봇 문제를 풀려고 하는 시도들도 이어지고 있습니다. 가령 로봇한테 방정리하는 문제를 풀라고 생각해보시면 쉽습니다. 그 흔하디 흔한 prompt engineering이 로봇이 어떤 작업을 수행해야하는지에 대한 작업 리스트를 만들어 줄 수 있으리라 예상들 하고 문제를 풀려고 하고 있습니다.

3-2. 이 성과는 다른 엔지니어링 및 사이언피틱 필드에도 크게 유용하리라고 봅니다. 많은 과학 문제들이 적당히 domain knowledge로 미방을 풀고 있죠? 긍정적인 생각을 갖고 다른 분야에 열려있는 똑똑한 누군가가 데이터 때려맞춰서 잘풀 수 있는 미방형태를 정의하고 그게 잘 작동하면 또 다 그리로 갈겁니다. 과거 인공지능 분야에서 대규모 데이터와모델을 받아들였다 싶이 말이죠. 그러면 이러한 인공지능을 특정 분야에 적용하는 개별 문제도 다 중요한 문제가 되겠죠. 결국은 긍정적인 마음으로 성취하는 자가 명예를 얻겠죠. 부정적인 사람들은 보통 자신이 쌓아놓은 탑이 무너지는 것을 걱정하는 경우가 많더라거요. 사실 한국에 깊게판 사람은 드물고 다들 유행따라 했던 주제인데 말이죠.

4. 물론 저는 AI hype가 너무 심해서 실제되는 것과 기대의 miss match가 크기때문에 조만간 망하리라고 봅니다. ㅋㅋㅋ

2023.11.27

AI 응용만 하고 ’이거 해서 성능이 좋아졌다‘ 하고 논문 쓰면 SCI 하나 나오는 세상

2023.11.27

흠... 유튜브에 오픈 렉쳐 널렸는데 그걸 하나만이라도 수강하고 오심이 ...

댓글쓰기

게시판 목록으로 돌아가기

자유 게시판(아무개랩)에서 핫한 인기글은?

자유 게시판(아무개랩)에서 최근 댓글이 많이 달린 글

🔥 시선집중 핫한 인기글

최근 댓글이 많이 달린 글