카카오 계정과 연동하여 게시글에 달린
댓글 알람, 소식등을 빠르게 받아보세요

가장 핫한 댓글은?

트랜스포머 메커니즘이 기본 골격은 비슷한데 GPT는 어떻게 저리 빠르게 발전할까요?

2024.12.22

1

120

alignment score
Attention mechanism(qkv)
인코더 디코더

기본 골격은 비슷한데



open ai에서 몇 달에 한 번 씩 두배 세배 성능으로 내놓는 비결이 뭘까요?

약간 조선시대 약초 찾듯이

이 방법으로 어텐션 계산해보고
저 방법으로 어텐션 계산해보고

그러다가 하나 걸리면 2배 3배씩 늘어나는 것일까요?

카카오 계정과 연동하여 게시글에 달린
댓글 알람, 소식등을 빠르게 받아보세요

댓글 1개

2024.12.22

그쪽은 압도적인 GPU 연산량으로 double descent 이상의 무언가를 발견한게 아닐까

댓글쓰기

게시판 목록으로 돌아가기