다양체 위의 최적화: 직교 제약과 Muon의 직교화가 하는 일
차트·접공간·리만 계량·측지선·후퇴로 다양체를 세우고, 스티펠·그라스만·양정치 행렬·확률 단체의 접공간과 사영을 계산한 뒤, 리만 그래디언트가 유클리드 그래디언트의 접공간 사영임을 증명하고 극분해 후퇴와 뉴턴–슐츠 반복의 수렴 조건을 다룹니다.
PALDYN LEARN
AI가 어떻게 작동하는지 배웁니다. 모델의 원리부터 그 아래를 떠받치는 수학, 실제로 굴리는 방법까지.
차트·접공간·리만 계량·측지선·후퇴로 다양체를 세우고, 스티펠·그라스만·양정치 행렬·확률 단체의 접공간과 사영을 계산한 뒤, 리만 그래디언트가 유클리드 그래디언트의 접공간 사영임을 증명하고 극분해 후퇴와 뉴턴–슐츠 반복의 수렴 조건을 다룹니다.
갱신 −ηP⁻¹∇를 노름의 최급강하로 읽고 헤세·가우스–뉴턴·피셔·경험적 피셔의 관계를 정리한 뒤, 준뉴턴과 3차 정규화, K-FAC의 크로네커 인수분해와 그 독립 가정, Shampoo의 −1/4 지수, Muon의 스펙트럴 노름 유도를 차례로 세워 이들이 어디서 일치하는지 보입니다.
로빈스–먼로 조건과 마팅게일 잡음으로 SGD의 수렴을 정확히 정의하고, 볼록·강볼록·PL·비볼록에서의 수렴률과 오라클 하한을 계산한 뒤, SGD를 확률미분방정식으로 읽어 학습률/배치가 온도가 되는 관점과 안정성의 가장자리를 다룹니다.
L1·핵노름·가중치 감쇠를 근접 연산자 하나로 묶어 소프트 임계값을 유도하고 ISTA·FISTA·ADMM을 세운 뒤, 브레그만 발산으로 기하를 바꿔 단체 위 거울 하강이 지수가중 갱신이 되는 것과 KL 제약 최적 정책이 그 한 걸음이라는 것을 보입니다.
켤레함수를 접선의 절편으로 세우고 펜첼–영 부등식·이중 켤레·쌍대 노름을 증명한 뒤, 음의 엔트로피의 켤레가 log-sum-exp이고 그 기울기가 softmax라는 계산으로 KL 정규화 정책의 닫힌 해를 다시 얻습니다. 라그랑주 쌍대, 약쌍대·강쌍대, 쌍대 간극까지 다룹니다.
미분이 없는 점에서 기울기를 대신하는 하위미분을 세우고 최적성 조건 0 ∈ ∂f를 증명합니다. L1과 ReLU가 0에서 갖는 것, 클라크 미분과 자동미분의 선택, 강볼록성과 L-매끄러움이 켤레에서 자리를 바꾼다는 쌍대까지 다룹니다.
최소노름 보간 해의 폐형을 세우고 등방 가우스 특징에서 위험을 정확히 계산해, 보간 문턱에서 위험이 치솟고 그 너머에서 다시 내려가는 이유를 최소 특잇값과 마르첸코–파스투르로 보입니다. 잡음을 외워도 해가 없는 공분산 스펙트럼 조건과 경사하강의 암묵적 편향까지 다룹니다.
균등수렴의 틀에서 성장함수·VC 차원·Sauer 보조정리와 Rademacher 대칭화를 증명하고, 무작위 라벨을 외우는 신경망 앞에서 그 경계가 왜 1을 넘는지 계산합니다. 이어 도노스커–바라단 변분식으로 PAC-Bayes 정리를 증명하고, KL 항과 평평한 최소점으로 1보다 작은 경계를 직접 얻습니다.
마르코프·체비쇼프에서 체르노프 방법으로 올라가 서브가우시안·서브지수와 오를리츠 노름을 세우고, 회프딩·베른슈타인·맥디아미드와 합집합 경계를 증명합니다. 각 부등식이 요구하는 문항 수를 정규 근사와 나란히 계산해 그 근사가 무너지는 자리를 가립니다.
헤세-벡터 곱만으로 크릴로프 부분공간을 쌓아 란초스로 극단 고윳값과 스펙트럼 밀도를 재고, 켤레경사법의 √조건수 수렴과 유령 고윳값의 함정을 계산합니다. 그렇게 얻은 스펙트럼을 마르첸코–파스투르 벌크와 BBP 문턱에 대 보아 어느 고윳값이 신호인지 가립니다.
행렬 베른슈타인·체르노프 부등식으로 무작위 스케치가 열공간을 보존하는 조건을 세우고, 레인지 파인더와 무작위 SVD의 알고리즘·오차 상계·거듭제곱 보정을 유도합니다. 4096×11008 가중치의 상위 16개 특잇값을 전체 분해의 백분의 일 연산으로 구해 PiSSA 초기화에 씁니다.
σ-대수에 대한 조건부 기댓값을 정의하고 그것이 L² 직교 사영과 같음을 증명해, 확산 모델의 최적 디노이저가 조건부 평균인 이유와 손실의 바닥을 계산합니다. 타워 성질·전분산·조건부 젠센에서 마팅게일, 옵셔널 스토핑, 수렴 정리, 둡 부등식, 아주마–회프딩까지 갑니다.
절대연속성과 라돈–니코딤 정리로 dP/dQ를 밀도비의 일반형으로 세우고, 잘린 행동 정책의 중요도 무게를 끝점의 원자까지 계산합니다. KL이 정확히 +∞가 되는 조건과 기브스 부등식을 증명하고, 지지집합이 어긋난 두 분포에서 무엇이 무너지는지 봅니다.
σ-대수·측도·비가측 집합에서 르베그 적분을 세우고, 단조수렴·파투·지배수렴과 미분-적분 교환을 끝까지 증명합니다. 불연속 보상과 움직이는 지지집합이 그 조건을 깨는 자리, 네 가지 수렴과 반례, 린데베르그 CLT·슬러츠키·델타 방법까지 계산으로 확인합니다.
내적공간과 완비성 위에서 사영 정리와 리스 표현 정리를 끝까지 증명하고, 파르스발 항등식·가분성·수반과 컴팩트 작용소를 거쳐 스펙트럼 정리와 무한차원 SVD를 브라운 운동 공분산 하나로 계산합니다.
거리공간·코시 수열·완비성·콤팩트성·립시츠 연속을 세우고 바나흐 고정점 정리를 끝까지 증명한 뒤, Lᵖ 공간과 횔더·민코프스키 부등식, 무한차원에서 노름 동치가 깨지는 자리, 쌍대공간과 약수렴까지 평형 층 하나를 예로 계산합니다.
y = ax^(−b)가 로그-로그에서 직선이 되는 이유와 기울기가 곧 지수라는 것, 로그 변환이 최소제곱의 오차 가정을 바꾸는 방식, 환원 불가 항 c가 국소 기울기와 예측을 어떻게 바꾸는지를 다섯 점짜리 모의 스케일링 실험으로 계산하고, 두 자릿수 밖 외삽이 어디서 깨지는지 확인합니다.
신뢰도 0.9라고 한 답 중 실제로 90%가 맞는지를 묻는 보정을 신뢰도-정확도 도표, ECE, Brier 점수와 그 분해로 재고, 온도 스케일링으로 고칩니다. ECE가 빈 개수와 표본 수에 따라 흔들리는 폭까지 모의 분류기 5,000건으로 계산합니다.
Elo 갱신식이 Bradley-Terry 로그가능도에 대한 확률적 경사상승 한 걸음임을 유도하고, K 계수가 무엇을 맞바꾸는지, 경기 순서에 흔들리는 온라인 갱신과 최대가능도 일괄 추정이 어떻게 다른지를 모의 아레나 4만 경기로 확인합니다. 순위마다 구간을 붙여 몇 위 차이가 실제로 갈리는지 계산으로 판정합니다.
표본평균의 오차가 1/√n로 줄어드는 이유와 그 비용을 세우고, n번 생성해 c번 통과했을 때 pass@k의 불편 추정량 1 − C(n−c,k)/C(n,k)를 부분집합 세기로 유도합니다. 흔한 추정이 어느 쪽으로 치우치는지, 문제 수와 생성 수가 오차를 어떻게 나눠 갖는지를 numpy로 확인합니다.
같은 500문항에서 82%와 84%를 짝지어 견주면 차의 표준오차가 2.37%p에서 0.89%p로 줄어듭니다. 부호 검정과 순열 검정, 효과 크기와 필요한 문항 수, 벤치마크 열 개를 견줄 때의 본페로니·홀름·BH 보정을 numpy로 계산합니다.
가진 표본에서 다시 뽑아 표본분포를 근사하는 원리를 세우고, 300문항 F1 0.769에 오차막대를 붙여 봅니다. 백분위수 구간과 BCa가 언제 갈리는지, 재표집을 몇 번 해야 끝점이 멈추는지, 그리고 문항·문서·문제 중 무엇을 다시 뽑아야 하는지를 numpy 실험으로 확인합니다.
500문항에서 82%와 84%는 다른 점수일까요? 추정량의 불편성과 일치성을 세우고, 정답률의 표준오차 √(p(1−p)/n)에서 정규 근사 구간과 Wilson 구간을 유도해 그 질문에 직접 답합니다. 오차막대 없이 발표된 벤치마크 표를 읽는 순서까지 정리했습니다.
행렬의 shape만 보고 곱셈과 덧셈의 횟수를 세어, 트랜스포머 블록 하나의 파라미터 12d²와 FLOPs 24nd² + 4n²d를 손으로 유도합니다. 시퀀스 길이를 두 배로 늘리면 무엇이 두 배가 되고 무엇이 네 배가 되는지, 어텐션이 선형층을 앞지르는 n = 6d가 어디서 나오는지까지 계산합니다.