Mathematics & Computation

1) SG-PINN과 NTK 기반 PINN은 PINN의 구조자체는 유지하면서, 학습과정 (loss 구성, loss weight 조절)을 수정하여 결과를 개선 2) SG-PINN : Loss weight를 Gradient Norm으로 soft하게 조절기존 PINN은 람다 값을 사용자가 사전에 정하고, 시 비교 포인트 NTK 기반 PINN SG-PINN이론 정당성매우 강함 (NTK 분석 기반)약함 (경험적 효과 위주)구현 난이도복잡 (NTK 행렬 계산)간단 (gradient norm만 추적)계산량크다매우 적다λ 조정 방식NTK 해석 또는 정적 λ∇Loss 기반 자동 동적 조정적합한 경우이론 분석, 고주파 학습 중요할 때다양한 문제에 실용적 적용 시 구분SG-PINNNTK PINN목표경계 조건에서의 정확도 ..

Abstract - 경사하강법 (gradient descent)을 통한 학습 과정에서 제약이 있는 신경망이 어떻게 동작하는지에 대한 알려진 바는 없음- NTK의 관점에서 조사- NTK는 무한 폭 한계에서 완전 연결 신경망이 경사하강법으로 학습되는 동안의 동작을 포착하는 커널- PINN의 NTK를 유도하고, 적절한 조건하에서 이것이 무한 폭 한계에서 학습 중에도 일정하게 유지되는 결정론적 커널로 수렴함을 증명- PINN의 제한적 NTK를 바탕으로 학습 동역학을 분석할 수 있었으며, 총 학습 오차에 기여하는 서로 다른 손실 항목들의 수렴 속도에 현저한 불일치가 있음을 발견- NTK의 고유값을 활용하여 전체 학습 오차의 수렴속도를 적응적으로 보정하는 새로운 경사하강법 알고리즘을 제안 Introduction -..

1) a1 = 2, a2 = 2일때 model = PINN([2, 50,50,50, 1]).to(device) step = 100 a1 = 2a2 = 2 lambda_1 = 1e+1 lambda_2 = 1 lr=1e-3 epoch = 20000 max error : 2.0044e+00 2) a1=4 a2=4 BC loss람다 BC를 너무 크게 설정하면 -> BC 쪽 gradient 방향이 너무 커져서 모델이 해당 방향으로만 갱신됨이때 문제는, NTK 구조상 loss가 서로 얽혀 있어서 한 영역을 강하게 업데이트 하면 다른 영역이 오히려 손해를 보게 되는 것결과적으로람다 BC가 너무 크면 BC 쪽에서의 오차감소는 빠르지만전체 파라미터가 BC에 과도하게 쏠림PDE 영역에서의 generali..

✅ 1. [논문1] 푸리에 특성 임베딩을 통한 PINN에서의 Neumann 경계조건 강제화항목내용문제점- PINN에서 Neumann 경계조건을 hard-constrain 하기 어렵다.- 특히 다중 스케일(multiscale) 또는 고주파(high-frequency) 문제에서 학습 성능 저하.해결방법- 푸리에 특성(Fourier feature) 임베딩을 사용하여 경계조건을 신경망 구조에 직접 내재화(hard-constraint).- 특히 cos(πx) 같은 flat derivative를 가지는 basis를 사용하여 경계에서 기울기 조건이 자동 만족되도록 설계.- 기존의 distance-based hard-constraint보다 계산 효율이 높고, 고주파에도 강함.✅ 2. [논문2] VS-PINN: Vari..

Abstract - 손실함수를 기반으로 물리적 제약조건을 더 깊게 반영하고, 이를 적은 계산 비용으로 구현하는 연구는 드묾- soft constraint (완화된 제약 조건) 기반의 gradient 강화형 PINN, 즉 SG-PINN을 새롭게 제안 - 경계조건에 대한 soft constraint를 깊이 있게 분석하고, 초기 조건 및 경계조건의 gradient 를 손실함수에 포함시킴으로써 물리적 정보에 대한 제약을 강화 Soft constraint란?Hard constraint는 반드시 만족해야하는 조건이고 Soft constraint는 손실함수에 penalty항을 추가해서, 모델이 자연스럽게 만족하도록 유도하는 조건 PINN에서는 대부분 soft constraint로 경계조건을 처리경계조건에 대한 sof..

Abstract - PDE의 해가 강직한 거동이나 고주파수를 나타 낼 경우 PINNs를 효과적으로 학습시키는 방법은 많은 부분에서 명확하지 않음 Keyword1) PINNs- 물리법칙을 손실함수에 포함시켜, 데이터를 많이 사용하지 않아도 물리적으로 타당한 해를 예측할 수 있도록 하는 신경망 2) Variable scaling- 입력변수나 출력변수를 스케일링하여 학습성능을 높이는 기법 3) Stiff behavior- 해가 시간이나 공간에 따라 매우 급격하게 변하는 현상 4) High frequency- 해가 매우 빠르게 진동하는 경우 5) Spectral bias- 딥러닝 네트워크가 학습 과정에서 저주파수 성분을 먼저 학습하고, 고주파수 성분은 나중에 학습하려는 경향성 6) Neural Tangent ..

Abstract - 푸리에 특성 임베딩을 활용하여 PINNs에서 노이만 경계 조건을 강제하는 새로운 방법 제안- 노이만 경계조건은 디리클레 조건보다 PINNs에서 강제하기 더 어려움- 본 방법은 특정 푸리에 특성 임베딩을 사용하여 노이만 경계 조건을 학습하는 대신 신경망 구조를 직접 통합함- 이 임베딩은 고주파 모드로 자연스럽게 확장되어 고주파 현상을 더 잘 포착 가능- 확산 문제에 대한 실험을 통해 제안된 방법의 효율성을 입증하였으며, 그 결과 본 방법이 기존의 경계조건 강제 방법들과 고전적인 PINNs보다 뛰어난 성능을 보였음을 확인. 특히 다중 스케일 및 고주파 시나리오에서 두드러운 성능 향상을 보임 Introduction 1) PINNs가 겪는 주요 어려움여러학습 목표를 동시에 다루는 것고주파 혹..

목적 : PINN이 훈련 도중 실패하는 이유를 Neural Tangent Kernal 관점에서 분석 Abstract- PINNs은 최근들어 PDE를 포함한 순방향 및 역문제를 풀기위한 유연한 도구로 주목. 하지만 PINN이 실제로 어떻게 학습되는지, 특히 왜 때때로 학습이 완전히 실패하는지에 대해서는 알려진 바가 없음. - 이러한 질문을 NTK (신경 탄젠트 커널)의 시각으로 접근. NTK는 폭이 무한대로 커진 완전 연결 신경망이 gradient descent로 학습될 때의 훈련 역학을 분석할 수 있는 커널 1) 연구목표- NTK는 fully-connected 신경망이 폭이 무한대로 넓어질 때의 학습 동역학을 설명하는 커널- PINN의 NTK를 도출하고, 적절한 조건하에서 이 커널이 학습 중에도 일정하게..