SG-PINN: Soft-constrained Gradient-enhanced Physical Information Neural Network

Abstract

 

- 손실함수를 기반으로 물리적 제약조건을 더 깊게 반영하고, 이를 적은 계산 비용으로 구현하는 연구는 드묾

- soft constraint (완화된 제약 조건) 기반의 gradient 강화형 PINN, 즉 SG-PINN을 새롭게 제안 

- 경계조건에 대한 soft constraint를 깊이 있게 분석하고, 초기 조건 및 경계조건의 gradient 를 손실함수에 포함시킴으로써 물리적 정보에 대한 제약을 강화 

• Soft constraint란?
  • Hard constraint는 반드시 만족해야하는 조건이고 Soft constraint는 손실함수에 penalty항을 추가해서, 모델이 자연스럽게 만족하도록 유도하는 조건 
  • PINN에서는 대부분 soft constraint로 경계조건을 처리
• 경계조건에 대한 soft constraint를 깊이있게 분석한다는 말은?
  • 기존 PINN은 경계에서 함수값만 맞추려고 하기 때문에 도함수는 무시되고 이로 인해 경계 근처에서 정확도가 떨어짐
  • 따라서 gradient까지 포함하는 방식으로 constraint를 강화함 이를 통해 경계조건을 더 물리적으로 정밀하게 반영 
  • 단순히 gradient를 추가하는 것이 아니라 어느 위치에 어떻게 반영하고, loss의 weight를 어떻게 조절하고, 어떤 PDE에 대해 더 효과적인지 등을 정량적 실험과 비교분석을 통해 연구 

- 결과

• 이를 통해 모델의 MSE가 1~2 단위 정도 감소하며, 정확도 향상 효과도 매우 큼
• SG-PINN은 데이터 수나 반복 횟수가 적은 경우에도 모델 성능을 크게 향상 시킴
• 실험결과 경계조건의gradient loss를 포함시키는 것이 모델의 학습 반복 효과를 크게 향상시킨다는 것이 확인됨
• 또한 적절한 가중치 조정 방법을 사용하면 모델 성능이 더욱 향상

 

1) 연구배경

- PINN은 PDE문제를 풀기위해 손실 함수에 PDE, 초기조건, 경계조건을 포함시켜 학습하는 딥러닝 기반 방법

- 기존 PINN은 물리적 제약의 심화 적용이 부족하고, 계산비용을 줄이면서 정확도를 높이는데 한계가 있음

 

2) 논문 핵심 제안

- SG-PINN (Soft-constrained Gradient-enhanced PINN)제안

- 초기조건/경계조건의 gradient(미분정보)를 soft constraint로 손실함수에 추가

- 이는 모델이 물리 법칙을 더 잘 따르도록 도와줌

 

3) 주요 성능 결과

- MSE  1~2 자릿수 감소

- 소량의 데이터와 적은 반복으로도 높은 정확도 달성

- 다양한 PDE에서 우수한 성능 검증 

 

4) 결론 및 의의

- 경계조건 gradient 손실 항을 추가하면 모델 반복효과와 정확도 개선 

- 1차 gradient 제약이 특히 효과적, 고차 제약은 개선 효과가 작음

 

---

Introduction

 

- 기존의 유한요소법 등 전통적 수치해석 기법과 비교할때, PINN은 계산 비용을 줄이고 계산 효율성을 향상시키는 장점이 있지만 해의 정확도는 여전히 부족

- 또한 낮은 계산 비용으로 물리 정보 제약을 심화하는 방향에 대한 연구는 충분하지 않음

- 이러한 문제를 해결하기 위해 SG-PINN을 제안

• SG-PINN이란?
  • 초기 및 경계조건의 gradient를 soft constraint 형태로 손실함수에 추가하여 물리제약을 강화하는 방법
    • 기존 PINN에서는 함수 값만 사용해서 학습의 정확도가 변화율 조건을 미흡해 경계 부근 오차가 크게 됨
    • Gradient 포함 방식을 함수 값과 도함수 값을 함께 적용하여 물리적 조건을 강화시킴으로써 경계 근처도 잘 학습 시키게 함
      • Gradient 포함 방식이 왜 더 정확할까?
      • PDE의 추가적인 물리정보를 담고 있기 때문에 단순히 값 뿐만 아니라 변화율까지 맞추므로 해 공간이 더 좁아져서 오차가 줄어듦
      • 경계와 초기 부근은 오차가 커지기 쉬운데 gradient 조건은 방향성을 정해주므로 안정적인 학습을 유도 
        • 경계와 초기부근에는 왜 오차가 커지기 쉬운걸까?
        • PINN은 해를 얻기 위해 내부 도메인에서 무작위 샘플링으로 훈련데이터를 만들기 때문에 도메인 내부에 비해 경계나 t=0주변에서 샘플수가 적다
  • 이를 통해 더 적은 데이터와 반복 횟수로도 높은 성능을 달성하고 다양한 PDE 문제에서 실제로 성능 향상이 입증 됨
    • 예를 들어 Poisson 방정식, 확산 반응 방정식, Bugers 방정식 등 
  • 결과
    • 복잡한 경계조건 하에서 PINN의 본질적인 한계를 이해할 수 있는 새로운 관점을 제공하며
    • 저비용 환경에서도 성능을 유지해야 하는 경우에 적용가능성이 매우 큼

• 기존 PINN은 내부 도메인에서는 PDE 항에 의해 자동으로 gradient 정보(도함수)를 사용하게 되지만,
  경계와 초기 조건에서는 기본적으로 함수값만 반영되므로, 필요하다면 gradient 조건을 손실함수에 명시적으로 추가해야 한다.

---

Principle

 

1) Standard PINN

- 손실함수 정의

• PDE 제약 : 내부 도메인에서 PDE를 만족해야 함
• 경계조건 제약 : 경계에서 특정 조건을 만족해야 함
• 전체 손실 함수 : L=wf​Lf​+wb​Lb​
• 즉, PDE와 경계조건이 얼마나 잘 맞는지를 정량적으로 손실 함수로 정의하고, 이를 최소화 하여 학습

- 기본 PINN은 PDE와 경계조건을 soft constraint형태로 손실함수에 포함시켜 신경망을 학습함. 하지만 경계조건에서는 도함수 조건이 반영되지 않아 물리제약이 부족한 문제가 있음

 

2) SG-PINN (Soft-constrained Gradient-enhanced PINN)

- 기존 PINN의 한계

• 경계조건을 잔차 손실로 처리하지만, 경계 포인트 수는 제한적이며 너무 많은 포인트는 계산 비용을 증가시킴
• 초기/경계 조건이 연속일 경우, 그 경계에는 도함수가 존재함. 하지만 PINN은 이 gradient정보는 반영하지 않음

- 핵심 아이디어

• 초기조건과 경계조건이 연속인 경우 그 경계에는 자연스럽게 gradient가 존재하게 되기 때문에 이 점을 활용해 gradient형태의 soft constraint를 신경망 손실에 추가함으로써 물리적 제약을 강화하고 작은 계산 비용으로도 성능을 크게 향상 시킬 수 있음
•  

- 기존 PINN

• 경계조건이 residual point 형태로 네트워크에 반영
• 경계점의 수는 제한적이며, 너무 많이 사용하면 계산 부담이 커짐

- 초기조건과 경계조건이 연속적이기 때문에 경계에는 미분이 존재 

- soft constraint의 gradient를 네트워크에 포함시켜 물리적 제약을 강화

- 적은 계산 비용으로도 모델 성능을 크게 향상 시킬 수 있음

=> 기존 PINN의 경계 조건 제약을 gradient까지 확장함으로써, 손실함수에 더 강력한 물리 정보를 반영하고, 적은 데이터와 반복으로도 높은 정확도를 가능하게 하는 구조

---

Result and Discussion

 

1) 실험 수행

- customized PDE, 포아송 방정식, 확산 방정식, 버거스 방정식 => 다양한 점성 계수 조건을 실험 

- 이러한 PDE 문제들에 대해 SG-PINN의 유효성을 검증했음

 

2) 실험 조건

• 모든 PDE 문제에서 **tanh 활성화 함수(tanh activation function)**를 사용
• 반복 횟수(iteration), 내부 포인트 및 경계 포인트 수는 모두 1000개로 동일
• 학습률(learning rate)은 0.001
• 옵티마이저는 Adam 사용
• 모든 오차 테스트는 5회 반복 수행 후 평균값을 사용함

3) 신경망 구조 최적화 실험 

- SG-PINN이 어떤 신경망 구조 일때 가장 성능이 좋은지 (오차가 가장 낮은지)를 알아보기 위해 다양한 은닉층 수와 뉴런 수 조합을 시험한 실험

- 각 PDE에 대해 개별적으로 최적 구조를 찾은 것 

- 왜 사용되는가?

• SG-PINN이 PDE 문제를 잘 푸는지 평가하려면, 먼저 적절한 신경망 구조를 골라야 함
• 이 실험을 통해 SG-PINN이 어떤 구조에서 오차가 가장 낮았는지, 계산 자원 대비 성능이 우수한 구성은 어떤 것인지를 찾아낸 것

- 은닉층의 수와 은닉층 내 뉴런수는 모델 성능에 큰 영향을 미침

- 각 PDE 문제에 대해, 은닉층 수와 뉴런 수 조합 중 최적의 아키텍처를 찾고자 함

 

4) Customized PDE equation (사용자 정의 PDE 방정식)

-

 

- 실험 구성

1. 기본 PINN (Standard PINN)
2. SG-PINN1
3. SG-PINN2
4. SG-PINN3
5. SG-PINN (통합 모델)

각 모델은 SG-PINN 방식에 따라 손실 함수에 gradient 손실 항을 다른 차수(order)로 추가
이 때 사용된 손실 함수 정의는 식 (8) 기반(SG-PINN의 전체 손실 함수)

 

• SG-PINN1: 경계 조건의 1차 gradient (기울기)를 손실에 추가
• SG-PINN2: 경계 조건의 2차 gradient (곡률)를 추가
• SG-PINN3: 경계 조건의 3차 gradient를 추가

 

- 결과

MSE of PINN	MSE of SG-PINN1 (1차 gradient 추가)	MSE of SG-PINN2 (2차 gradient 추가)	MSE of SG-PINN3 (3차 gradient 추가)
-기존의 기본 PINN 성능 - 비교적 넓은 영역에서 오차가 크고 깊은 네트워크에서 성능이 불안정 - 최적 구조도 MSE가 다른 SG-PINN보다 크다  => Baseline 성능	- 경계조건의 1차 도함수를 손실에 포함한 모델 - 전반적으로 오차가 크게 줄었고, 짙은 보라색이 많음 - 비교적 얕은 신경망에서도 낮은 MSE 달성 => 성능 개선 효과가 뚜렷함	- 2차 도함수를 추가 - 일부 영역에서는 SG-PINN1보다 낮은 MSE 보이지만 다른 구조에서는 MSE가 커지는 경향도 있음 => 1차 보다 반드시 더 낫지는 않음 + gradient 차수가 높다고 무조건 좋은 건 아님	- 3차 도함수를 추가 - 특정 구조에서는 잘 작동하지만 불안정하거나 오차가 큰 구간도 존재 => 과한 제약은 오히려 학습을 방해

 

- SG-PINN에서 사용한 gradient 손실 항의 가중치 계수 a 값에 따라 MSE가 어떻게 변화하는지

 

=> 최종 실험 결과 요약

• Figure 1 & 2 결과를 종합해 보면

모델	최적 구조  [은닉층, 뉴런 수, 차수]	a = 1 에서 MSE	최소 MSE
PINN	[2, 60×5, 1]	0.0798	-
SG-PINN1	[2, 90×2, 1]	0.0275	최고 성능
SG-PINN2	[2, 90×2, 1]	0.0356	-
SG-PINN3	[2, 50×2, 1]	0.0663	-

 

=> SG-PINN1 > SG-PINN2 > SG-PINN3 > PINN
성능은 1차 gradient를 쓴 SG-PINN1이 가장 뛰어남

 

- 결론 요약

1. 차수가 낮은 SG-PINN1이 가장 좋은 성능을 보여줌
   → 적절한 제약 효과 + 안정적 학습
2. 차수가 높을수록 제약은 많지만, 오히려 성능 저하 위험
   → SG-PINN3은 gradient 손실 항이 너무 강해서 학습에 방해됨
3. 가중치 계수 a는 모델 성능 최적화에 중요
   → 적절한 값일 때 성능이 극대화됨
4. 일반적으로,
   • SG-PINN1: 큰 a에서 성능 좋음
   • SG-PINN3: 작은 a에서만 성능 개선

=> 결론적으로 SG-PINN1이 가장 좋다!!!!!!

 

---

Poisson 방정식

- 경계조건

• 디리클레 경계 조건
  • 비교 항목: MSE (Mean Squared Error, 평균 제곱 오차)
  • 모델: PINN, SG-PINN1, SG-PINN2, SG-PINN3
  • 비교 대상: 다양한 은닉층 수 (y축), 각 층의 뉴런 수 (x축)
    • Fig.4(a) 결과
      • 은닉층 수를 고정하고 뉴런 수를 점차 증가시키면, MSE가 전반적으로 감소하는 경향을 보이며, 이는 뉴런수를 늘리면 모델 성능이 향상됨을 의미
      • 뉴런 수가 많을 때 성능 향상이 두드러지며, 일정 수 이상이 되면 MSE 감소가 둔화되거나 반등하는 경우도 있음 
      • 이 논문에서 찾은 최적의 PINN구조
        
        • [2, 100*4, 1] (입력층-은닉층4-출력층 구조)
        • 이 구조는 빨간 원으로 표시
        • 해당 구조에서의 최소 MSE: 6.15E-5
    • Fig.4(b) 결과
      • MSE가 전반적으로 작고, 낮은 MSE를 가지는 영역이 많고 균일하게 분포 
      • 은닉층 수가 작아질 수록 SG-PINN 모델의 성능이 더 좋고 은닉층 수가 많아지면 성능이 불안해지고 뉴런수가 많을 수록 오히려 성능 저하 
    • Fig.4(c), Fig.4(d)결과
      • SG-PINN2, SG-PINN3의 경우, 낮고 균일한 MSE 영역이 점점 줄어듦
      • 이는 모델이 은닉층 수와 뉴런 수의 변화에 민감해지기 때문
      • SG-PINN3의 최적 구조: [2, 80*3, 1] → MSE: 0.0065
      • SG-PINN2의 최적 구조: [2, 30*9, 1] → MSE: 0.022
    • 주요실험결과 정리
      • 1. SG-PINN1이 PINN보다 성능이 훨씬 좋다
           • SG-PINN1의 최소 MSE는 2.96E-7로, PINN보다 차원이 다른 성능 개선을 보임
        2. SG-PINN2도 성능 향상
           • 가중치 조절로 5.25E-5까지 성능 개선됨
           • MSE(a=1)는 6.5E-3 → 적절한 aaa 사용 시 100배 개선
        3. SG-PINN3는 성능이 오히려 떨어짐
           • gradient order가 너무 높아짐에 따라 모델 성능 저하
           • 최소 MSE: 1.47E-3로 오히려 PINN보다 안 좋음
        4. 👉 원인 분석
           SG-PINN의 gradient 차수가 커질수록, 경계 조건에서 모델에 주는 물리적 정보가 너무 강해져 오히려 모델 학습을 방해함
           → gradient 차수가 커지면 soft constraint가 지나치게 강제됨
           → 모델이 over-constrained 되며 일반화 성능 저하
  • 노이만 경계 조건
• 로빈 경계 조건

 

 

---

3) 적용 방정식 적용 조건 SG-PINN의 주요 효과

1. 맞춤형 PDE 방정식	복잡한 비선형 해와 고차 미분 포함	🔹 SG-PINN1이 가장 낮은 MSE (0.0035) 기록 🔹 고차 gradient는 오히려 성능 저하 발생 🔹 1차 gradient constraint만으로도 큰 효과
2. Poisson 방정식	다양한 경계조건 (Dirichlet, Neumann, Robin) 하에서 테스트	🔹 SG-PINN이 경계 조건에 더 민감하고 정확하게 대응 🔹 다양한 boundary 조건에서도 일관된 성능 향상 확인
3. 확산 반응 방정식	시공간 변화가 큰 조건에서	🔹 SG-PINN은 적은 iteration과 적은 샘플 수로도 정확한 해 유도 🔹 계산 효율성(속도 및 비용) 측면에서 매우 우수
4. Burgers 방정식	점성 계수(Viscosity coefficient)가 다른 상황	🔹 점성이 작을 때 shock 현상과 경계 불연속성 존재 🔹 SG-PINN은 불연속성 근처에서 정확한 근사 가능 🔹 복잡한 경계에서도 기존 PINN보다 우수한 해석 능력

 

4) Results and Discussion

- 1차 gradient 정보를 soft constraint로 추가하면 계산 비용은 적게 들면서 모델의 예측 정확도를 크게 높일 수 있음

- 고차 gradient는 성능 향상에 큰 기여를 하지 않으며, 오히려 계산 복잡성만 증가시킬 수 있음

- SG-PINN은 물리적 정보 제약을 효율적으로 강화하는 방법으로서 기존 PINN을 뚜렷하게 개선할 수 있음

- 모든 실험에서 SG-PINN > PINN
→ 특히 SG-PINN1 (1차 gradient)이 항상 가장 우수한 성능

• 고차 gradient (2차 이상)는 오히려 불안정하거나 성능 저하 초래 가능성 있음
  → gradient 차수가 높을수록 잡음 민감성 및 계산 비용 증가
• 낮은 계산 비용, 빠른 수렴, 복잡한 경계 조건에서 강한 제약 능력 확인

 

항목 내용

핵심 주장	Neumann 경계조건 하에서는 SG-PINN이 반드시 우수하진 않음.
SG-PINN1	초기 경계조건이 gradient 정보를 포함하지 않을 때 성능이 약해짐.
SG-PINN2, 3	적절한 아키텍처와 weight 선택 시 성능 개선 가능.
이유	Neumann 조건은 고차 미분 조건이므로 더 많은 정보 필요 (SG-PINN이 경계 gradient만 쓰면 부족할 수 있음).
향후 과제	다양한 경계 조건에 따른 물리적 정보의 정량 분석 예정.

---

Conclusion

- soft-constraint gradient enhancement 기법을 기반으로 한 물리정보 신경망을 최초로 제안

- soft 제약 조건의 gradient를 손실함수에 포함함으로써 물리적 제약을 더욱 강화하는 방법

- 모델의 정확도를 크게 높이고 계산 복잡도를 줄이며, 낮은 계산 비용으로도 높은 성능 최적화가 가능

- 실험 결과에 따르면,

• Soft constraint 기반 1차 gradient 손실을 포함하는 것은 모델의 정확도 향상에 매우 효과적이며,
• 여기에 **가중치 계수(weight coefficient)**를 함께 적용하면 최적화 효과가 추가적으로 향상될 수 있습니다.
• 하지만 고차 gradient를 사용하는 경우에는 최적화 효과가 다소 약화되는 경향이 있습니다.

---

1. PINN vs SG-PINN의 성능 차이

 

구분	PINN	SG-PINN(1,2,3)
기본 구조	원래의 PINN 구조, PDE loss + boundary loss	기존 loss에 gradient-based boundary soft constraint 추가
경계조건 학습	경계조건이 약하게 학습됨 → 경계에서 오차 큼	경계조건에 gradient를 이용한 손실 추가 → 경계 부근 학습 강화
성능(MSE)	MSE 상대적으로 큼	SG-PINN1, 2는 PINN보다 훨씬 낮은 MSE SG-PINN3는 gradient 차수가 커지며 오히려 성능 저하
모델 최적 구성	은닉층이 많고 뉴런 수가 많을 때 성능 향상	SG-PINN도 동일하나, 너무 많은 gradient 차수는 오히려 성능 저하 유발 (SG-PINN3 예시)

핵심 요약:

• SG-PINN1은 가장 낮은 차수의 gradient만 사용하지만, 경계조건 학습 효과가 좋아 성능이 가장 우수함.
• SG-PINN2도 성능이 향상되었지만 SG-PINN1보단 약간 열세.
• SG-PINN3는 고차 미분 gradient까지 포함했지만, 물리적 정보의 유효성이 약해지면서 성능이 떨어짐.

 

---

SG-PINN이 해결하려고 하는 문제점 

 

1) 경계 조건 학습의 제약성

- 기존 PINN에서는 경계조건을 만족시키기 위해 손실함수에 경계점에서의 오차만 포함

- 실제로 사용할 수 있는 경계 점 수가 적고 제한적이기 떄문에, 물리적 제약이 약하게 적용

- 경계점 수를 많이 늘리면 계산량 급증 -> 비효율

 

✅ SG-PINN 해결책:
→ **경계 조건의 gradient(미분)**까지 손실 함수에 포함
→ 적은 경계점 수로도 더 강한 물리 제약 효과
→ 물리 정보에 대한 네트워크 학습 유도력이 증가

 

2) 복잡한 PDE 및 경계 조건에서의 정확도 부족

- PINN은 비선형성이나 다차원 PDE에 대해 성능이 떨어지거나 경계 근처에서 오차가 큼

- 특히 불연속성, 경계층, 복잡한 지오메트리 등에서 오류 발생

 

✅ SG-PINN 해결책:
→ Gradient 정보를 통해 모델이 경계에서의 물리적 변화율까지 학습
→ 경계 근처에서 더 부드럽고 정확한 해를 생성
→ 복잡한 물리 시스템에 더 잘 대응

 

3) 계산 자원 소모 문제

- 성능을 높이기 위해 더 많은 샘플, 더 깊은 신경망이 필요함

- 하지만 이는 계산 비용과 시간을 크게 증가시킴

 

✅ SG-PINN 해결책:
→ 적은 수의 경계점과 낮은 네트워크 깊이로도 성능 유지
→ 낮은 계산 비용으로 고성능 확보

 

📌 정리: SG-PINN이 보완하는 문제 요약

 

문제점 (기존 PINN)	SG-PINN의 보완
경계 조건이 약하게 반영됨	경계 조건의 gradient까지 학습해 제약 강화
복잡한 경계에서 정확도 낮음	경계 부근에서 정확한 예측 가능
경계점 수를 늘리면 계산량 증가	적은 경계점으로도 강력한 제약 가능
계산 자원이 많이 필요함	소규모 네트워크에서도 높은 성능 달성

 

 

https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4884465