본 글에서는 Synology NAS에서 L2TP Protocol을 설치하고 이용하는 과정을 정리하여 상세히 소개한다.
L2TP/IPSec Protocol의 특징
L2TP / IPSec는 PPTP 프로토콜의 개량형으로, 기존 PPTP보다 보안성 면에서 우수하나 그 자체로 암호화 기능은 충분하지 못한 것으로 알려진 L2TP 프로토콜에, 암호화 기능이 강한 IPSec 프로토콜을 결합시킨 복합형 프로토콜로 알려져 있다. 때문에 보안성 측면에서 PPTP보다 향상되었고, 암호화 부분도 추가로 강화되었기에, 대체로 안전하다고 알려져 있다.
L2TP / IPSec 프로토콜은 최신의 운영체제나 장비에서는 대체로 기본적으로 지원되는 등 호환성도 비교적 높은 것으로 알려져 있어, PC 및 스마트 기기에서도 폭넓게 사용 가능한 것으로 평가되는 VPN 설정 방법이다.
실제 설정 및 운용해 본 결과, 안드로이드 폰에서는 아무런 문제 없이 쉽게 VPN 서버에 접속이 가능했으나, 윈도 10 PC에서는 레지스트리 값을 변경하는 과정 등을 거친 후에야 접속이 가능했고, 윈도를 update 하는 과정에서 간혹 잘 접속되던 VPN이 더 이상 접속되지 않는 문제가 발생하기도 하는 등 WIndow 10 PC에서의 L2TP/IPSec 접속에는 다소 문제가 있었다.
L2TP/IPSec의 설정 방법 및 절차
1. VPN 서버 패키지에서의 설정
먼저 패키지 센터에서 VPN 서버 패키지를 선택하여 설치한 다음 실행시키면, 다음과 같은 화면이 나오는데, 왼쪽 하단에 있는 “VPN Server 설정” 부분에서 L2TP/IPSec을 선택하여 설정을 진행한다.
* 제일 먼저 상단부의 “L2TP/IPSec VPN 서버 활성화”를 선택해 준다.
* 동적 IP 주소는 접속 시 부여되는 임시 IP인데, 통상 192.168.0.0~192.168.255.0 또는 172.16.0.0~172.31.255.0 또는 10.0.0.0~10.255.255.0의 범위에서 원하는 IP 주소를 선택하여 지정하면 된다. 당연하게도 기존에 사용 중인 IP 주소와 충돌하지 않도록 선택하여야 한다. 따라서 NAS에서 사용하는 기본 IP 주소와 다르게 구성해 주어야 하며, 여러 개의 VPN 서버 프로토콜을 동시에 설정하는 경우에는 서로 다른 동적 IP 주소를 지정해 주어야 한다.
* 최대 연결수와 동일계 정의 최대 연결수, VPN 접속 시의 인증에 대한 지정(PAP vs. MS-CHAPv2)은 MS-CHAP V2을 선택하면 된다. 다만, L2TP/IPSec에는 암호화 프로토콜인 IPSec이 기본 적용되므로 PPTP에서와 같은 별도의 MPPE 설정은 할 필요가 없다.
* 수동 DNS에 대한 설정은 별도로 지정할 필요가 없으면 그대로 두면 된다.
* MTU는 기본값인 1400을 사용하면 대부분의 경우 호환성 측면에서 바람직하고, VPN 접속이 잘 안되는 경우 낮은 값으로 변경하여 설정하면 된다.
* 사전 공유키 부분은 VPN에 접속할 사용자에게 알려주어야 할 정보인데, 2차례 반복하여 입력해 주고, 사용자에게 알려준다.
* “SHA2-256 호환 모드 활성화(96 비트)”를 선택하여 특정 클라이언트(비 RFC 표준)가 L2TP/IPSec 연결을 사용하도록 허용한다.
모든 선택이 완료되면 “적용”탭을 눌러 설정을 마무리한다.
2. NAS 방화벽에서 L2TP 용 포트 활성화
DSM ==> 제어판 ==> 보안 ==> 방화벽 탭의 순서로 다음 화면에 들어가, 방화벽을 생성하거나 기존 방화벽을 편집한다.
“내장된 응용 프로그램 목록..”을 선택한 후, 우측의 “선택”을 누른 뒤, 다음 화면에서 VPN 서버 설정과 관련된 다음 포트 부분들을 찾아 선택하고 “확인” 버튼을 눌러준다. L2TP/IPSec의 경우, UDP 1701, 500, 4500번 포트에 대한 방화벽이 허용되어야 한다.
3. 라우터에서의 포트 포워딩
NAS가 설치된 네트워크의 라우터(=인터넷 공유기) 설정 메뉴에 들어간 후, 위에서 활성화시켜준 L2TP 용 포트들(UDP 1701, 500, 4500)에 대하여, 내부 IP로 포워딩을 설정한다.
4. 접속
1) 안드로이드 기기
안드로이드 폰의 “설정” 메뉴에서 “연결” 부분을 찾으면 “VPN”이 나오고, 여기서 프로토콜을 선택하여 설정하면 된다. 프로토콜로 L2TP/IPSec PSK를 선택하고, 주소에는 도메인 이름을 넣는다. 그리고 사용자 계정 ID와 PW를 넣고, 사전에 지정한 공유키를 입력하면 된다. 아무런 어려움 없이 VPN 서버에 쉽게 잘 접속되었다.
2) PC – 윈도 10 PC
Windows 10의 경우 제어판 –> 네트워크 및 인터넷 –> VPN –> VPN 추가의 순서로 VPN 설정을 하게 되는데, 안드로이드 모바일폰에서와 달리, 처음에는 VPN 접속이 원활히 이루어지지 않았다.
이를 해결하기 위해, Windows10의 레지스트리 중 “PolicyAgent”를 찾아 마우스 우측 버튼의 새로 만들기를 이용하여 DWORD(32비트) 값을 선택하여 만들고, 다시 이름에 “AssumeUDPEncapsulationContextOnSendRule”을 입력한 후, 이 키의 값을 2로 변경한 후, PC를 리부팅하면, VPN 접속이 성공적으로 이루어졌다.
다만, 이렇게 접속에 성공하여 지속적으로 사용하던 중, 어느 순간엔가 Windows의 Update가 반복되고 2021년에 NAS도 한번 재설정할 기회가 있었는데, 이 이후부터는 모바일에서는 접속되나, Windows10에서의 L2TP 접속은 되지 않는 문제가 재발했다.
이에 대해서는 별도의 후속 글 (24F 번 글 예정)에서 Windows 10에서의 L2TP 접속 문제 해결을 위한 시도들을 체계적으로 정리해 두었으므로, 만일 위의 방법으로도 해결되지 않는 경우에는 해당 글을 참조하기 바란다.