네트워크 테스트 준비사항 및 도구

1. 테스트 진행을 위한 사전 준비사항
   1. 서비스할 제품의 타깃 국가의 네트워크 상황 조사
      • 직접 방문조사하지 않고 플랫폼을 활용함.
      • 월드 포퓰레이션 리뷰 (worldpopulationreview.com) - 매년 전 세계의 국가별 네트워크 속도 데이터를 제공함.
      • 스피드 테스트 (SpeedTest.net) - 전 세계 국가별, 주요 도시별로 분류하여 인터넷 속도 데이터를 제공.
                                                             중간 다운로드 시간과 네트워크 지연 시간까지 정보를 제공함.
      • 이러한 정보를 활용하여 서비스 타깃 국가의 네트워크와 유사한 환경으로 네트워크 환경을 설정.
      • 각 국가 환경에 의해 발생되는 제품 이용 원활도, 한계 수치, 국가별 품질 기준 선정 가능
      • 네트워크 성능과 환경 특성으로 인한 오류 및 숨은 결함을 제거하여 품질 향상 가능.
   2. 네트워크 목표 수준 설정 및 사전 준비
      • 품질 검증 목표 선정
      • 예상되는 문제 예측/식별을 위한 테스트 시나리오 설계
      • 테스트 통과 여부 판단 품질 기준
      • 적합한 테스트 도구 선정 등
2. 네트워크 테스트의 종류
   1. 네트워크 단절 테스트
      • 네트워크를 사용하지 못하는 상황을 의도적으로 만들어 단절 상태에서의 제품 반응을 확인
      • 관련된 타임아웃 정책을 수립
        • 타임아웃 정책 : 시스템의 지연을 허용할 특정 시간. 이후 이벤트를 발생하거나 대기를 중단시키는 등 네트워크로 인해 발생할 수 있는 문제를 예방하고 해결하기 위한 조치를 의미함.
          예를 들어, 네트워크 단절된 경우, 3회 접속 시도 후 오류 팝업 노출 등.
      • 단절로 인해 발생할 것으로 예측되는 네트워크 이슈에 대한 대비 시나리오 확립을 목표로 함.
   2. 네트워크 전환 테스트
      • 인터넷 연결을 유지하기 위해 Wi-Fi 와 모바일 네트워크가 자동으로 전환되는 것을 의미함.
      • 네트워크 단절 테스트와 테스트 목적이 동일함
   3. 네트워크 부하 (상태별 예외사항) 테스트
      • 서버에 접속자가 증가하여 트래픽이 급증하거나, 의도적으로 트래픽을 조작해 네트워크에 부하가 걸리는 것
      • 순간적으로 많은 트래픽이나 네트워크 패킷 발생 시, 프로그램 동작에 문제가 없는지 확인
      • 낮은 사양의 디바이스에서도 잘 동작하는지, 버벅거림 등이 없는지 확인해야 함.
      • 네트워크 부하 테스트의 종료
        

        네트워크 상태	특징	네트워크 수치 설정 예시
        정상 네트워크	정상적인 네트워크 상황을 의미함.	테스트 도구 : 스피드 테스트 ▶ Uplink 대역폭 : 2Mbps 이상 ▶ Downlink 대역폭 : 2Mbps 이상
        Edge 네트워크	디바이스 또는 로컬 서버를 통해 네트워크 가장자리에서 데이터 전송을 가능하게 하는 디지털 휴대폰 기술. 상시 네트워크 통신 없이도 휴대폰에서 데이터 전송을 처리하여 큰 문제없이 제품을 이용할 수 있는지 확인함.	테스트 도구 : 스피드 테스트 + 네트워크 에뮬레이터 Uplink (업링크): ▶ 대역폭: 1 Mbps ~ 10 Mbps ▶ 지연: 20 ms ~ 100 ms ▶ 패킷 손실: 0% ~ 2% Downlink (다운링크): ▶ 대역폭: 10 Mbps ~ 100 Mbps ▶ 지연: 20 ms ~ 100 ms ▶ 패킷 손실: 0% ~ 2%
        Bad 네트워크	네트워크 상황이 매우 좋지 않은 상태를 의미. 제품 이용 가능/불가능 상황이 상시로 존재. 제품 기능에 이슈가 없는지 확인함	테스트 도구 : 스피드 테스트 + 네트워크 에뮬레이터 Uplink (업링크): ▶ 대역폭: 0.1 Mbps ~ 1 Mbps ▶ 지연: 500 ms ~ 2000 ms ▶ 패킷 손실: 10% ~ 30% Downlink (다운링크): ▶ 대역폭: 0.5 Mbps ~ 5 Mbps ▶ 지연: 500 ms ~ 2000 ms ▶ 패킷 손실: 10% ~ 30%
        Delay/Loss 네트워크	네트워크 지연으로 인해 패킷이 손실되는 상황. 제품 이용이 불가능한 상태. 제품의 주요 기능에서 의도하지 않은 동작이 잘생하지 않는지 확인.	테스트 도구 : 스피드 테스트 + 네트워크 에뮬레이터 Uplink (업링크): ▶ 대역폭: 0 ▶ 지연: 100 ms ~ 1000 ms ▶ 패킷 손실: 30% ~ 100% Downlink (다운링크): ▶ 대역폭: 0 ▶ 지연: 100 ms ~ 1000 ms ▶ 패킷 손실: 30% ~ 100%

   4. 네트워크 성능 테스트
      • 인터넷이 연결된 제품의 연결 속도에 따른 품질을 확인하는 테스트.
      • 다운로드/업로드 속도, 핑(대기 시간), 네트워크 지연 을 의도적으로 설정하여 다양한 상황의 품질을 확인함.
      • 다운로드 속도
        • 제품이 인터넷에서 데이터를 수신하는 속도.
        • 주어진 시간 내 데이터 처리량을 확인함.
        • 측정 단위는 Mbps 혹은 Kbps로 표시하며, 18Mbps 이상이 정상 속도에 해당됨
        • 인터넷 대역폭을 최대로 설정하고 대용량 파일의 다운로드를 통해 데이터 처리량을 확인.
        • 측정 시간 대비 데이터 처리량을 확인하여, 다운로드를 위한 최적의 인터넷 속도를 확인할 수 있음.
        • 조작된 네트워크 환경으로 인해 데이터를 다운로드할 때 발생되는 이슈와 동작을 확인함.
      • 업로드 속도
        • 인터넷으로 전송할 수 있는 데이터 양을 의미함.
        • 측정 단위는 Mbps 혹은 Kbps로 표시하며, 8Mbps 이상이 정상속도에 해당됨
        • 다중 스트림을 사용하는 네트워크를 설정해서 데이터를 유저 장치에서 서버로 전송할때의 데이터 처리량을 확인을 통해 측정.
        • 측정 시간 대비 데이터 처리량을 확인하여, 업로드를 위한 최적의 인터넷 속도를 확인할 수 있음.
        • 조작된 네트워크 환경으로 인해 데이터 업로드할 때 발생하는 이슈를 확인함.
      • 핑 (대기 시간)
        • 요청이 서버까지 도착하느나 데 걸리는 시간으로 인해 발생하는 지연을 의미함.
        • 측정단위는 ms이며, 0~60ms가 정상속도에 포함함
        • 데이터 교환 속도를 조작하여 동작의 이상 반응 확인함.
      • 네트워크 지연
        • 데이터가 네트워크의 한 지점에서 다른 지점에 도달하는 데 필요한 시간.
        • 일반적으로 데이터가 애플리케이션 서버를 떠나 유저 디바이스에 도달할 때까지의 시간 차이를 의미함.
        • 부하 상태에서 제품의 반응시간 및 메모리 누수에 따른 내구성을 테스트함.
        • 기대하지 않은 지연 입력 시, 서비스 응답 지연 혹은 성능 저하를 측정하고 개선함.
        • 네트워크 지연 테스트를 위한 수치 설정 값
          

          네트워크 상태	네트워크 수치 설정
          네트워크 지연 (네트워크 레이턴시)	레이턴시 테스트 ( 테스트 도구 : Network link conditioner ) in bandwidth : 80~100ms (국내 기준) // 40~50ms (유럽, 미국 기준) out bandwidth : 33ms in/out packet loss : 0% in/out delay : 50/100/200ms protocol : any

3. 네트워크 테스트 도구
   1. 특징
      • 가상 네트워크를 통한 실제 애플리케이션 성능을 테스트하는 도구.
      • 네트워크 에뮬레이터가 설치된 PC가 가상 네트워크 핫스팟이 됨
      • 에뮬레이터를 통해 와이파이 네트워크 속도 설정 시, 해당 와이파이가 연결된 디바이스가 영향을 받음.
   2. 네트워크 도구
      • 스피드테스트, 네트워크 링크 컨디셔너, 네트워크 에뮬레이터(NEWT) 등이 있음.
4. 테스트 시나리오 작성
   1. 네트워크 테스트 범위
      • 네트워크 환경을 의도적으로 조작햇을 때 환경에 영향을 가장 많이 받는 기능을 우선.
      • 기능 테스트케이스 혹은 결정 테이블 등 다양한 형태로 테스트 시나리오를 작성함.
   2. 네트워크 테스트 도구
      • MacOS : 네트워크 링크 컨디셔너 등
      • Windows : 네트워크 에뮬레이터
        • 가상 네트워크에서 실제 애플리케이션 성능을 테스트하기 위한 도구.
        • 네트워크 속성값을 조작하여 속도 조절, 부하, 지연 상태 재현 가능

네트워크 에뮬레이터 키트 (NEWT for windows) 설치 및 사용방법.