Docker: 'HTTPS request instead of HTTP' 오류의 심층 분석 및 해결 전략

작성일: 2024년 11월 13일 | 최종 수정: 2025년 03월 10일

Docker 환경에서 발생하는 'Error response from daemon: failed to do request: HTTPS request instead of HTTP' 오류는 컨테이너 레지스트리와의 통신 과정에서 발생하는 복잡한 문제입니다. 이 글에서는 이 오류의 근본 원인을 분석하고, 다양한 시나리오에 따른 해결 전략을 제시하겠습니다.

1. Docker 레지스트리 연결 오류

Docker 이미지를 푸시하거나 풀(pull)할 때 발생하는 "http: server gave HTTP response to HTTPS client" 오류는 Docker 클라이언트와 레지스트리 서버 간의 프로토콜 불일치로 인해 발생하는 일반적인 문제입니다. 이 오류는 단순한 연결 문제를 넘어, 다양한 기술적 배경을 내포하고 있으며, 효과적인 문제 해결을 위해서는 근본적인 원인 분석이 필수적입니다.

1.1 오류의 핵심 원인 (Docker 레지스트리 오류 원인 분석)

TLS(Transport Layer Security) 설정 불일치 (Docker TLS 설정 오류):
Docker 레지스트리는 HTTPS를 통한 안전한 통신을 기본으로 합니다. 하지만 클라이언트가 HTTPS로 통신을 시도할 때 서버가 HTTP 응답을 보내는 경우, 이 오류가 발생합니다. 이는 서버 설정 오류, 네트워크 구성 문제, 또는 레지스트리 자체의 문제로 인해 발생할 수 있습니다.

TLS는 인증서를 사용하여 서버의 신원을 확인합니다. 잘못된 인증서, 만료된 인증서, 또는 신뢰할 수 없는 인증 기관에서 발급된 인증서는 TLS 핸드셰이크 실패를 유발하고, 결국 HTTP 응답을 초래할 수 있습니다. (Docker 인증서 오류, Docker HTTPS 오류)
Docker 데몬의 보안 정책과 레지스트리 서버 설정 간의 충돌 (Docker 보안 정책 오류):
Docker 데몬은 기본적으로 HTTPS를 사용하는 레지스트리만 허용합니다. 하지만 개발 또는 테스트 환경에서는 자체 서명된 인증서를 사용하는 HTTP 레지스트리를 사용해야 할 수 있습니다. 이 경우, Docker 데몬의 insecure-registries 설정을 통해 HTTP 레지스트리를 허용해야 합니다. 설정이 올바르지 않으면 보안 정책 충돌이 발생합니다. (Docker insecure-registries 설정, Docker HTTP 레지스트리 오류)

Docker 데몬의 다른 보안 설정(예: TLS 버전, 암호화 알고리즘)이 레지스트리 서버의 설정과 호환되지 않을 수 있습니다. 이는 통신 오류 및 HTTP 응답을 유발합니다. (Docker 데몬 설정 오류, Docker 레지스트리 호환성 문제)
네트워크 프록시나 방화벽에 의한 HTTPS 트래픽 차단 (Docker 네트워크 문제, Docker 프록시 설정, Docker 방화벽 설정):
회사 네트워크와 같은 환경에서는 프록시 서버를 통해 인터넷에 접속해야 합니다. 프록시 서버가 HTTPS 트래픽을 제대로 처리하지 못하거나, 잘못된 설정을 사용하면 통신 오류가 발생할 수 있습니다. (Docker 프록시 오류, Docker HTTPS 프록시 오류)

방화벽은 네트워크 트래픽을 필터링하고 차단하는 역할을 합니다. 방화벽 설정이 HTTPS 트래픽을 차단하는 경우, Docker 클라이언트와 레지스트리 서버 간의 통신이 실패할 수 있습니다. (Docker 방화벽 오류, Docker HTTPS 방화벽 오류)

2. 다층적 해결 전략: Docker 레지스트리 연결 오류 해결을 위한 종합 가이드

2.1 Docker 데몬 설정 최적화: insecure-registries 설정 활용

Docker 데몬의 설정을 수정하여 특정 레지스트리에 대해 비보안 연결을 허용할 수 있습니다. 이는 개발 또는 테스트 환경에서 자체 서명된 인증서를 사용하는 HTTP 레지스트리를 사용해야 할 때 유용합니다.


// /etc/docker/daemon.json
{
    "insecure-registries": ["your-registry-domain:port"]
}

주의: 이 방법은 일시적인 해결책이며, 보안상 위험할 수 있습니다. 운영 환경에서는 HTTPS를 사용하는 것이 좋습니다.

insecure-registries 설정을 사용하면 Docker 데몬이 해당 레지스트리와의 통신 시 TLS 인증서 검증을 건너뜁니다. 따라서 자체 서명된 인증서를 사용하는 레지스트리 또는 HTTP 레지스트리와의 통신이 가능해집니다.

2.2 레지스트리 서버 TLS 구성: 유효한 SSL/TLS 인증서 설치 및 HTTPS 활성화

레지스트리 서버에 유효한 SSL/TLS 인증서를 설치하고 HTTPS를 활성화하여 안전한 통신을 보장합니다. 이는 운영 환경에서 권장되는 방법입니다.


# Docker Compose 예시
version: '3'
services:
    registry:
        image: registry:2
        ports:
            - "5000:5000"
        environment:
            REGISTRY_HTTP_TLS_CERTIFICATE: /certs/domain.crt
            REGISTRY_HTTP_TLS_KEY: /certs/domain.key
        volumes:
            - ./certs:/certs

위 예시에서는 Docker Compose를 사용하여 레지스트리 컨테이너를 실행하고, REGISTRY_HTTP_TLS_CERTIFICATE 및 REGISTRY_HTTP_TLS_KEY 환경 변수를 통해 인증서 경로를 설정합니다. ./certs 디렉토리에 인증서 파일(domain.crt)과 개인 키 파일(domain.key)을 위치시켜야 합니다.

인증서는 신뢰할 수 있는 인증 기관(CA)에서 발급받거나, 자체 서명된 인증서를 생성할 수 있습니다. 자체 서명된 인증서를 사용하는 경우, 클라이언트 측에서 해당 인증서를 신뢰하도록 설정해야 합니다.

2.3 클라이언트 측 인증서 관리: 자체 서명된 인증서 신뢰 설정

자체 서명된 인증서를 사용하는 경우, 클라이언트 측에서 해당 인증서를 신뢰하도록 설정해야 합니다. 이는 Docker 클라이언트가 레지스트리 서버의 인증서를 검증하고 안전한 통신을 설정하는 데 필요합니다.


# 인증서 복사
sudo cp domain.crt /usr/local/share/ca-certificates/
sudo update-ca-certificates

# Docker 서비스 재시작
sudo systemctl restart docker

위 명령어는 자체 서명된 인증서 파일(domain.crt)을 시스템 인증서 저장소에 복사하고, 인증서를 업데이트한 후 Docker 서비스를 재시작합니다. 이를 통해 Docker 클라이언트가 해당 인증서를 신뢰하게 됩니다.

클라이언트 측 인증서 관리는 운영 체제 및 Docker 클라이언트 버전에 따라 다를 수 있습니다. 자세한 내용은 Docker 공식 문서를 참고하십시오.

3. 고급 트러블슈팅 기법: 심층적인 문제 분석 및 해결

Docker 레지스트리 연결 오류는 때로는 복잡한 원인으로 인해 발생할 수 있습니다. 이러한 경우, 고급 트러블슈팅 기법을 활용하여 문제의 근본 원인을 파악하고 해결해야 합니다.

네트워크 패킷 분석: Wireshark 또는 tcpdump 활용
Wireshark 또는 tcpdump와 같은 네트워크 패킷 분석 도구를 사용하여 Docker 클라이언트와 레지스트리 서버 간의 통신을 실시간으로 분석합니다. 이를 통해 TLS 핸드셰이크 과정, HTTP/HTTPS 요청 및 응답, 네트워크 지연 등 다양한 네트워크 관련 문제를 진단할 수 있습니다.
- Wireshark: GUI 기반의 네트워크 프로토콜 분석 도구로, 사용하기 쉽고 다양한 필터링 및 분석 기능을 제공합니다.
- tcpdump: CLI 기반의 네트워크 패킷 캡처 도구로, 리눅스 환경에서 주로 사용되며 강력한 필터링 기능을 제공합니다.
패킷 분석을 통해 다음과 같은 정보를 확인할 수 있습니다.
- TLS 핸드셰이크 실패 여부 및 원인
- HTTP/HTTPS 요청 및 응답 내용
- 네트워크 지연 및 패킷 손실 여부
- 프록시 서버 또는 방화벽 관련 문제
Docker API 디버깅: DOCKER_API_VERSION 환경 변수 설정
Docker 클라이언트와 데몬 간의 API 버전 호환성 문제를 확인하기 위해 DOCKER_API_VERSION 환경 변수를 설정합니다. 특정 API 버전과의 호환성 문제를 확인하고, 필요한 경우 API 버전을 변경하여 문제를 해결할 수 있습니다.

예시:
```
export DOCKER_API_VERSION=1.40
```
위 예시에서는 Docker API 버전을 1.40으로 설정합니다. 환경 변수 설정 후 Docker 명령어를 실행하여 특정 API 버전과의 호환성 문제를 확인할 수 있습니다.
TLS 버전 호환성 검사: OpenSSL 활용
OpenSSL 명령어를 사용하여 레지스트리 서버가 지원하는 TLS 버전을 확인합니다. 이를 통해 Docker 클라이언트와 레지스트리 서버 간의 TLS 버전 호환성 문제를 진단하고 해결할 수 있습니다.

예시:
```
openssl s_client -connect your-registry-domain:port -tls1_2
```
위 예시에서는 TLS 1.2 버전으로 레지스트리 서버에 연결을 시도합니다. 연결 성공 여부 및 서버에서 반환하는 인증서 정보를 통해 TLS 버전 호환성 문제를 확인할 수 있습니다.

다음과 같은 OpenSSL 명령어를 사용하여 다양한 TLS 버전을 테스트할 수 있습니다.
- -tls1_1: TLS 1.1 버전 테스트
- -tls1_3: TLS 1.3 버전 테스트

4. 보안 모범 사례: 안전한 Docker 레지스트리 환경 구축

장기적인 관점에서 다음과 같은 보안 모범 사례를 적용하는 것은 안전하고 신뢰할 수 있는 Docker 레지스트리 환경을 구축하는 데 필수적입니다.

모든 Docker 레지스트리 통신에 HTTPS 사용:
HTTPS는 통신 내용을 암호화하여 중간자 공격 및 데이터 유출을 방지합니다. 모든 Docker 레지스트리 통신에 HTTPS를 사용하도록 설정하여 안전한 통신 환경을 구축해야 합니다. 자체 서명된 인증서를 사용하는 경우, 클라이언트 측에서 해당 인증서를 신뢰하도록 설정해야 합니다.
정기적인 인증서 갱신 및 관리:
SSL/TLS 인증서는 만료 기간이 있으므로, 정기적으로 인증서를 갱신하고 관리해야 합니다. 만료된 인증서는 보안 경고를 발생시키고, 통신 오류를 유발할 수 있습니다. 인증서 관리 시스템을 도입하여 자동화된 인증서 갱신 및 관리를 수행하는 것이 좋습니다.
네트워크 세그먼테이션을 통한 레지스트리 접근 제어:
네트워크 세그먼테이션은 네트워크를 분리하여 특정 영역에 대한 접근을 제한하는 기술입니다. 레지스트리 서버를 별도의 네트워크 세그먼트에 배치하고, 방화벽 규칙을 설정하여 필요한 접근만 허용함으로써 레지스트리 접근을 제어할 수 있습니다. 이를 통해 레지스트리 서버에 대한 무단 접근 및 공격을 방지할 수 있습니다.
컨테이너 이미지의 정기적인 보안 스캔:
컨테이너 이미지는 소프트웨어 취약점을 포함할 수 있습니다. 정기적으로 컨테이너 이미지를 보안 스캔하여 알려진 취약점을 탐지하고 제거해야 합니다. 다양한 컨테이너 이미지 보안 스캔 도구를 활용하여 자동화된 보안 스캔을 수행하는 것이 좋습니다.
최소 권한 원칙 적용:
Docker 데몬 및 레지스트리 서버를 실행하는 사용자에게 필요한 최소한의 권한만 부여해야 합니다. 불필요한 권한은 보안 위험을 증가시키므로, 권한 설정을 신중하게 관리해야 합니다.
보안 업데이트 및 패치 적용:
Docker 데몬, 레지스트리 서버, 운영 체제 등 모든 소프트웨어를 최신 버전으로 유지하고, 정기적으로 보안 업데이트 및 패치를 적용해야 합니다. 최신 보안 업데이트는 알려진 취약점을 해결하고 시스템 보안을 강화합니다.
로그 모니터링 및 분석:
Docker 데몬 및 레지스트리 서버의 로그를 정기적으로 모니터링하고 분석하여 비정상적인 활동을 탐지해야 합니다. 로그 분석 시스템을 도입하여 자동화된 로그 모니터링 및 분석을 수행하는 것이 좋습니다.

결론: Docker 레지스트리 연결 오류 극복 및 안전한 Docker 환경 구축

'http: server gave HTTP response to HTTPS client' 오류는 단순한 설정 오류를 넘어, Docker 클라이언트와 레지스트리 서버 간의 복잡한 네트워크 및 보안 이슈를 내포하고 있습니다. 이 오류를 효과적으로 해결하기 위해서는 Docker 생태계에 대한 깊은 이해와 체계적인 접근 방식이 필요합니다.

본 문서에서 제시된 다층적 해결 전략은 오류의 근본 원인을 분석하고 다양한 해결 방법을 제시합니다. insecure-registries 설정을 통한 Docker 데몬 설정 최적화, 유효한 SSL/TLS 인증서 설치 및 HTTPS 활성화, 클라이언트 측 인증서 관리 등 다양한 방법을 통해 오류를 해결할 수 있습니다. 또한, Wireshark, tcpdump, OpenSSL 등 고급 트러블슈팅 기법을 활용하여 심층적인 문제 분석 및 해결이 가능합니다.

더 나아가, 모든 Docker 레지스트리 통신에 HTTPS 사용, 정기적인 인증서 갱신 및 관리, 네트워크 세그먼테이션을 통한 레지스트리 접근 제어, 컨테이너 이미지의 정기적인 보안 스캔 등 보안 모범 사례를 적용하여 안전하고 신뢰할 수 있는 Docker 환경을 구축해야 합니다.

이러한 다층적인 접근 방식과 보안 모범 사례를 통해 'http: server gave HTTP response to HTTPS client' 오류를 효과적으로 해결하고, 안정적이고 보안성 높은 Docker 환경을 구축할 수 있습니다. Docker 생태계에 대한 지속적인 학습과 노력을 통해 안전하고 효율적인 컨테이너 환경을 유지하시기 바랍니다.