13강. HTTP and Web Client

- HTTP 프로토콜이란?

: 웹서핑을 할 때 많이 볼 수 있음. TCP 기반으로 구동되는 text-based client-server 프로토콜임.

-> ∴ HTTP 서버가 구동될 때 일반적으로 80 port를 사용함.(그러다보니 웹서버로 접근 시 80 port로 접근 많이 함.)

 

- HTTP는 보안이 결여되어 있음

: HTTP 트래픽을 분석해보면 암호화되지 않은 상황에서 data가 오감.

∴ 스니퍼 같은 도청 공격자에게 정보가 쉽게 노출됨.

 

-> 기본적인 정보 보호 기술과 Transport Layer Security(TLS)를 배울 것임.

+ HTTP가 TLS 위에 구현된 HTTPS도 구현할 것임.

 

- HTTP 프로토콜의 구성

1) HTTP Request

1. GET : client가 어떤 resource를 server로부터 가져오고 싶을 때

2. HEAD : client가 어떤 resource의 추상적인 정보(ex) 파일의 크기)를 server로부터 가져오고 싶을 때

3. POST : client에서 server에 정보를 보낼 때 

4. PUT : 새로운 데이터를 저장하거나 기존 데이터를 업데이트를 할 때 사용함. POST와 매우 비슷하지만 명확한 저장 위치를 명시하여 업데이트를 함. 

5. DELETE : server에 있는 data를 삭제할 때 사용함. URI form으로 삭제하려는 resource를 지정해줘야 함.

 

2) HTTP Response

1) 200(OK) : request가 성공적으로 수행된 경우. 수행된 후의 resource 값을 알려줌.

2) 301(Moved Permanently): resource가 옮겨졌을 때. 해당 위치의 header field를 알려줌.

3) 400(Bad Request) : server가 client Request를 이해X or 지원 불가능할 때

4) 401(Unauthorized) : client가 resource를 받을 수 있는 권한이 없을 때

5) 403(Forbidden) : client의 접근이 금지되었을 때

6) 404(Page Not Found or File Not Found) : 페이지가 없을 때

7) 500(Internal Server Error) : server가 client Request 처리하다가 에러났을 때

 

- URL(Uniform Resource Locators)이란?

: Resource의 위치를 명시함.

- Web Client란?

: HTTP request를 서버에 보내고 HTTP response를 받아와서 출력해주는 client로

입력받은 URL을 통해 host와 연결 및 자원을 검색함.

 

함수 3가지

1) parse_url() : URL을 파싱하는 함수로, 입력받은 URL로부터 hostname, port 번호, document path를 받아옴.

-> 이거 설명 안할거라고 함.

2) send_request() : char형 버퍼를 정의하고 이곳에 HTTP request를 담아서 패킷을 만들어 전송함.

void send_request(SOCKET s, char *hostname, char *port, char *path) { 
    char buffer[2048]; //buffer에 위의 매개인자들을 HTTP 형식대로 넣어줌.

    sprintf(buffer, "GET /%s HTTP/1.1\r\n", path); //GET 메소드를 쓰고 HTTP1.1버젼을 쓴다.
    sprintf(buffer + strlen(buffer), "Host: %s:%s\r\n", hostname, port); 
    sprintf(buffer + strlen(buffer), "Connection: close\r\n"); 
    sprintf(buffer + strlen(buffer), "User-Agent: honpwc web_get 1.0\r\n"); 
    sprintf(buffer + strlen(buffer), "\r\n");
    
    send(s, buffer, strlen(buffer), 0); //버퍼에 저장된 내용을 소켓s를 통해 보냄.
    printf("Sent Headers:\n%s", buffer); //어떤 데이터를 보냈는지 확인.
}

3) connect_to_host() : 설정한 URL로 접근하여 hostname과 port 번호로 서버와 커넥션을 맺음.

SOCKET connect_to_host(char *hostname, char *port) { 
	printf("Configuring remote address...\n"); 
    struct addrinfo hints;
	memset(&hints, 0, sizeof(hints)); 
    hints.ai_socktype = SOCK_STREAM;
	struct addrinfo *peer_address;
	if (getaddrinfo(hostname, port, &hints, &peer_address)) { //hostname이랑 port번호로 IP주소 받아옴.
		fprintf(stderr, "getaddrinfo() failed. (%d)\n", GETSOCKETERRNO());
		exit(1); 
    }
    
	printf("Remote address is: ");
	char address_buffer[100];
	char service_buffer[100];
	getnameinfo(peer_address->ai_addr, peer_address->ai_addrlen,
			address_buffer, 
            sizeof(address_buffer), 
            service_buffer, 
            sizeof(service_buffer), 
            NI_NUMERICHOST);
	printf("%s %s\n", address_buffer, service_buffer); //추가적인 정보를 출력함.
    printf("Creating socket...\n");
    SOCKET server;
    server = socket(peer_address->ai_family, //소켓을 생성.
    		peer_address->ai_socktype, peer_address->ai_protocol); 
    if (!ISVALIDSOCKET(server)) {
    	fprintf(stderr, "socket() failed. (%d)\n", GETSOCKETERRNO());
    	exit(1); 
    }
    printf("Connecting...\n");
    if (connect(server, peer_address->ai_addr, peer_address->ai_addrlen)) { //connect함.
    	fprintf(stderr, "connect() failed. (%d)\n", GETSOCKETERRNO());
    	exit(1); 
    }
    freeaddrinfo(peer_address);
    
    printf("Connected.\n\n");
    
    return server;
}

main 함수

int main(int argc, char *argv[]) { //패킷을 보내고 서버로부터 response를 받아옴.
    if (argc < 2) {
    	fprintf(stderr, "usage: web_get url\n"); return 1;
    }
    char *url = argv[1]; //입력해둔 url을 가져오고
    
    char *hostname, *port, *path;
    parse_url(url, &hostname, &port, &path); //url을 parsing해서 hostname,port,path를 입력받고
    
    SOCKET server = connect_to_host(hostname, port); //hostname, port번호로 server 소켓 생성.
    send_request(server, hostname, port, path); //server에 HTTP GET request를 전송함
    
    const clock_t start_time = clock(); //시간 측정하는 부분.
    
#define RESPONSE_SIZE 32768
    char response[RESPONSE_SIZE]; //response 배열을 만들고
    char *p = response, *q; //response 배열의 처음을 가리키는 p, 구현상 도움을 줄 q
    char *end = response + RESPONSE_SIZE; //response 배열의 끝을 가리키는 end
    char *body = 0; //받아온 response는 header와 body로 이뤄져 있을 텐데 그 중 body를 가리키는 포인터.
    
    enum {length, chunked, connection};
    int encoding = 0;
    int remaining = 0;
    
    while(1) {
    	if ((clock() - start_time) / CLOCKS_PER_SEC > TIMEOUT) { //시간이 5초 넘어가면 서버 에러로 처리.
			fprintf(stderr, "timeout after %.2f seconds\n", TIMEOUT); //#define TIMEOUT 5.0 
            return 1;
        }
        if (p == end) { //p가 끝에 도달했을 때 종료
           fprintf(stderr, "out of buffer space\n");
           return 1;
		}
		
        fd_set reads; 
        FD_ZERO(&reads); 
        FD_SET(server, &reads);
        
		struct timeval timeout;
		timeout.tv_sec = 0;
		timeout.tv_usec = 200000;
        
        if (select(server+1, &reads, 0, 0, &timeout) < 0) { //select를 통해 패킷을 받을 준비를 함.
        	fprintf(stderr, "select() failed. (%d)\n", GETSOCKETERRNO());
            return 1;
		}

		if (FD_ISSET(server, &reads)) { //server에 관심있는 읽을거리가 있으면
        	int bytes_received = recv(server, p, end - p, 0); //recv로 서버 소켓의 data 읽어옴. p에 읽어오는데 end-p만큼 읽어옴. end-p가 response 길이잖아!ㅎㅎ
        	if (bytes_received < 1) { //1보다 작다 = 서버로부터 close 요청이 온 것임.
				if (encoding == connection && body) { //encoding==1.length 2.chunked 3.close(connection), body가 있으면 body를 출력함.
           			printf("%.*s", (int)(end - body), body);
				}
				printf("\nConnection closed by peer.\n");
				break; 
            }
            
			p += bytes_received; //읽은만큼 p를 증가시킴
            *p = 0; //string 관련 함수를 쓸 수 있게끔 0을 넣어줌.
			
            //body를 처리하는 부분.
            if (!body && (body = strstr(response, "\r\n\r\n"))) { //response에서 \r\n\r\n로시작하는 문자열 검색 후 시작점을 포인터로 반환.
            //이때 \r\n\r\n은 header와 body를 나누는 경계임. 즉, response = header + \r\n\r\n + body
                *body = 0; //나중에 header 출력하려고 끝부분을 null로 표시해두는 것임.
                body += 4; //\r\n\r\n을 건너뛰려고 +4 하는 것.
            	
                printf("Received Headers:\n%s\n", response);
                
                q = strstr(response, "\nContent-Length: "); //response 패킷의 총 길이를 q에 가져옴.
				if (q) {
                    encoding = length;
                    q = strchr(q, ' '); q에 ' '이 있는지 검사. 
                    q += 1; //length 숫자의 맨 앞을 가리킴
                    remaining = strtol(q, 0, 10); //10진수로 읽어오고 body의 길이(즉,Content-Remaining값)가 remaining에 저장됨. 저장할 포인터는 관계없으므로 0을 씀.
                
                } else {
                    q = strstr(response, "\nTransfer-Encoding: chunked"); //response에 "\n~~~"가 존재하는지 확인하는 함수.
                    if (q) { //chunked여부 확인.
                        encoding = chunked;
                    	remaining = 0; //받으면서 길이를 검사해야 하므로 계산할 수 없어서 0으로 세팅.
                    } else { //이것도 아니면 connection(close)로 처리.
                        encoding = connection;
                    }
                }
                printf("\nReceived Body:\n");
            }
            
            if (body) {
			if (encoding == length) {
				if (p - body >= remaining) { //p-body가 body길이보다 크거나 같다 = 그만가! 멈춰~!!!
                	printf("%.*s", remaining, body); 
                	break;
                    }
			} else if (encoding == chunked) {
        		do {
                    if (remaining == 0) {
                        if ((q = strstr(body, "\r\n"))) {
                    		remaining = strtol(body, 0, 16); 
                            if (!remaining) goto finish; 
                            body = q + 2; // \r\n고려
                        } else {
                            break;
                    	} 
                    }
                    if (remaining && p - body >= remaining) { 
                    	printf("%.*s", remaining, body);
                        body += remaining +2; //\r\n 고려
                        remaining = 0;
                        }
                    } while (!remaining);
                }
			} //if (body) 
		} //if FDSET
    } //end while(1)
finish:

- HTTP POST request

: data를 client에서 server로 보냄.(web client에서 생성한 data를 web server로 전송하는 역할)

- 포맷은 Content-Type Header에 의해 정의되고 매우 다양함.

- 웹사이트에 form 형태(ex)로그인 폼)가 있을 때 POST를 많이 씀.