문자 인코딩 | ASCII, Unicode, UTF-8

인코딩

사용자가 입력한 문자나 기호를 컴퓨터가 이용할 수 있는 신호로 만드는 것을 말한다.

문자 → 숫자 : 인코딩
숫자 → 문자 : 디코딩

예를 들어, 메모장에 A라고 친 다음 저장하면 실제로 하드디스크에 기록되는 정보는
65라는 숫자값. A -> 65라고 저장하도록 만들어놨기 때문에

 

아스키코드

가장 처음 만들어진 인코딩이 ASCII코드. 숫자와 문자를 매칭시키는 국제적 규칙.

패리티 비트를 제외하고, 128개의 문자조합을 제공하는 7비트 부호

(패리티 비트는 데이터의 에러를 탐지하기 위해 사용한다.
일곱자리의 이진수에서 '1'이 홀수개라면 끝에 1을, '1'이 짝수개라면 끝에 0을 덧붙인다. 아주 정밀하진 않지만 패리티 비트를 이용해 어느 정도의 에러를 탐지할 수 있다.)

문제점

• 아스키코드만으로는 영어만 표현 가능. 각 나라별 언어를 표현할 수 없다.
• 여러 나라의 다양한 표준들과 충돌.
• 이를 해결하기위해 많은 표준들을 하나로 합칠 새로운 기준이 유니코드

 

유니코드(Unicode)

전 세계 언어의 문자를 정의하기 위한 국제 표준 코드

숫자와 글자, 즉 키 값이 1:1로 매핑된 형태의 코드

 

사용중인 운영체제, 프로그램, 언어에 관계 없이 문자마다 고유한 코드 값을 제공하는 새로운 개념의 코드

유니코드는 31비트 문자 셋 이지만, 특수한 문자를 제외한 전 세계 모든 문자들은 하위 16비트(ASCII 1byte 를 확장한 2 Byte) 의 영역 안에 정의. 최대 65,536자 표현 가능

영문/숫자/한글/한자 등 모든 글자는 이론적으로 2바이트. 특수 문자는 3바이트로 표현하는 가변적인 표현.

 

문제점

• 유니코드가 영어를 표현할 땐 1바이트로, 한글을 표현할 땐 2바이트로, 다른 특수문자를 표현할 땐 3바이트로 표현하는 가변적인 표현의 문제가 생긴다.
  때에 따라 1/2바이트를 읽으니 이는 컴퓨터에게 매우 큰 혼란은 준다. 따라서 어떤 글자는 1바이트로, 어떤 글자는 2바이트로 읽을지 정해줘야한다.

 

 

UTF-8 (8-bit Unicode Transformation Format: 가변길이 인코딩)

유니코드를 사용하는 인코딩 방식 중 하나이며 문자에 따라 1~4개 바이트에 나누어 저장하는 가변 길이 인코딩 방식을 취한다.

• UTF-8은 문자열 집합과 인코딩 형태를 8비트 단위로 한다는 의미를 가지고 있다.
• UTF-8은 31비트의 유니코드를 1~4개의 바이트에 나누어 저장하는 방식
  • 보통 1바이트만으로 표시되고, 4바이트로 표현되는 문자는 모두 기본 다국어 평면(BMP) 바깥의 유니코드 문자이며 거의 사용되지 않는다.
• UFT-8 첫 번째 바이트를 읽는 것만으로 몇 개의 바이트로 구성된 것인지 알 수 있음
  
  지나친 저장소의 낭비를 피하기 위해 아스키코드로 표현 가능한 문자(영문/숫자/기호)는 1바이트로, 아스키 코드로 표현할 수 없는 문자(한글/한자)는 2바이트로 이상으로 표현(한글은 보통 3바이트로 표현)

그렇다면 어떻게 1바이트로 읽을지 4바이트로 읽을지 알 수 있는걸까?
그것은 첫번째 바이트를 시작하는 비트가 어떤 것이냐를 보면 알 수 있다.

• 0xxxxxxx : 첫 번째 바이트가 0으로 시작한다면 0이외의 7 비트를 아스키로 인식한다.
• 110xxxxx 10xxxxxx 두번째 바이트까지 읽어서 하나의 문자로 표현
• 1110xxxx 10xxxxxx 10xxxxxx 세번째 바이트까지 읽어서 하나의 문자로 표현
• 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx 네번째 바이트까지 읽어서 하나의 문자로 표현

장점

여기서 UTF-8의 강점은 아스키방식과 완벽하게 호환(영문 영역에서는 100% 호환)된다는 것이다.
최근에 표준으로 가장 많이 사용되고 있는 인코딩 방식이다.

전 세계의 모든 언어를 하나의 파일에 쓸 수 있다

 

참고

• halfmoon9.tistory.com/61
• velog.io/@kim-jaemin420/ASCII-Unicode-%EC%95%84%EC%8A%A4%ED%82%A4%EC%BD%94%EB%93%9C%EC%99%80-%EC%9C%A0%EB%8B%88%EC%BD%94%EB%93%9C
• www.parkjonghyuk.net/lecture/2015-2nd-lecture/Computer%20Security/chap02.pdf
• ko.wikipedia.org/wiki/UTF-8