테이블 생성 및 관리
테이블 생성
테이블은 데이터베이스에 종속된 메타데이터입니다. 테이블을 생성하려면 먼저 카탈로그와 데이터베이스가 생성되어 있어야 합니다. 데이터베이스 상태는 Active 또는 Altering이어야 데이터베이스에 테이블을 생성할 수 있습니다. Data Catalog 서비스에서 테이블을 만드는 방법은 다음과 같습니다.
-
카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.
-
Table 메뉴 또는 데이터베이스 상세 페이지에서 [테이블 생성] 버튼을 클릭합니다.
-
필요한 정보를 입력한 후, [생성] 버튼을 클릭합니다.
구분 설명 데이터베이스 테이블을 추가할 데이터베이스의 이름
- 데이터베이스를 선택하면 네트워크/서브넷 정보 확인 가능테이블 이름 테이블의 이름
- 동일 프로젝트 내에서 중복된 MySQL 인스턴스 그룹 이름은 사용할 수 없음데이터 저장 경로 데이터베이스가 생성되는 Object Storage의 경로를 입력 (데이터베이스 경로에 따라 하위 테이블의 경로 값이 참조됨)
- 버킷 이름: 버킷 이름을 입력
- 디렉터리: 직접 입력 시swifta://{버킷이름}.kic/{디렉터리}형식에 맞춰 입력데이터 유형 테이블의 데이터 유형 지정
- 지원하는 유형: Avro, JSON, Parquet, ORC, CSV설명 (선택) 테이블에 대한 부가 설명 스키마 [필드 추가] 버튼을 클릭해 필드 추가
- 최대 50개까지 추가 가능
- 파티션 키로 지정되지 않은 필드가 1개 이상 있어야 스키마 생성 가능
- 필드 이름: 필드 이름
ㄴ avro 유형의 경우, 필드 이름은 숫자로 시작 불가
- 데이터 유형: 필드의 데이터 유형
- 파티션 키: 파티션 키 지정 여부, 테이블 생성 시에만 지정 가능
- 코멘트: 파티션의 코멘트 130자까지 입력 가능, 이모지 입력 불가
- [더 보기] 아이콘: 필드 수정, 삭제
파티션 키로 지정되지 않은 필드가 1개 이상 있어야 스키마를 생성할 수 있습니다. 스키마 생성 방법에 대한 자세한 설명은 스키마 필드 추가를 참고하시기 바랍니다.
테이블 관리
Data Catalog 서비스에서 테이블을 관리하는 방법을 설명합니다.
테이블 목록 보기
Data Catalog의 테이블 목록에서 현재 사용 중인 테이블 목록을 조회할 수 있습니다.
-
카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.
-
Table 메뉴를 클릭하여 테이블 목록을 확인합니다.
항목 설명 테이블 이름 생성할 때 입력한 테이블 이름
- 테이블 이름을 클릭하여, 세부 정보 탭으로 이동 가능연결된 데이터베이스 테이블에 연결된 데이터베이스의 이름 상태 테이블의 상태 데이터 저장 경로 생성할 때 입력한 테이블 데이터 저장 경로 데이터 유형 테이블의 데이터 유형 최종 수정일 테이블의 최종 수정일시 [더 보기] 아이콘 - 전체 스키마 보기: 테이블의 전체 스키마 조회
- 테이블 수정: 테이블 이름과 설명 수정
- 테이블 삭제: 테이블 삭제
*INACTIVE상태의 경우, 단일 삭제만 가능하며 테이블 수정 불가
테이블 상세 보기
테이블의 상세 정보를 확인할 수 있습니다.
- 카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.
- Table 메뉴를 클릭 후, 테이블 목록에서 상세 정보를 확인할 테이블을 선택합니다.
- 해당 테이블의 세부 정보를 확인합니다.
테이블 삭제
더 이상 사용하지 않는 테이블을 삭제할 수 있습니다.
삭제한 테이블과 데이터는 복구할 수 없습니다.
- 카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.
- Table 메뉴를 클릭한 뒤, 테이블 목록에서 삭제할 테이블의 [더 보기] 아이콘을 클릭 후, 테이블 삭제를 선택합니다.
- 테이블 삭제 팝업창에서 삭제할 테이블의 이름을 동일하게 입력하고, [삭제] 버튼을 클릭합니다.
테이블 내 데이터 관리
카카오클라우드 콘솔(KakaoCloud Console)의 Data Catalog 서비스에서 테이블 내 데이터를 관리하는 방법을 설명합니다. Serde 파라미터, 테이블 속성, 스키마, 파티션을 관리할 수 있습니다.
크롤러로 생성 된 테이블(MySQL유형)의 경우 스키마 데이터만 노출됩니다.
Serde 파라미터 조회
Serde 파라미터를 조회하는 방법은 다음과 같습니다.
-
카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.
-
Table 메뉴를 클릭 후, 테이블 목록에서 Serde 파라미터를 조회할 테이블을 선택합니다.
-
Serde 파라미터 탭을 선택합니다.
항목 설명 key Serde 파라미터의 key 값 Value Serde 파라미터의 Value 값 [더 보기] 아이콘 - Serde 파라미터 수정
* 23년 1월 기준 파라미터 삭제 미지원
Serde 파라미터 추가
신규 Serde 파라미터를 추가하는 방법은 다음과 같습니다.
-
카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.
-
Table 메뉴를 클릭 후, 테이블 목록에서 Serde 파라미터를 추가할 테이블을 선택합니다.
-
Serde 파라미터 탭에서 [Serde 파라미터 추가하기] 버튼을 클릭합니다.
-
Serde 파라미터 추가하기 팝업창에서 파라미터를 추가하고 [추가] 버튼을 클릭합니다.
항목 설명 key Serde 파라미터의 key 값 Value Serde 파라미터의 Value 값
- 이모지 입력 불가
Serde 파라미터 수정
Serde 파라미터를 수정하는 방법은 다음과 같습니다.
- 카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.
- Table 탭을 클릭 후, 테이블 목록에서 Serde 파라미터를 수정할 테이블을 선택합니다.
- Serde 파라미터 탭에서 [더 보기] 아이콘을 클릭하고, Serde 파라미터 수정을 선택합니다.
- Serde 파라미터 수정하기 팝업창에서 Value를 수정하고 [수정] 버튼을 클릭합니다.
테이블 속성 조회
Data Catalog의 테이블 목록에서 현재 사용 중인 테이블 목록을 조회할 수 있습니다.
-
카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.
-
Table 메뉴를 클릭 후, 테이블 목록에서 테이블 속성을 조회할 테이블을 선택합니다.
-
테이블 속성 탭에서 테이블 속성을 확인합니다.
항목 설명 key 테이블 속성의 key 값 Value 테이블 속성의 Value 값 [더 보기] 아이콘 - 테이블 속성 수정
- 테이블 속성 삭제
테이블 속성 추가
테이블 속성을 추가하는 방법은 다음과 같습니다.
-
카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.
-
Table 메뉴를 클릭 후, 테이블 목록에서 테이블 속성을 추가할 테이블을 선택합니다.
-
테이블 속성 탭에서 [테이블 속성 추가하기] 버튼을 클릭합니다.
-
테이블 속성 추가하기 팝업창에서 속성을 추가하고 [추가] 버튼을 클릭합니다.
항목 설명 key 테이블 속성의 key 값 Value 테이블 속성의 Value 값
- 이모지 입력 불가
테이블 속성 수정
테이블 속성을 수정하는 방법은 다음과 같습니다.
- 카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.
- Table 메뉴를 클릭 후, 테이블 목록에서 테이블 속성을 추가할 테이블을 선택합니다.
- 테이블 속성 탭에서 수정할 테이블 속성의 [더 보기] 아이콘 > 테이블 속성 수정을 선택합니다.
- 테이블 속성 수정하기 팝업창에서 속성을 수정하고 [수정] 버튼을 클릭합니다.
테이블 속성 삭제
Data Catalog의 테이블 상세 정보에서 현재 사용 중인 테이블 속성을 삭제할 수 있습니다.
삭제한 데이터는 복구할 수 없습니다.
- 카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.
- Table 메뉴를 클릭 후, 테이블 목록에서 테이블 속성을 삭제할 테이블을 선택합니다.
- 테이블 속성 탭에서 삭제할 테이블 속성의 [더 보기] 아이콘 > 테이블 속성 삭제를 선택합니다.
- 테이블 속성 삭제 팝업창에서 [삭제] 버튼을 클릭합니다.
스키마 필드 조회
Data Catalog의 테이블 상세 정보에서 스키마 필드를 조회할 수 있습니다.
-
카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.
-
Table 메뉴를 클릭 후, 테이블 목록에서 스키마 필드를 조회할 테이블을 선택합니다.
-
스키마 탭에서 스키마 필드를 조회합니다.
항목 설명 No. 파티션 필드를 정렬을 위한 칼럼 번호
- 최초 칼럼 번호는 1부터 시작
- 칼럼 번호는 1과 마지막 숫자에 +1한 숫자 사이에서 지정
* 파티션키로 지정된 경우 입력하지 않음필드 이름 설정한 스키마 필드 이름 데이터 유형 필드의 데이터 유형
조회 가능한 스키마가 있는 경우, 클릭해 확인 가능
- 지원하는 유형:array,bigint,binary,boolean,char,date,decimal,
double,float,int,map,smallint,string,struct,timestamp,tinyint,union,varchar파티션 키 테이블 생성 시 파티션 키 옵션 지정 유무 코멘트 스키마 관련 설명 더보기 - 필드 수정: 필드 수정 팝업
- 필드 삭제: 필드 삭제 팝업
스키마 필드 추가
Data Catalog의 테이블 상세 정보에서 스키마 필드를 추가할 수 있습니다. 단, 최대 50개까지 추가할 수 있습니다.
데이터 유형이 JSON, CSV, MySQL일 경우, 테이블 생성 후 필드 추가, 수정, 삭제할 수 없습니다.
-
카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.
-
Table 메뉴를 클릭 후, 테이블 목록에서 스키마 필드를 추가할 테이블을 선택합니다.
-
스키마 탭을 클릭한 뒤 [필드 추가] 버튼을 클릭합니다.
-
필드 추가 팝업창에서 정보를 입력하고 [추가] 버튼을 클릭합니다.
항목 설명 칼럼 번호 파티션 필드를 정렬을 위한 번호
- 최초 칼럼 번호는 1부터 시작
- 칼럼 번호는 1과 마지막 숫자에 +1한 숫자 사이에서 지정
* 파티션키로 지정된 경우 입력하지 않음필드 이름 필드 이름을 입력 데이터 유형 필드의 데이터 유형
- 지원하는 유형:array,bigint,binary,boolean,char,date,decimal,
double,float,int,map,smallint,string,struct,timestamp,tinyint,union,varchar코멘트 (선택) 필드에 대한 설명
스키마 필드 수정
Data Catalog의 테이블 상세 정보에서 스키마 필드를 수정할 수 있습니다.
- 카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.
- Table 메뉴를 클릭 후, 테이블 목록에서 스키마 필드를 추가할 테이블을 선택합니다.
- 스키마 탭에서 수정할 스키마 필드의 [더 보기] 아이콘 > 필드 수정을 선택합니다.
- 필드 수정 팝업창에서 정보를 수정하고 [수정] 버튼을 클릭합니다.
스키마 필드 삭제
Data Catalog의 테이블 상세 정보에서 현재 사용 중인 스키마 필드를 삭제할 수 있습니다.
삭제한 데이터는 복구할 수 없습니다.
- 카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.
- Table 메뉴를 클릭 후, 테이블 목록에서 스키마 필드를 삭제할 테이블을 선택합니다.
- 스키마 탭에서 삭제할 스키마 필드의 [더 보기] 아이콘 > 필드 삭제를 선택합니다.
- 필드 삭제 팝업창에서 [삭제] 버튼을 클릭합니다.
파티션 조회
Data Catalog의 테이블 상세 정보에서 파티션을 조회할 수 있습니다.
-
카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.
-
Table 메뉴를 클릭 후, 테이블 목록에서 파티션을 조회할 테이블을 선택합니다.
-
파티션 탭에서 파티션 정보를 조회합니다.
항목 설명 id 사용자가 생성한 파티션 키 정보 Files 해당 파티션의 연결된 파일 링크 Properties 해당 파티션의 스키마 조회