메타데이터2 데이터 디스커버리 플랫폼 앞서 데이터를 관리에 있어 필요한 메타데이터, 데이터 리니지, 데이터 거버넌스의 개념에 대해서 알아보았다. 하지만 이러한 개념적인 부분 외에 실제 기업에서 데이터를 관리하기 위해 어떤 TOOL을 사용하고 있는지를 알아야 실제 기능을 체감할 수 있을 듯 하여 현재 상용중인 소프트웨어를 조사하게 되었다.각 기업의 기술블로그를 기초로 어떤 사용 소프트웨어가 있는지 각 장단점을 정리하는 것을 목표로 한다.데이터 디스커버리 플랫폼이란? (DDP, Data Discovery Platform)다양한 곳에서 생성되고 만들어지는 데이터를 사용자가 파악하는 것이 어려워지고 히스토리를 파악하기 힘듦데이터 이용자에게 어떤 데이터가 어디에 어떻게 생성되어 존재하는지에 관한 정보를 편리하게 제공데이터 파악에 대한 시간을 줄여서 .. 2024. 5. 26. 메타데이터 관리 ETL작업을 진행하며 가장 힘들었던 것은 원천데이터를 파악하는 것이었다.각 DB의 테이블명과 컬럼명만으로는 어떤 테이블인지 각 컬럼이 어떤 데이터인지 알기가 힘들었고,이후 ETL 작업이 완료 된 뒤에는 각 Mart table의 메타데이터를 확인하기 힘들어 유지보수에 애를 먹었다.또한 현업에게 데이터를 제공하는 과정에서 용어의 차이로 의사소통이 수월하지 못했다.이런 과정을 거쳐 DW를 관리함에 있어 메타데이터를 한 눈에 관리할 수 있는 기능이 필요하다 생각했고 해당내용에 대해 공부한 기록을 남길예정이다. 메타데이터란?데이터의 통합적인 관리를 위해서 파악해야 하거나 통제해야 할 대상이나 항목DB Schema데이터 구조데이터 표준데이터 흐름데이터 권한...RDB 기준 메타데이터비즈니스 메타데이터비즈니스 사용자.. 2024. 5. 19. 이전 1 다음
