클라우드는 세부 혁신을 주도합니다.

게시 됨: 2021-12-28

추출, 완전 변환 및 로드(ETL)의 일반적인 정보 변환 방법은 현재 클라우드 시스템이 지원하는 패셔너블한 트위스트로 머리를 맞대고 있습니다.

클라우드의 지출 감소, 적응성 및 확장성, 클라우드 지식 웨어하우스의 거대한 처리 능력은 주요 변화를 가져왔습니다. 이 개발은 ETL만 추출, 로드 및 완전 변환 또는 ELT로 변환되었음을 의미합니다.

ELT는 사실의 세분화, 값비싼 애플리케이션 엔지니어의 필요성 최소화 및 프로젝트 처리 상황의 현저한 감소와 함께 다양한 보상을 제공합니다.

정보 변환:

데이터는 고객을 인식하고 새로운 잠재 고객을 파악하고 결정권자에게 중요한 최신 데이터를 제공하는 데 데이터를 사용하는 기업에 매우 중요합니다. 그러나 데이터를 평가하려면 먼저 데이터를 구조화해야 합니다. 대시보드, 경험 및 예측 스타일로 끌어들일 수 있도록 이해되기를 원합니다.

문제는 익히지 않은 사실이 환상적인 형식의 사용 가능한 데이터로 나타나지 않는다는 것입니다. 이것이 바로 데이터 변환이 필요한 곳입니다. 지저분한 원시 세부 사항은 사람들이 뚜렷한 야망을 달성하는 데 도움이 되는 현실의 표현으로 재작업되기를 원합니다.

이 변환은 사실이 해당 위치(일반적으로 세부 정보 창고)에 로드되기 전이나 나중에 수행될 수 있습니다.

표준 ETL:

기존 ETL에서는 정보가 로드되기 직전에 시험 준비 지식 모델로 재구성됩니다. Fivetran의 Charles Wang은 다음과 같이 말했습니다. 이것은 또한 변환에 사용되는 소프트웨어 패키지가 일반적으로 Python 및 Java와 같은 종류의 스크립팅 언어를 사용하여 생성된다는 것을 의미합니다. 또한 ETL의 변환은 Airflow와 같은 종류의 도구를 사용하는 정교한 오케스트레이션의 훌륭한 제안을 요구할 수 있습니다.”

ETL은 일반적으로 맞춤 제작 코드의 훌륭한 제안도 포함합니다. 따라서 전통적인 ETL의 주요 문제는 접근성입니다. 희소하고 고가라는 것은 과학자들이 참여하기를 원하는 엔지니어와 사실을 의미합니다.

추가적인 어려움은 턴어라운드 경우와 관련이 있습니다. 사내 정보 웨어하우스와 관련된 기존 ETL 처리는 일반적으로 특히 시간이 많이 걸립니다. ETL 작업에는 정기적인 일상적인 유지 관리가 포함되며 복잡성이 발생할 수 있습니다.

변화를 위한 현대 기술:

스토리지는 관습적으로 엄청나게 높은 가격을 책정했습니다. 기업에 대한 ETL의 보상은 모든 지식을 최종 위치에 로드할 필요가 없다는 것이었습니다. 이제 클라우드 시스템으로 개선되었습니다. 남아프리카 공화국에서 클라우드 채택이 크게 개선되고 엔지니어링 비용이 눈에 띄게 감소하고 있습니다. 비용을 낮추면 기업이 스토리지 비용을 의식하지 않고도 모든 정보를 클라우드에 로드할 수 있습니다.

이는 현재의 ELT 워크플로에서 원시 지식이 로드된 직후 시험에 완벽하게 준비된 세부 설계로 개조된다는 것을 의미합니다. 창고에 있을 때 직관적인 영어 종속 구문 덕분에 훨씬 더 다양한 사람들이 적용할 수 있는 SQL을 사용하여 지식을 재작업할 수 있습니다. 결과적으로 변환은 코딩 노하우를 가진 이들뿐만 아니라 조직의 SQL에 능한 사용자에 의해 수행될 수 있습니다.

오늘날 정보 변환은 대부분 클라우드 기반 리소스와 시스템을 활용합니다. 이것들은 집합적으로 현대의 팩트 스택(MDS)이라고 하는 것을 구성합니다.

이 MDS의 핵심은 매우 효과적인 클라우드 지식 시스템으로, 일반적으로 세부 정보 호수를 포함할 수 있는 클라우드 웨어하우스입니다. 데이터베이스, 웹 프로그램 및 API를 포함한 다양한 리소스 프로그램에서 지식이 로드됩니다. 이를 위해 평판이 좋은 변환 계층을 사용하여 요리되지 않은 지식을 쿼리 전체 집합 데이터 세트로 변환합니다. 마지막으로, 소규모 비즈니스 협업 인텔리전스 및 시각화 솔루션을 통해 비즈니스는 지식과 상호 작용하고 정보 회사의 결론에 대해 실행 가능한 통찰력을 얻을 수 있습니다.

Details Transformation Spelled out으로 식별된 짧은 기사에서 Wang은 MDS가 다음 단계를 통해 정보를 퍼뜨리는 것을 고려합니다.

리소스 – 운영 데이터베이스, SaaS 애플리케이션, 상황 추적의 세부 정보
지식 파이프라인 – 리소스에서 사실을 추출하여 정보 웨어하우스에 대량으로 저장하고 때로는 이를 정규화합니다.
데이터 웨어하우스 – 분석에 최적화된 관계형 데이터베이스에 사실을 저장합니다.
지식 변환 장치 – 소스의 데이터를 사용하여 정보 웨어하우스 내에서 새로운 사실 모델을 만드는 SQL 종속 소프트웨어
분석 리소스 – 스토리 및 시각화 생성을 위한 도구, 이러한 종류의 소규모 비즈니스 인텔리전스 플랫폼

세부 정보 창고 내 변환:

변환은 조직이 분석을 위해 가지고 있어야 하는 특정 정보 디자인을 생성하도록 사용자 지정됩니다. 현대적인 ELT는 추출과 로딩을 변환으로부터 분리합니다. 이를 통해 기업은 데이터 통합 방법의 추출 및 로드 단계를 자동화하고 아웃소싱할 수 있습니다. 그런 다음 세부 정보가 이미 창고에 있는 시점에 집중 SQL 기반 변환 장치를 사용할 수 있습니다.

ELT의 핵심은 팩트가 로드되기 전에 큰 변환을 거치지 않았기 때문에 기본적으로 세분화된 유형으로 남아 있다는 것입니다. 공통 ETL을 사용하면 비즈니스에서 로드하기 전에 고유한 지식을 집계하여 첫 번째 세부 수준을 완전히 삭제할 수 있습니다.

새로운 ELT 아키텍처는 또한 상당한 기능, 유연성 및 가격 측면을 제공합니다. 로딩이 빠르며 조직은 현재 보유하지 않아도 되는 정보를 포함하여 정보 웨어하우스에 있는 모든 지식을 보존할 수 있습니다.

Wang은 "대략적으로 말하자면 정보 웨어하우스에서 재작업된 정보 스타일은 보기 또는 구체화된 보기가 될 수 있습니다."라고 말합니다. 그는 계속해서 사람이 체크아웃에 액세스할 때마다 데이터 웨어하우스가 관련 정보를 반환하는 쿼리를 실행한다는 점을 분명히 했습니다. 이러한 보기는 저장되지 않습니다. "대기 시간이 없고 계산 수단이 제한되지 않는 이상적인 지구에서는 모든 변환이 기본적으로 뷰가 될 것입니다."라고 그는 덧붙입니다.

대조적으로, 구체화된 광경은 디스크에 저장됩니다. 왜냐하면 거대한 테이블에서 즉석에서 생성된 보기나 정교한 질문으로 인해 세부 정보 창고가 질식할 수 있기 때문입니다.

EtLT:

ELT는 지식이 로드되기 전에 수행되는 경우가 많으므로 대부분의 시나리오에서 EtLT라고 해야 합니다. 이것은 중복, 중복 및 파생된 값을 제거합니다. 또한 분석가가 리소스 앱의 기본 데이터 제품을 편리하게 해석하고 그에 따라 새로운 평가 준비 정보 유형을 구성할 수 있도록 팩트에서 테이블을 가장 명확하고 실행 가능한 상호 관계 세트로 구성합니다.

Wang은 "추출 및 로딩 파이프라인의 출력은 아웃소싱되는 경우 표준화해야 하며 자동 ELT가 작업을 완료하는 것입니다"라고 말합니다. “자원의 정보를 효과적으로 정규화하려면 공급 응용 프로그램의 기본 작동 및 세부 모델에 대한 예리한 지식이 있어야 합니다. 이 문제를 피하는 이상적인 방법은 특정 리소스에 대한 정보 엔지니어링과의 집중적인 만남이 있는 팀에 추출 및 로딩을 아웃소싱하는 것입니다."

IT 전문가, Keyrus