Logical Data Warehouse – Kho dữ liệu thế hệ mới

Kiến trúc kho dữ liệu cổ điển (Data Warehouse dạng DIM và Fact) đã phục vụ tốt cho nhiều tổ chức cho đến năm 2011. Tuy nhiên, khi nhu cầu phân tích và xử lý các dữ liệu đa dạng và phức tạp để giúp cho các doanh nghiệp có thể có nhiều hơn các cơ hội với những khối dữ liệu phi cấu trúc (Nosql) ví dụ dữ liệu hình ảnh, âm thanh, file log,…

Đã đến lúc các tổ chức chuyển dần sang một kiến trúc linh hoạt hơn – kiến trúc kho dữ liệu logic (Logical Data Warehouse). Kiến trúc này, do Gartner giới thiệu, một mặt dựa trên sự phân tách các báo cáo và phân tích, mặt khác là các nguồn dữ liệu và sự tiến hóa của Data warehouse:

Vậy thành phần của Logical Data Warehouse này gồm những gì, ưu và nhược điểm của kho dữ liệu thế hệ mới này như thế nào? Bài viết này Cole xin giới thiệu tới quý vị và các bạn nhằm hiểu hơn các thành phần và ứng dụng của Kiến trúc Data warehouse thế hệ mới này nhé các bạn:

CÁC THÀNH PHẦN CỦA LOGICAL DATA WAREHOUSE:

Thành phần đầu tiên là các nguồn dữ liệu (Data Source): Dữ liệu ERP, dữ liệu CRM, dữ liệu HRM, dữ liệu thu thập từ các nguồn bên ngoài tác động đến hoạt động của doanh nghiệp như dữ liệu từ mạng xã hội, hoặc có thể là dữ liệu từ báo chí, File log web, các chip cảm biến từ hoạt động nhà máy,…
Thành phần thứ 2-Master Data Managerment (MDM): Mỗi doanh nghiệp cần có hệ thống lưu trữ đổ dữ liệu từ Data Source này về kho chung là Master Data Managerment (MDM).
Thành phần thứ 3 – ODS: ODS được sử dụng để lưu trữ dữ liệu ngắn hạn hoặc dữ liệu đang được sử dụng bởi các hệ thống vận hành hoặc các ứng dụng (OLTP – dư liệu giao dịch), trước khi lưu trữ trong một kho dữ liệu (Data Warehouse)Do đó, nó phục vụ như một cơ sở dữ liệu trung gian. Là dữ liệu dạng Nearing time (gần như Reatime trước khi được ETL sang kho dữ liệu dạng OLAP để phân tích đa chiều).
Thành phần thứ 4 – Data warehouse Physical: là kho dữ liệu vật lý cổ điển để làm BI trong doanh nghiệp.
Thành phần thứ 5- Data Mart: Sau khi có những dữ liệu vật lý Data Mart, đây là một mô hình thu nhỏ của Data Warehouse. Ở một số công ty thì nhiều Data Mart sẽ tạo thành Data Warehouse. có thể nói Data Mart là Data Warehouse của từng phòng ban hoặc bộ phận.
Thành phần thứ 6- sandbox: (vùng thử nghiệm dữ liệu giống như khu để test chức năng trước khi cho chạy chính), dữ liệu này sẽ không động đến dữ liệu chính đang hoạt động.
Thành phần thứ 7- Data lake:. Trong Data lake, tất cả các loại dữ liệu (dữ liệu thô) từ các nguồn của hệ thống đều được lưu trữ. Bao gồm các nguồn dữ liệu có thể bị từ chối lưu trữ trong Data warehouse, chẳng hạn như nhật ký web server, dữ liệu cảm biến, hoạt động trên mạng xã hội, văn bản và hình ảnh, v.v…

Trên đây là thông tin chi tiết về các thành phần về kho dữ liệu kiến trúc thế hệ mới quan điểm của Gartner. Điều quan trọng nhất từ khái niệm này là của doanh nghiệp là cần xác định các chiến lược kinh doanh, từ đó có thể xác định được kiến trúc công nghệ và kiến trúc dữ liệu cho bài toán quản trị dữ liệu của mình.

>> Data Warehouse, Data lake và sự tiến hóa của nó

Nếu bạn đang muốn ứng dụng chuyển đổi số với kiến trúc công nghệ thông tin, kiến trúc dữ liệu, kiến trúc nghiệp vụ, kiến trúc an toàn thông tin cho doanh nghiệp. Vui lòng tham khảo các khóa học chuyển đổi số doanh nghiệp ứng dụng CNTT do blog.cole.vn phối hợp cùng chuyên gia Nguyễn Thế Anh hiện đang là CIO tập đoàn BRG, người có hơn 20 năm kinh nghiệm trong lĩnh vực CNTT, giải pháp phần mềm, chuyển đổi số chính phủ điện tử,… Bên cạnh đó, nếu bạn muốn trở thành chuyên gia phân tích dữ liệu, khóa học data analysis và khóa data engineer sẽ là phương án tốt cho bạn, liên hệ Cole để được tư vấn thêm về định hướng và nhu cầu học.