Tổng quan về Data Mapping trong khoa học dữ liệu

Data mapping rất quan trọng đối với sự thành công của các quy trình làm việc với dữ liệu. Một bước sai lầm trong data mapping có thể lgây ảnh hưởng lớn trong việc phân tích, dẫn đến các lỗi lặp lại và cuối cùng là cho ra kết quả không chính xác. Hãy cùng Cole tìm hiểu sâu hơn về data mapping trong bài viết dưới đây.

Data Mapping là gì?

Data mapping là quá trình khớp các trường dữ liệu từ nguồn này với các trường dữ liệu trong nguồn khác. Nó giúp đảm bảo rằng dữ liệu từ một nguồn có thể được chuyển đổi hoặc chuyển giao một cách chính xác và hiệu quả đến một đích khác trong khi vẫn duy trì tính toàn vẹn, nhất quán và ý nghĩa của nó. Data mapping là bước đầu tiên của bất kỳ quy trình dữ liệu nào, bao gồm ETL và data integration.

Quá trình Data Mapping diễn ra như thế nào?

Bây giờ bạn đã hiểu chính xác data mapping là gì, đã  đến lúc hướng dẫn bạn từng bước về quy trình data mapping:

Xác định Phạm vi của Dự án

Xác định rõ ràng các mục tiêu của quá trình lập bản đồ dữ liệu, bao gồm dữ liệu nào cần được mapping và tại sao. Một số mục tiêu data mapping phổ biến bao gồm:

• Data Integration: Bạn có thể có dữ liệu từ nhiều nguồn khác nhau và bạn có thể cần hợp nhất dữ liệu đó thành một định dạng thống nhất và nhất quán. Ví dụ: bạn có thể muốn kết hợp dữ liệu khách hàng từ trang web, ứng dụng di động và cửa hàng thực tế của mình để có được cái nhìn toàn diện về khách hàng của mình.
• Data Migration: Trong trường hợp bạn đang chuyển đổi sang hệ thống hoặc cơ sở dữ liệu mới, mục tiêu có thể là di chuyển dữ liệu hiện có từ hệ thống cũ sang hệ thống mới trong khi vẫn đảm bảo tính toàn vẹn và tương thích của dữ liệu.
• Data Quality Improvement: Đôi khi, mục tiêu chính là cải thiện chất lượng dữ liệu và bạn có thể sử dụng data mapping để xác định và sửa lỗi dữ liệu, sự không nhất quán hoặc trùng lặp trong quá trình.

Xác định nguồn dữ liệu

Tiếp theo, xác định các loại nguồn dữ liệu khác nhau có liên quan đến dự án của bạn. Chúng có thể bao gồm cơ sở dữ liệu quan hệ, flat files, APIs, external systems, legacy systems hoặc data warehouses. Sau đó, hãy kiểm tra lược đồ hoặc cấu trúc của từng nguồn dữ liệu. Hiểu các bảng, cột, kiểu dữ liệu và mối quan hệ trong source data vì nó sẽ giúp bạn lập kế hoạch cho quá trình data mapping một cách hiệu quả.

Profile Data

Đây là một trong những bước quan trọng nhất trong quy trình data mapping. Việc lập data profiling sẽ giúp bạn hiểu cách sắp xếp dữ liệu, chẳng hạn như liệu dữ liệu đó có được lưu trữ trong bảng, tệp hay các định dạng khác hay không. Trong cơ sở dữ liệu quan hệ, việc lập hồ sơ dữ liệu bao gồm việc xác định mối quan hệ giữa các bảng bằng cách sử dụng foreign keys, primary keys hoặc các liên kết khác. Hiểu các mối quan hệ này là rất quan trọng để mapping và nối dữ liệu một cách chính xác. Nó cũng sẽ giúp bạn hiểu chất lượng dữ liệu của mình trong trường hợp có bất kỳ giá trị nào bị thiếu, không nhất quán,…

Khớp các trường

Khớp các trường trong quy trình data mapping là một bước quan trọng liên quan đến việc xác định và thiết lập mối quan hệ giữa các thành phần dữ liệu (trường) trong tập dữ liệu nguồn và đích. Các trường có mối quan hệ một-một giữa nguồn và đích là những trường dễ mapping nhất.

Ví dụ: nếu nguồn có trường “Tên khách hàng” và đích cũng là trường “Tên khách hàng”, bạn sẽ mapping chúng trực tiếp. Nếu trường nguồn cần được chuyển đổi trước khi được tải vào đích, bạn sẽ chỉ định logic chuyển đổi. Ví dụ: nếu nguồn có trường “Ngày sinh” ở định dạng ngày khác với mục tiêu, bạn sẽ mapping trường đó bằng quy tắc chuyển đổi để chuyển đổi định dạng ngày.

Chuyển đổi dữ liệu

Rất có thể dữ liệu của bạn không được chuẩn hóa hoặc có cùng định dạng, vì vậy bạn có thể cần phải chuyển đổi dữ liệu đó. Hầu hết các công cụ đều có chức năng và chuyển đổi dữ liệu tích hợp, giúp thao tác dữ liệu dễ dàng hơn. Bạn có thể dễ dàng kéo và thả, sắp xếp, hợp nhất và nối các phép biến đổi. Bạn cũng có thể sử dụng các phép biến đổi phức tạp như normalize, denormalize, tree join,…

Data Mapping là chìa khóa để quản lý dữ liệu

Data mapping là một phần thiết yếu của các quy trình quản lý dữ liệu. Nếu không được mapping chính xác, dữ liệu có thể bị hỏng khi di chuyển đến đích. Chất lượng trong data mapping là chìa khóa để tận dụng tối đa dữ liệu của bạn trong quá trình di chuyển, tích hợp, chuyển đổi dữ liệu và điền vào kho dữ liệu.

Data migration

Data migration là quá trình di chuyển dữ liệu từ hệ thống này sang hệ thống khác dưới dạng one-time event. Nói chung, đây là dữ liệu không thay đổi theo thời gian. Sau khi di chuyển, đích là nguồn dữ liệu được di chuyển mới và nguồn ban đầu sẽ không còn hoạt động nữa. Data mapping hỗ trợ quá trình di chuyển bằng cách ánh xạ các trường nguồn sang trường đích.

Data integration

Tích hợp dữ liệu là một quá trình liên tục di chuyển dữ liệu thường xuyên từ hệ thống này sang hệ thống khác. Việc tích hợp có thể được lên lịch, chẳng hạn như hàng quý hoặc hàng tháng hoặc có thể được kích hoạt bởi một sự kiện. Dữ liệu được lưu trữ và duy trì ở cả nguồn và đích. Giống như di chuyển dữ liệu, data máp tích hợp khớp các trường nguồn với trường đích.

Data transformation

Chuyển đổi dữ liệu là quá trình chuyển đổi dữ liệu từ định dạng nguồn sang định dạng đích. Điều này có thể bao gồm làm sạch dữ liệu bằng cách thay đổi loại dữ liệu, xóa giá trị rỗng hoặc trùng lặp, tổng hợp dữ liệu, làm phong phú dữ liệu hoặc các phép biến đổi khác. 

Ví dụ: “Illinois” có thể được chuyển đổi thành “IL” để phù hợp với định dạng đích. Các công thức chuyển đổi này là một phần của data maps. Khi dữ liệu được di chuyển, data map sử dụng các công thức chuyển đổi để lấy dữ liệu ở định dạng chính xác để phân tích.

Data warehouse

Nếu mục tiêu là gộp dữ liệu vào một nguồn để phân tích hoặc thực hiện các nhiệm vụ khác thì dữ liệu đó thường được gộp trong kho dữ liệu. Khi bạn chạy truy vấn, báo cáo hoặc thực hiện phân tích, dữ liệu sẽ được lấy từ kho. Dữ liệu trong kho đã được di chuyển, tích hợp và chuyển đổi. Data mapping đảm bảo rằng khi dữ liệu vào kho, nó sẽ đến đích theo đúng dự định.

Tầm quan trọng của data mapping trong các ngành công nghiệp cụ thể

Hãy quan sát việc sử dụng data mapping trong cách ngành công nghiệp để thấy được tầm quan trọng của việc kết nối dữ liệu chất lượng có thể tác động đến quá trình đạt được mục tiêu như thế nào:

Healthcare

Trong ngành chăm sóc sức khỏe, data mapping giúp đạt được khả năng tương tác cho EHR (electronic health record) bằng cách khớp dữ liệu giữa nguồn và đích. Điều này cho phép các chuyên gia chăm sóc sức khỏe chia sẻ thông tin quan trọng của bệnh nhân và kết hợp dữ liệu chăm sóc sức khỏe từ nhiều cơ sở dữ liệu, ứng dụng và kho dữ liệu khác nhau như EHR và EMR. Dữ liệu được mapping tiếp tục được sử dụng cho các quy trình quan trọng khác, chẳng hạn như di chuyển dữ liệu và tích hợp dữ liệu.

Finance

Data mapping cũng tạo điều kiện quản lý thông tin tài chính hiệu quả và chính xác. Nó cho phép các tổ chức hiểu một cách toàn diện luồng dữ liệu tài chính trong hệ thống của họ, chẳng hạn như hồ sơ giao dịch, báo cáo thu nhập, bảng cân đối kế toán và danh mục đầu tư. Cách trình bày có cấu trúc này giúp xác định các mối quan hệ dữ liệu quan trọng, đảm bảo tính nhất quán, minh bạch của dữ liệu và tuân thủ các tiêu chuẩn quy định.

Retail

Data mapping đóng một vai trò quan trọng trong bán lẻ bằng cách thu hẹp khoảng cách giữa trải nghiệm mua sắm trực tuyến và ngoại tuyến. Nó cho phép các nhà bán lẻ tập hợp dữ liệu từ nhiều nguồn khác nhau như nền tảng thương mại điện tử, trang web, ứng dụng di động và phương tiện truyền thông xã hội để tạo ra chế độ xem 360 độ cho khách hàng. 

Với hồ sơ khách hàng hoàn chỉnh, nhà bán lẻ có thể cá nhân hóa các chiến dịch tiếp thị một cách hiệu quả. Ví dụ: nếu khách hàng duyệt qua một số sản phẩm nhất định trên trang web hoặc ứng dụng, data mapping sẽ cho phép nhà bán lẻ gửi đề xuất hoặc khuyến mãi phù hợp qua email, mạng xã hội hoặc thậm chí thông báo tại cửa hàng.

Hãy tưởng tượng bạn là nhà phân tích làm việc cho một cửa hàng E-commerce lớn. Bạn muốn theo dõi hành trình của khách hàng để tìm hiểu khách hàng đến từ đâu và họ thực hiện những hành động nào trước khi mua hàng. Để phân tích dữ liệu, bạn cần kết hợp, chuyển đổi dữ liệu và sau đó gửi nó đến một công cụ phân tích dữ liệu như Tableau, PowerBI hoặc kho dữ liệu. Data mapping sẽ là khởi đầu giúp bạn có được insight chất lượng mong muốn. Theo dõi Cole và tham khảo khóa đào tạo ba để có thêm nhiều kiến thức mới nhất về lập trình và khoa học dữ liệu. 
>> Xem thêm: Sự khác biệt giữa Wireframe, Mockup và Prototype bạn chưa biết