Machine learning đang là một chủ đề đang rất HOT đang được nhắc tới. Để tìm hiểu Machine learning là gì, và về công nghệ AI đang là ngành mũi nhọn này, hãy cùng Cole.vn tìm hiểu tất tần tật về công nghệ này.
Machine learning (Học máy) là gì?
Machine learning là một lĩnh vực con của Trí tuệ nhân tạo (Artificial Intelligence). Machine Learning sẽ sử dụng các thuật toán cho phép máy tính có thể tự học từ dữ liệu để thực hiện các công việc thay vì được lập trình một cách rõ ràng.
Ứng dụng của machine learning trên thực tế
Machine Learning rất quan trọng vì nó mang lại cho các doanh nghiệp một quan điểm về xu hướng trong hành vi của khách hàng và các mẫu hoạt động kinh doanh, cũng như hỗ trợ phát triển các sản phẩm mới. Nhiều công ty hàng đầu ngày nay, chẳng hạn như Facebook, Google và Uber, đã để machine learning đã trở thành một điểm khác biệt cạnh tranh đáng kể cho nhiều công ty.
>> Tìm hiểu thêm về nghề machine learning engineer – công việc có mức lương hàng đầu hiện nay và khám phá ngay mô hình học máy nếu bạn chọn theo đuổi chiếc nghề này nhé
Xử lý ảnh
- Là một công nghệ máy tính được áp dụng cho hình ảnh giúp chúng ta xử lý, phân tích và trích xuất thông tin hữu ích từ chúng.
- Ứng dụng của công nghệ machine learning nhận diện hình ảnh: trực quan hóa, trích xuất thông tin hình ảnh, nhận dạng mẫu, phân loại, phân đoạn thông tin.
Phân tích văn bản
- Phân tích văn bản(Text analysis) là công việc trích xuất hoặc phân loại thông tin từ văn bản. Các văn bản ở đây có thể là các facebook posts, emails, các đoạn chats, tài liệu,…
- Ứng dụng: Các công ty sử dụng machine learning phân tích văn bản để xử lý dữ liệu văn bản phi cấu trúc cũng như tài liệu trực tuyến một cách nhanh chóng.. Sau đó chuyển đổi chúng thành những loại thông tin phục vụ quá trình ra quyết định.
- Ví dụ: Phân loại emails là “spam” hay “không spam”. Phân loại chuyên mục của các bài báo điện tử
Khai phá dữ liệu
- Data Mining hay còn gọi là khai phá dữ liệu là việc dùng các mô hình machine learning xử lý, nhận biết các xu hướng từ các nguồn dữ liệu để có thể đưa ra quyết định và đánh giá.
- Ứng dụng: Data Mining – khai phá dữ liệu được ứng dụng trong việc phân tích kinh doanh, dự báo thời tiết,….
- Nguồn gốc của khai phá dữ liệu là cơ sở dữ liệu và toán thống kê.
Trò chơi điện tử và robot
Giả sử ta có một nhân vật trong game cần di chuyển và tránh các chướng ngại vật. Machine learning có thể học cách chơi game, sau đó giải quyết công việc này thay bạn.
- Lý thuyết áp dụng: Học tăng cường (Reinforcement Learning). Lúc này máy sẽ học tăng cường với mục tiêu là giải quyết nhiệm vụ tại ví dụ trên.
- Học tăng cường được coi là tiêu cực nếu nó va phải chướng ngại vật, là tích cực nếu nó chạm tới đích.
- Ví dụ thành công của trò chơi điện tử và robot: Cỗ máy AlphaGo của Google DeepMind đã đánh bại kỳ thủ cờ vây số 1 thế giới năm 2017.
Cách hoạt động của machine learning là gì
Ví dụ thực tế
Hãy cùng hình dung trong một vài ví dụ khác:
- VD1: Một hệ thống nhận vào một hình ảnh, nó phải xác định xem trong đó có khuôn mặt của Ngọc Trinh hay không. Điều này thấy rõ nhất ở chức năng tự động gắn thẻ khuôn mặt của Facebook.
- VD2: Hệ thống nhận vào các reviews về một sản phẩm đồ ăn. cần xác định các reviews đó có nội dung tích cực hay tiêu cực.
- VD3: Một hệ thống nhận vào hình ảnh/ thông tin của một người. Đánh giá số điểm đo khả năng người đó sẽ trả một khoản vay tín dụng.
Trong VD1, nhiệm vụ phát hiện khuôn mặt của người mẫu Ngọc Trinh trong một bức ảnh. Kinh nghiệm có thể là một tập hợp các ảnh có khuôn mặc Ngọc Trinh và một tập ảnh khác không có. Hiệu suất sẽ được tính bằng tỉ lệ đoán chính xác trên một tập ảnh mới.
Trong VD2, nhiệm vụ của bài toán là là gán nhãn cho mỗi review. Kinh nghiệm ở đây có thể là tập hợp các review và nhãn tương ứng của nó. Hiệu suất được đo bằng tỉ lệ dự đoán nhãn chính xác trên các review mới.
Trong VD3, bài toán cần giải quyết là đánh giá điểm tin cậy của người dùng để thực hiện cho vay tín dụng. Kinh nghiệm có thể học được từ các tập hình ảnh/ thông tin của những người vay tín dụng trước đi kèm thông tin họ có chi trả khoản vay tín dụng đó không. Hiệu suất của mô hình sẽ được đo bằng tỉ lệ dự đoán đúng trên tập khách hàng mới.
Huấn luyện mô hình
Huấn luyện mô hình machine learning là gì? Đây là một quá trình trong đó các các lập trình viên sẽ để thuật toán học máy Machine Learning được làm đầy với dữ liệu đào tạo để máy đủ để học hỏi.
Có 7 bước chính liên quan đến việc huấn luyện mô hình:
Xác định vấn đề
Xác định vấn đề chính là xác định mục tiêu nghiên cứu.
Bước này là nơi các kịch bản và các phương pháp được dùng để giải quyết vấn đề có thể được đem ra so sánh và thảo luận kỹ, cũng như việc các giả định được dự tính trước và dự trù được mức độ cần thiết và can thiệp chuyên môn của con người.
Bước này bao gồm việc xác định loại Machine Learning nào (học được giám sát hay học không giám sát, v.v.) sẽ được áp dụng và các chỉ tiêu đánh giá hiệu suất nào có thể được chấp nhận.
Thu thập dữ liệu
Cần xác định: xác định lượng dữ liệu cần thiết, loại dữ liệu cần thiết, nguồn lấy dữ liệu ở đâu, đánh giá các vấn đề liên quan tới pháp lý xung quanh việc thu thập dữ liệu …
Tiến hành việc lấy dữ liệu. Một khi bạn có dữ liệu, bạn cần đảm bảo dữ liệu được ẩn danh một cách phù hợp với các tiêu chuẩn pháp lý, đảm bảo bạn biết loại dữ liệu bạn thu thập được thực sự có dạng là gì (dạng chuỗi thời gian, dạng quan sát, dạng hình ảnh, v.v.),
Hãy chuyển dữ liệu sang định dạng bạn cần nếu định dạng của nó chưa phù hợp và tạo ra các tập dữ liệu đào tạo, tập dữ liệu xác nhận và tập dữ liệu test.
Trước tiên chúng ta cần phải hiểu và nắm được bài toán cần giải quyết là gì để có thể tìm kiếm chính xác dữ liệu để training cho máy! Bạn có thể tìm ảnh, videos từ các trang mạng xã hội, ảnh vệ tinh trên Google, free collected data từ camera công cộng hay xe hơi (Waymo, Tesla), thậm chí có thể mua dữ liệu từ bên thứ 3 (lưu ý tính chính xác của dữ liệu). Cũng cần phải biết đến những dataset đã được tổng hợp sẵn có thể áp dụng cho bài toán của mình.
Một khi bạn có dữ liệu, bạn cần đảm bảo dữ liệu phù hợp với các tiêu chuẩn pháp lý, đảm bảo bạn biết loại dữ liệu bạn thu thập được thực sự có dạng là gì (dạng chuỗi thời gian, dạng quan sát, dạng hình ảnh, v.v.
Chuẩn bị dữ liệu
Đây là lúc để áp dụng việc chuyển đổi dữ liệu mà bạn đã làm trong bước trước.
Bước này cũng sẽ bao gồm các thao tác làm sạch dữ liệu, cũng như lựa chọn ra đặc tính và phương pháp kỹ thuật có thể áp dụng.
Việc chuẩn hóa dữ liệu cũng được thực hiện ở bước này.
Chọn mô hình
Bước tiếp theo trong luồng công việc của ta là chọn mô hình. Qua nhiều năm, các nhà nghiên cứu và nhà khoa học dữ liệu đã tạo ra nhiều mô hình machine learning. Một số mô hình rất phù hợp với dữ liệu hình ảnh, một số khác dành cho chuỗi (như văn bản hay âm nhạc), một số dành cho dữ liệu số, những mô hình khác lại phù hợp cho dữ liệu dạng văn bản, vì vậy chúng ta cần chọn mô hình phù hợp.
Trình bày giải pháp
Đây là một bước sử dụng ít kỹ thuật hơn nhiều, tuy nhiên, bạn phải đảm bảo chuẩn bị đủ tài liệu phù hợp về các khía cạnh kỹ thuật của hệ thống để sẵn sàng trình bày với khách hàng/sếp của bạn…
Bạn cần trả lời câu hỏi cho các bên quan tâm về việc: Các bên quan tâm có hiểu tổng thể dự án này không? Liệu giải pháp Machine Learning này có đạt được mục tiêu không? Bạn đã truyền đạt được các giả định và hạn chế của mô hình Machine learning này chưa?
Khởi chạy hệ thống Machine Learning
Bạn cần chuẩn bị cho hệ thống Machine Learning sẵn sàng chạy tốt ở môi trường production (là môi trường người dùng cuối họ truy cập);
Là một giải pháp phần mềm, hệ thống Machine learning này sẽ được thử nghiệm trước và cần được theo dõi đầy đủ ngay cả khi đã chạy thực tế
Trong quá trình chạy hệ thống Machine learning, bạn vẫn cần phải bổ sung thêm dữ liệu để huấn luyện máy ngày càng chính xác hơn.
>> Lộ trình học machine learning và giáo trình học máy – Combo kiến thức đáng gờm dành cho dân data
Phân loại thuật toán machine learning
Machine Learning sử dụng hai kỹ thuật chính: Học có giám sát và học không giám sát.
Học có giám sát (Supervised Learning) thuộc machine learning là gì
Học có giám sát cho phép bạn thu thập dữ liệu hoặc tạo ra đầu ra dữ liệu từ triển khai Machine Learning trước đó. Học có giám sát (Supervised Learning) rất thú vị nó hoạt động theo cách giống như con người thực sự học.
Phân loại
- Phân loại sử dụng thuật toán để gán chính xác dữ liệu kiểm tra vào các danh mục cụ thể. Nó nhận ra các thực thể cụ thể trong tập dữ liệu và cố gắng rút ra một số kết luận về cách các thực thể đó nên được dán nhãn hoặc xác định.
- Thuật toán phân loại chung là phân loại tuyến tính, hỗ trợ máy vectơ (SVM), decision trees, random forest,…
Hồi quy
- Hồi quy được sử dụng để hiểu mối quan hệ giữa các biến phụ thuộc và độc lập.
- Nó thường được sử dụng để đưa ra các dự báo, chẳng hạn như cho doanh thu bán hàng cho một doanh nghiệp nhất định.
- Hồi quy tuyến tính, hồi quy logistic và hồi quy đa thức là các thuật toán hồi quy phổ biến.
Học không giám sát (Unsupervised Learning)
Học không giám sát là nơi bạn chỉ có phần dữ liệu đầu vào mà không có biến đầu ra tương ứng. Mục tiêu của việc học không giám sát là để có thể mô hình hóa cấu trúc nền tảng hoặc nhận biết sự phân bố trong dữ liệu để con người hiểu rõ hơn về bộ dữ liệu đó.
Các vấn đề học không giám sát có thể được phân ra thành hai loại:
- Chia nhóm: Chia nhóm được sử dụng khi bạn muốn khám phá các nhóm vốn có bên trong kho dữ liệu, chẳng hạn như phân loại nhóm khách hàng theo hành vi mua hàng tương ứng.
- Kết hợp: Kết hợp được sử dụng khi bạn muốn khám phá các quy tắc trong kho dữ liệu của bạn, chẳng hạn như khám phá ra việc những người mua sản phẩm X có khuynh hướng mua sản phẩm Y hay không.
>> Vậy còn deep learning là gì, sự khác biệt giữa machine learning và deep learning như thế nào? Tìm hiểu thêm nhé
Một số thuật toán machine learning thường sử dụng
Hồi quy tuyến tính:
- Mục đích: xác định mối quan hệ giữa một biến phụ thuộc và một hoặc nhiều biến độc lập và thường được tận dụng để đưa ra dự đoán về kết quả trong tương lai.
- Đối với mỗi loại hồi quy tuyến tính, Machine learning tìm cách vẽ một đường thẳng phù hợp nhất, được tính thông qua phương pháp của các ô vuông nhỏ nhất.
Naive Bayes
- Là cách tiếp cận phân loại áp dụng nguyên tắc độc lập có điều kiện từ định lý Bayes.
- Điều này có nghĩa là sự hiện diện của một đặc tính không ảnh hưởng đến sự hiện diện của một đặc tính khác trong xác suất của một kết quả nhất định, và mỗi dự báo có ảnh hưởng như nhau trên kết quả đó.
Neural networks
Neural Network trong tiếng Việt là Mạng nơ-ron nhân tạo, đây là một chuỗi những thuật toán Machine Learning được đưa ra để tìm ra các mối quan hệ cơ bản trong tập hợp dữ liệu. Mạng nơ-ron nhân tạo hoạt động giống như việc bắt bước cách thức hoạt động từ não bộ con người.
- Neural networks được dựa trên học có giám sát (Supervised Learning)
Kết luận
Chắc chắn bạn đã biết Machine learning là gì. Machine Learning là tương lai, và tương lai chính là hiện tại. Bạn đã sẵn sàng nắm bắt những công nghệ mới? Hãy bắt đầu hành trình của bạn với khóa học Machine Learning cơ bản với python 80 giờ chinh phục mọi bài toán AI/ML/DL từ Đại học Bách khoa Hà Nội và Cole.vn.
