Knowledge hub công nghệ ứng dụng thực chiến tại Việt Nam Weekly digest · Đăng ký →
Data-driven business

Kiến thức R & Python: Giới thiệu phân tích định lượng (P1)

Các bước thực hiện phân tích định lượng với R Bước 1: Dữ liệu thô (Raw data) Bước 2: Phương pháp định lượng (Quantitative Method)…

TThủy Tiên
Theo dõi
Giới thiệu phân tích dữ liệu định lượng

Các bước thực hiện phân tích định lượng với R

Bước 1: Dữ liệu thô (Raw data)

Bước 2: Phương pháp định lượng (Quantitative Method)

Bước 3: Thông tin hữu ích (Meaningful Information)

Bước 4: Quyết định (Making decision)

Ví dụ:

  • NBC tăng doanh thu $200 millions vào những năm 1900s bằng việc sử dụng phân tích định lượng cho các kế hoạch bán lẻ.
  • Continental Airline tiết kiệm $40 millions vào năm 2001 phân tích định lượng nhắm giúp tối ưu các chuyến bay trễ do thời tiết.
  • Phân tích định lượng được sử dụng rộng rãi trong dự báo tài chính, chứng khoán, etc.

 

Các kiến thức về phân tích định lượng với R

  • Biểu diễn dữ liệu
  • Thống kê mô tả
  • Hồi quy đơn biến
  • Hồi quy đa biến
  • Hồi quy phi tuyến
  • Hồi quy dữ liệu bảng

 

Phân tích định tính & Phân tích định lượng

Phân tích định tính

Thu thập dữ liệu dưới dạng ‘phi số’.

Các dữ liệu này thường được thu thập thông qua:

  • Phỏng vấn.
  • Thảo luận nhóm.
  • Mẫu nghiên cứu nhỏ, có tính tập trung

 

Phân tích định lượng với ngôn ngữ R

Thu thập dữ liệu dưới dạng số học có tính chất thống kê.

Các dữ liệu thường được thu thập thông qua:

  • Khảo sát sử dụng bảng hỏi trên diện rộng.
  • Mẫu nghiên cứu lớn.

Mối tương quan: Phân tích định lượng đo lường hành vi của người dùng trên website. Phân tích định tính trả lời được tại sao họ lại có hành vi như vậy => Có thể kết hợp hai phương pháp phân tích.

 

Ứng dụng của phân tích định lượng:

  • Đánh giá sự khác nhau giữa các nhóm
  • Đánh giá mối quan hệ giữa các đối tượng
  • Kiểm định giả thuyết khoa học

 

Các bước phân tích định lượng với R

 

Các bước 

diễn giải câu hỏi

Nội dung Ví dụ
Research question Đưa ra câu hỏi nghiên cứu và cần có câu trả lời Sự phát triển kinh tế có thúc đẩy quá trình dân chủ hóa?
Theorize Một diễn giải được đưa ra Các nước có nền kinh tế phát triển thường có nền dân chủ tốt bởi họ có tầng lớp trung lưu lớn đông đảo có hiểu biết về chính trị (Lipset 1959; Moore 1966)
Hypothesize Chúng ta đưa ra giả thuyết cần kiểm định Chúng ta đưa ra giả thuyết cần kiểm định
Data Collection Chúng ta thu thập dữ liệu để thực hiện kiểm định giả thuyết Dữ liệu được thu thập từ nhiều nước, nhiều gia tầng xã hội, dữ liệu về mức độ dân chủ, …
Data Analysis Sử dụng dữ liệu thu thập được để chấp nhận hoặc bác bỏ giả thuyết

 

Ba loại câu hỏi nghiên cứu

  • Mô tả: Mô tả sự khác nhau giữa các thuộc tính.
  • Dự báo: Dự báo các sự kiện, kết quả có thể xảy ra.
  • Nhân quả (causation) Đánh giá sự ảnh hưởng của mộ sự kiện đến một sự kiện khác.

 

Thống kê mô tả và thống kê suy diễn

  • Thống kê mô tả (Descriptive): Mô tả tập thuộc tính của một nhóm hoặc đối tượng từ mẫu (tổng thể với tập mẫu).
  • Thống kê suy diễn (Prediction): Đưa ra các dự báo cho tổng thể dựa trên một tập mẫu.

 

Các đại lượng của thống kê mô tả

Tổng và sigma

  • Gọi ? là số mẫu hay kích thước mẫu.
  • Nếu ?=10, chúng ta có 10 mẫu có giá trị lần lượt là (?1, ?2, ?3, … , ??). 
  • Tổng của một biến sẽ được tính: 

?1 + ?2 + ?3 + ⋯ + ?? 

  • Khi giá trị ? là lớn thì chúng ta dùng khái niệm sigma:

Giới thiệu phân tích dữ liệu định lượng

Ví dụ khảo sát một nhóm có 50 nhân viên trong doanh nghiệp có 1000 người để làm đại diện. Vậy ta có N=50

 

Giá trị trung tâm (Measures of central tendency):

Chúng ta quan tâm đến sự phân bố tập trung ở một giá trị nào đó.

Mean: Trung bình 

Giả sử tuổi của các học viên là 10,15,13,17,18,65,20,19,22,16,21,14

Trung bình = (10+13+14+15+16+17+18+19+20+21+22+65) / 12 = 20.83

VD: Mức lương trung bình, mức lương bình quân,…

Giới thiệu phân tích dữ liệu định lượng

Median: Trung vị – Giá trị ở giữa của một biến

Gọi M là trung vị. Ta có:

Giới thiệu phân tích dữ liệu định lượng

Giả sử tuổi của các học viên là 10,15,13,17,18,65,20,19,22,16,21,14

=> Trung vị = (17+18) / 2 = 17.5

Ta thấy khi giá trị 65 là ngoại lai (outlier), nên mean và median khác nhau rất nhiều (20.83 vs 17.5

Vậy kết luận khi tập dữ liệu có dữ liệu ngoại lai (outlier, ta nên dùng Median). Khi kích thước dữ liệu của mẫu lớn và không có giá trị ngoại lai thì nên dùng Mean.

 

Mode: Giá trị xuất hiện nhiều nhất

Chẳng hạn, số liệu về tuổi các học viên: 10, 15, 13, 17, 18, 65, 20, 18, 22, 18, 21, 14. Khi đó, mode biến tuổi các học viên sẽ là 18 (giá trị xuất hiện 3 lần).

 

Phân phối

Giới thiệu phân tích dữ liệu định lượng

Thống kê suy diễn

Vì tổng thể quá lớn nên chúng ta chỉ có thể suy diễn tổng thể từ một tập mẫu nhất định.

Dựa trên tập mẫu để ước lượng các giá trị của tổng thể.

  • Ước lượng: Dựa trên các tham số của tập mẫu (chẳng hạn mean), chúng ta ước lượng tham số của tổng thể.
  • Kiểm định giả thuyết: Liệu chúng ta có thể sử dụng dữ liệu mẫu để trả lời các câu hỏi nghiên cứu.

 

Phương pháp Thu thập dữ liệu:

Thang đo thống kê

Độ đo: là việc gán những dữ kiện lượng hóa cho những hiện tượng quan sát.

VD: Khách hàng đánh giá app bằng icon biểu cảm tượng trưng…

Thang đo: là tạo ra một thang điểm để đánh giá đặc điểm của đối tượng nghiên cứu thể hiện qua sự đánh giá, nhận xét. Ví dụ đánh giá app bằng số điểm (con số)

Thang đo khoảng (Interval scale)

  • Là loại thang đo cho các dữ liệu số lượng, có thể dùng để xếp hạng các đối tượng nghiên cứu.
  • Với thang đo này ta có thể thực hiện các phép tính đại số (trừ phép chia không có ý nghĩa).

 

Biến số (variable)

Biểu diễn sự thay đổi theo đặc trưng units

Phân biệt các loại biến:

  • Biến phụ thuộc (Dependent variable – ?): Biến chịu ảnh hưởng từ một biến số khác. Cũng gọi là biến đầu ra.
  • Biến độc lập (independent variable – ?): Là biến số tác động tới biến số khác (biến phụ thuộc). VD: Chẳng hạn, giá hàng hoá là biến số độc lập ảnh hưởng tới lượng cầu về nó.

 

Phần thực hành trên R và Python

Ba cách thực hành trên R và Python

  1. Cài đặt ngôn ngữ R: https://rstudioeducation.github.io/hopr/starting.html
  2. Cài đặt R trên Anaconda: Cài đặt Anaconda: https://docs.anaconda.com/anaconda/install/index.html • Cài đặt R: https://docs.anaconda.com/anaconda/userguide/tasks/using-r-language/ • conda install r-essentials
  3. Chạy trên https://colab.research.google.com/notebooks/intro.i pynb

 

Các phép toán số học:

  • Phép cộng: +
  • Phép nhân: *
  • Phép chia : /
  • Phép trừ: –

Chúng ta viết trực tiếp phép tính vào không gian làm việc.

Giới thiệu phân tích dữ liệu định lượng Giới thiệu phân tích dữ liệu định lượng

Phép gán đối tượng

VD: Gán kết quả phép tính thành biến có tên là “my_result”

Giới thiệu phân tích dữ liệu định lượng

Tính toán với giá trị đã được gán

Ví dụ Lấy my_result nhân với 2

Giới thiệu phân tích dữ liệu định lượng

Loại dữ liệu

Câu lệnh: Class()

VD: loại dữ liệu của x là gì? 

Giới thiệu phân tích dữ liệu định lượng

Kết quả

Giới thiệu phân tích dữ liệu định lượng

=> Loại dữ liệu của X là dữ liệu số

Hàm kiểm tra

Loại dữ liệu của X có phải Integer (số nguyên) không?

Giới thiệu phân tích dữ liệu định lượng

Kết quả: 

Giới thiệu phân tích dữ liệu định lượng

Ví dụ 1: Gán cho y giá trị 3, y thuộc số nguyên. Kiểm tra lại loại dữ liệu của y

Giới thiệu phân tích dữ liệu định lượng

Kết quả 

Giới thiệu phân tích dữ liệu định lượng

Ví dụ 2: Kiểu số liệu logic

Ví dụ x=1, y=2; z= x>y

  • x>y có đúng không? (z)
  • Kiểm tra kiểu dữ liệu của z (class(z))

Giới thiệu phân tích dữ liệu định lượng

kết quả: 

Giới thiệu phân tích dữ liệu định lượng

  • x > y là sai
  • z thuộc kiểu dữ liệu logical

Kiểu logic chỉ có 2 giá trị TRUE/FALSE

Mảng trong R

Giới thiệu phân tích dữ liệu định lượng

Gán các giá trị đơn lẻ vào trong 1 mảng

Câu lệnh: c()

Kết quả:

Giới thiệu phân tích dữ liệu định lượng

Truy cập vào một phần tử của mảng:

Giới thiệu phân tích dữ liệu định lượng

Kết quả là 0

Tính toán với mảng

  • Sum(my_first_vector)
  • Mean(my_first_vector)
  • Max(my_first_vector)
  • Min(my_first_vector)
  • Median(my_first_vector)

 

Data frame

Load dữ liệu

Ví dụ load bộ dữ liệu tên “longley”

Giới thiệu phân tích dữ liệu định lượng

kết quả

Giới thiệu phân tích dữ liệu định lượng

Truy xuất giá trị một cột của một data frame

Ví dụ cột “Year”

Giới thiệu phân tích dữ liệu định lượng

Kết quả:

Giới thiệu phân tích dữ liệu định lượng

Truy xuất giá trị của một phần tử

Ví dụ: Phần tử ở hàng thứ 7 của cột Year

Giới thiệu phân tích dữ liệu định lượng

 

Truy xuất giá trị có điều kiện:

Ví dụ:

Giới thiệu phân tích dữ liệu định lượng>> Xem thêm:

T
Tác giả Cole Blog

Thủy Tiên

Viết về công nghệ, dữ liệu và định hướng nghề thực chiến.

Tác giả trên Cole Blog, phụ trách các bài viết giúp người đi làm học nhanh hơn, hiểu rõ hơn và áp dụng công nghệ vào công việc hiệu quả hơn.

18bài viết12.4kfollowers96klượt đọc

Bài viết khác từ tác giả này

Thảo luận

Đăng nhập để bình luận
Gửi bình luận
C
Cole BlogGợi ý thảo luận

Anh có thể đặt câu hỏi, góp ý hoặc lưu lại insight quan trọng sau khi đọc bài.