Dữ liệu lớn (Big Data): khái niệm và thuật ngữ cốt lõi - Học flashcard

Apache Spark khác Hadoop MapReduce thế nào?

Spark nhanh hơn nhiều với dữ liệu phức tạp và xử lý được dữ liệu thời gian thực (MapReduce chủ yếu xử lý batch). Spark xử lý được cả dữ liệu có cấu trúc và phi cấu trúc.

Ví dụ ứng dụng dữ liệu lớn ở chính phủ và các ngành?

- Thuế, an sinh xã hội: phát hiện gian lận (phân tích giao dịch không hợp lệ), tối ưu quản lý. - Smart city: quản lý tài nguyên và dịch vụ công cộng hiệu quả. - Ngân hàng: mô hình học máy đánh giá tín dụng từ lịch sử tài chính và hành vi. - Marketing: phân tích hành vi người tiêu dùng, tối ưu quảng cáo. - Prudential: phân khúc khách hàng dựa trên dữ liệu lớn. - Mall of America: chatbot ELF cá nhân hóa trải nghiệm.

Nguyên tắc thiết kế dashboard hiệu quả?

Đơn giản, rõ ràng, tránh quá nhiều yếu tố; chọn loại biểu đồ phù hợp với loại dữ liệu và mục đích, giữ tính nhất quán. Dữ liệu không đồng nhất từ nhiều nguồn: dùng Data Cleaning và Data Transformation để chuẩn hóa.

Chọn biểu đồ: scatter plot, line chart, histogram?

Scatter plot (tán xạ): quan hệ giữa hai biến định lượng/liên tục. Line chart (đường): xu hướng biến động theo thời gian. Histogram (tần suất): phân phối dữ liệu, giá trị ngoại lệ, mức độ phân tán.

Live Connection và Data Extract trong Tableau

Live Connection (kèm Tableau Server): dashboard tự cập nhật khi nguồn gốc thay đổi. Data Extract: giảm tải dữ liệu, tối ưu tốc độ tải và xử lý với dữ liệu lớn.

Dimension và Measure trong Tableau

Dimension: giá trị phân loại/nhóm dữ liệu. Measure: giá trị số lượng, định lượng cần phân tích.

Tableau là gì? Vì sao được ưa chuộng?

Công cụ BI phân tích và trực quan hóa dữ liệu; tạo dashboard tương tác nhanh bằng kéo thả. Chủ yếu dùng dữ liệu có cấu trúc, xuất ra Excel, PDF, CSV và hình ảnh.

Mục tiêu chính của phân tích dữ liệu lớn?

Cải thiện quyết định chiến lược và tối ưu hóa quy trình dựa trên dữ liệu. Phân tích hiệu quả nhất khi xử lý và phân tích đồng thời trong thời gian thực.

Giảm mất cân bằng dữ liệu nhằm mục đích gì?

Giúp mô hình phát hiện đúng các lớp thiểu số quan trọng.

Rời rạc hóa (discretization)

Chuyển giá trị số liên tục thành các khoảng phân loại.

Giảm chiều dữ liệu nhằm mục đích gì?

Tối ưu tốc độ xử lý và tránh overfitting.

Phân lớp (classification)

Phân loại đối tượng thành các nhóm khác nhau dựa trên đặc điểm (dữ liệu đã có nhãn). Khác hồi quy: hồi quy dự đoán giá trị liên tục.

Phân cụm (clustering)

Học không giám sát: dữ liệu CHƯA có nhãn, mục tiêu tìm các nhóm tự nhiên trong dữ liệu. Thuật toán phổ biến: K-means.

Quy trình phân tích dữ liệu: bước nào quan trọng/tốn thời gian nhất?

- Quan trọng nhất về định hướng: xác định mục tiêu phân tích. - Tốn thời gian nhất: xử lý dữ liệu. - Quan trọng nhất để đảm bảo chất lượng kết quả: làm sạch và tiền xử lý dữ liệu.

Phân tích mô tả và phân tích chẩn đoán khác nhau thế nào?

Phân tích mô tả (Descriptive): cho biết điều đã xảy ra; là loại phổ biến nhất trong doanh nghiệp. Phân tích chẩn đoán (Diagnostic): giải thích NGUYÊN NHÂN của các sự kiện đã xảy ra. Phân tích dự đoán: dự báo tương lai.

Phân tích dự đoán (Predictive Analysis) dựa vào kỹ thuật nào?

Khai phá dữ liệu (Data Mining) và Học máy (Machine Learning).

5V của dữ liệu lớn gồm những gì?

Volume (khối lượng), Velocity (tốc độ), Variety (đa dạng), Veracity (độ tin cậy/chính xác), Value (giá trị). Lưu ý: "Variable" KHÔNG thuộc 5V. Value được xem là quan trọng nhất vì quyết định lợi ích thực tế từ việc khai thác dữ liệu.

HDFS là gì?

Hadoop Distributed File System: thành phần của hệ sinh thái Hadoop chịu trách nhiệm lưu trữ dữ liệu phân tán.

Hadoop dùng để làm gì?

Lưu trữ và xử lý dữ liệu lớn trong môi trường phân tán.

Hybrid Cloud là gì?

Mô hình đám mây kết hợp tài nguyên công cộng (public) và riêng (private).

Điện toán đám mây (Cloud Computing)

Mô hình cung cấp tài nguyên máy tính qua Internet. Đám mây là công nghệ thường dùng để lưu trữ Big Data. Nhà cung cấp: AWS, Microsoft Azure, Google Cloud Platform (GCP). PayPal KHÔNG phải nhà cung cấp đám mây.

Ví dụ dữ liệu lớn trong thể thao?

Đội tuyển Bóng đá Đức dùng phân tích dữ liệu lớn để phân tích từng cầu thủ đối phương và tối ưu hóa chiến thuật.

Dữ liệu lớn trong kinh doanh: các ứng dụng điển hình?

- Mạng xã hội: phản hồi, bình luận của người dùng về sản phẩm/dịch vụ. - Chuỗi cung ứng: dự báo nhu cầu theo mùa vụ, xu hướng, hành vi khách hàng. - Cảm biến IoT: tối ưu sản xuất, bảo trì thiết bị (bảo trì dự đoán). - Bán lẻ: cá nhân hóa, đề xuất sản phẩm theo lịch sử mua sắm. - Thương mại điện tử: dữ liệu từ nền tảng mạng xã hội và trang giao dịch.

Vai trò của khoa học dữ liệu trong Big Data?

Phân tích và trích xuất giá trị từ dữ liệu (không chỉ thu thập hay lưu trữ).

Dữ liệu lớn thay đổi mô hình kinh doanh truyền thống ra sao?

Giúp chuyển từ ra quyết định cảm tính sang ra quyết định dựa trên dữ liệu.

Thứ tự các đơn vị đo dữ liệu từ nhỏ đến lớn?

Megabyte < Gigabyte < Terabyte < Petabyte. Petabyte là lớn nhất trong nhóm này.

Vì sao dữ liệu phi cấu trúc chiếm phần lớn trong dữ liệu lớn hiện nay?

Vì nó xuất hiện phổ biến từ các nguồn như mạng xã hội, video, hình ảnh... Loại dữ liệu này không lưu trữ dễ dàng trong bảng SQL truyền thống.

Veracity và Value khác nhau thế nào?

Veracity: mức độ chính xác, đáng tin cậy của dữ liệu. Value: giá trị/lợi ích thực tế thu được từ dữ liệu.

Variety là gì?

Sự đa dạng về loại và nguồn dữ liệu (có cấu trúc, bán cấu trúc, phi cấu trúc; từ mạng xã hội, video, ảnh, cảm biến...).

Velocity là gì?

Tốc độ phát sinh và xử lý dữ liệu, thường gắn với xử lý thời gian thực (real-time).

Volume là gì?

Kích thước/khối lượng của dữ liệu.