Phân rã tensor luồng

Phân rã ten-xơ (tensor decomposition) đã được chứng minh là thành công trong nhiều ứng dụng rộng rãi, từ khoa học thần kinh, truyền thông không dây đến mạng xã hội. Tuy nhiên, trong bối cảnh trực tuyến (online), việc phân rã các ten-xơ được xây dựng từ các luồng dữ liệu đa chiều (multidimensional data streams) là một bài toán không hề đơn giản, do tồn tại nhiều thách thức cố hữu của xử lý dữ liệu thời gian thực (real-time). Trong những năm gần đây, rất nhiều nghiên cứu đã tập trung phát triển các kỹ thuật online cho phân rã ten-xơ dạng này, tạo nên những tiến bộ đáng kể trong lĩnh vực phân rã ten-xơ dòng dữ liệu (streaming tensor decomposition) hay theo vết/ước lượng ten-xơ (tensor tracking / tensor tracking over time). Đây là một hướng nghiên cứu mới đang nổi lên và làm phong phú thêm tài liệu học thuật về phân rã ten-xơ, đặc biệt dưới góc nhìn phân tích dữ liệu dòng (data stream analytics).

Trong dự án này, chúng tôi phát triển một số thuật toán mới nhằm theo vết phân tích xấp xỉ hạng thấp trực tuyến (online LRA – Low-Rank Approximation) của ten-xơ dòng theo thời gian. Với định dạng CP/PARAFAC, chúng tôi kết hợp các kỹ thuật tối ưu luân phiên (alternative minimization / alternating optimization) và nén phác họa ngẫu nhiên (randomized sketching) để đề xuất hai thuật toán:

• ACP, có khả năng phân rã ten-xơ khuyết dữ liệu (incomplete tensors), và
• RACP, được thiết kế để phân rã ten-xơ bị sai hỏng/nhiễu loạn (corrupted tensors).

Với định dạng Tucker, chúng tôi đề xuất một thuật toán online khác có tên ATD (Adaptive Tensor Decomposition). Thuật toán ATD trước tiên theo vết các không gian con (low-dimensional subspaces) tiềm ẩn bao phủ các nhân tố của ten-xơ, sau đó ước lượng ten-xơ lõi (core tensor) thông qua kỹ thuật xấp xỉ ngẫu nhiên (stochastic approximation / stochastic optimization). Một phân tích hội tụ tổng quát (unified convergence analysis) đã được trình bày nhằm chứng minh hiệu năng của các thuật toán.

Song song đó, chúng tôi cũng thiết kế những thuật toán thích ứng (adaptive algorithms) cho phân rã tensor-train dòng dữ liệu (streaming tensor-train decomposition), có khả năng theo vết các thành phần hạng thấp của ten-xơ bậc cao từ dữ liệu nhiễu, không hoàn hảo và chiều lớn, đồng thời đạt được độ chính xác cao trong ước lượng.

Công bố khoa học: 

L.T. Thanh, K. Abed-Meraim, N. L. Trung, & A. Hafian.  A Novel Recursive Least-Squares Adaptive Method For Streaming Tensor-Train Decomposition With Incomplete Observations. Signal Processing (SP), 2024.

L.T. Thanh, K. Abed-Meraim, N. L. Trung, & A. Hafiane. A Contemporary and Comprehensive Survey on Streaming Tensor Decomposition. IEEE Transactions on Knowledge and Data Engineering (TKDE), 2023.

L.T. Thanh, K. Abed-Meraim, N. L. Trung, & A. Hafiane. Tracking Online Low-Rank Approximations of Higher-Order Incomplete Streaming Tensors. Cell Patterns, 2023.

L.T. Thanh, K. Abed-Meraim, N. L. Trung, & A. Hafiane. Robust Tensor Tracking with Missing Data and Outliers: Novel Adaptive CP Decomposition and Convergence Analysis. IEEE Transactions on Signal Processing (TSP), 2022.

L.T. Thanh, K. Abed-Meraim, P. Ravier, & O. Buttelli.  A Novel Tensor Tracking Algorithm For Block-Term Decomposition of Streaming Tensors. IEEE Statistical Signal Processing Workshop (SSP), 2023.

L.T. Thanh, K. Abed-Meraim, N. L. Trung & A. Hafiane.  Robust Tensor Tracking With Missing Data Under Tensor-Train Format. European Signal Processing Conference (EUSIPCO), 2022.

L.T. Thanh, T. T. Duy, K. Abed-Meraim, N. L. Trung, & A. Hafiane. Robust Online Tucker Dictionary Learning from Multidimensional Data Streams. Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA-ASC), 2022.

L.T. Thanh, K. Abed-Meraim, N. L. Trung, & A. Hafiane. A Fast Randomized Adaptive CP Decomposition for Streaming Tensors. IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2021