基于GPU的探索性数据分析

表格数据是实验学科科研里最常用的格式之一，特别是组学，现在有了单细胞转录组学跟高分辨质谱成像，这张表动辄几百万行上万列。这个数据量在CPU生态下做探索性数据分析几乎就是个灾难，要么就是爆内存，要么就是特别慢。我最近遇到这个问题，然后发现当前GPU是可以部分解决这个问题的，这里做个笔记。 虽然pytorch可以在不同平台编译做一些深度学习项目，但不得不承认基于CUDA的GPU生态，特别是RAPIDS套件里的 cuDF 跟 cuML，在探索性数据分析上目前没有可取代的。其可实现的常见算法包括但不限于主成分分析、UMAP、聚类分析例如（K-Means、DBSCAN）、图算法等： PCA 底层是 SVD（奇异值分解），是标准的线性代数操作，GPU 上有专门优化的实现。RAPIDS 的 cuml.decomposition.PCA 接口跟 scikit-learn 几乎一样，直接替换导入即可。对于高维数据（比如单细胞转录组，动辄几千个基因维度、几十万个细胞），GPU 的 PCA 比 CPU 快一到两个数量级。 CuPy 是最基础的工具，可以理解为 NumPy 的 GPU 版本，接口设计刻意对齐 NumPy，大部分代码把 import numpy as np 换成 import cupy as cp 就能跑。底层矩阵操作、FFT、线性方程组求解，只要你的操作能用 NumPy 表达，基本都能直接