使用scipy.sparse保存稀疏矩阵
使用scipy.sparse保存稀疏矩阵可以省一些空间,将矩阵转化为稀疏矩阵进行计算可以省一些内存。
from scipy import sparse from scipy.sparse import hstack, csr_matrix import os fname = 'df.npz' if not os.path.exists(fname): df = get_df() df = hstack([csr_matrix(df), csr_matrix(df)]) sparse.save_npz(fname, df, compressed=True) else: df = sparse.load_npz(fname)