yobet体育app下载-如何在 GPU 上加速数据科学

根据雷科技评论,数据科学家需要计算能力。无论是用熊猫处理大型数据集,还是用Numpy在大型矩阵上运行一些计算,都需要一台功能强大的机器在合理的时间内完成工作。

这几年来,数据科学家常用的Python库都非常善于使用CPU的能力。

熊猫的基本代码用C语言编写,可以很好的处理大小超过100GB的数据集。如果没有足够的RAM容纳这样的数据集,可以使用分块功能,方便,一次可以处理一个数据块。

Yobet sports应用下载s vs CPUs:并行处理

数据很多,CPU也不会切断。

超过100GB的数据集会有很多数据点,数据点的值在几百万甚至几十亿的范围内。有这么多的数据点要处理,无论你的CPU有多快,它都没有足够的内核来进行有效的并行处理。如果你的CPU有20个内核(这将是相当昂贵的CPU),你一次只能处理20个数据点!

CPU在时钟频率更重要的任务上会更好,或者根本没有yobet运动app下载。如果您尝试执行的流程有一个yobet sports app下载实现,并且任务可以受益于并行处理,那么yobet sports app下载将会更加有效。

多核系统中如何更快的处理数据?对于单核系统(左),所有10个任务都属于一个节点。对于双核系统(右),每个节点承担5个任务,因此处理速度翻倍

深度学习在下载yobet sports app中发挥了重要作用。深度学习中完成的很多卷积运算都是重复的,因此yobet sports app的下载速度可以大大加快,甚至可以达到100倍。

今天的数据科学也不例外,因为许多重复的操作都是在大数据集上进行的,包括熊猫、Numpy和scikit-learn。这些操作并不太复杂,无法在yobet sports应用程序下载中实现。

最后,有一个解决办法。

用Rapids加速yobet体育应用的下载

Rapids是一个软件库,旨在通过下载yobet sports app来加速数据科学。它使用低级的CUDA代码实现了一个优化yobet sports app下载的快速算法,它还有一个易于使用的Python层。

Rapids的妙处在于它与数据科学库的平滑集成。比如熊猫数据帧可以很容易的通过Rapids加速yobet体育app的下载。下图说明了Rapids如何在保持顶层可用性的同时加速底层。

Rapids利用了几个Python库:

CuDF-Python yobet运动app下载数据帧。它几乎能做熊猫在数据处理和操作上能做的一切。

CuML-cuGraph机器学习库。它包含很多Scikit-Learn拥有的ML算法,格式都非常相似。

CuGraph-cuGraph处理库。它包含了很多常用的图分析算法,包括P**eRank和各种相似性度量。

如何使用Rapids

p>

安装

现在你将看到如何使用 Rapids!

要安装它,请访问这个网站,在这里你将看到如何安装 Rapids。你可以通过 Conda 将其直接安装到你的机器上,或者简单地使用 Docker 容器。

安装时,可以设置系统规范,如 CUDA 版本和要安装的库。例如,我有 CUDA 10.0,想要安装所有库,所以我的安装命令是:

conda install -c nvidia -c rapidsai -c numba -c conda-forge -c pytorch -c defaults cudf=0.8 cuml=0.8 cugraph=0.8 python=3.6 cudatoolkit=10.0

一旦命令完成运行,就可以开始用 yobet体育app下载 加速数据科学了。

设置我们的数据

对于本教程,我们将介绍 DBSCAN demo 的修改版本。我将使用 Nvidia 数据科学工作站和 2 个 yobet体育app下载 运行这个测试。

DBSCAN 是一种基于密度的聚类算法,可以自动对数据进行分类,而无需用户指定有多少组数据。在 Scikit-Learn 中有它的实现。

我们将从获取所有导入设置开始。先导入用于加载数据、可视化数据和应用 ML 模型的库。

import os

import matplotlib.pyplot as plt

from matplotlib.colors import ListedColormap

from sklearn.datasets import make_circles

make_circles 函数将自动创建一个复杂的数据分布,类似于我们将应用于 DBSCAN 的两个圆。

让我们从创建 100000 点的数据集开始,并在图中可视化:

X, y = make_circles(n_samples=int(1e5), factor=.35, noise=.05)

X[:, 0] = 3*X[:, 0]

X[:, 1] = 3*X[:, 1]

plt.scatter(X[:, 0], X[:, 1])

plt.show

CPU 上的 DBSCAN

使用 Scikit-Learn 在 CPU 上运行 DBSCAN 很容易。我们将导入我们的算法并设置一些参数。

from sklearn.cluster import DBSCAN

db = DBSCAN(eps=0.6, min_samples=2)

我们现在可以通过调用 Scikit-Learn 中的一个函数对循环数据使用 DBSCAN。在函数前面加上一个「%」,就可以让 Jupyter Notebook 测量它的运行时间。

%%time

y_db = db.fit_predict(X)

这 10 万个点的运行时间是 8.31 秒,如下图所示:

使用 Scikit-Learn 在 CPU 上运行 DBSCAN 的结果

yobet体育app下载 上带 Rapids 的 DBSCAN

现在,让我们用 Rapids 进行加速!

首先,我们将把数据转换为 pandas.DataFrame 并使用它创建一个 cudf.DataFrame。pandas.DataFrame 无缝转换成 cudf.DataFrame,数据格式无任何更改。

import pandas as pd

import cudf

X_df = pd.DataFrame({'fea%d'%i: X[:, i] for i in range(X.shape[1])})

X_gpu = cudf.DataFrame.from_pandas(X_df)

然后我们将从 cuML 导入并初始化一个特殊版本的 DBSCAN,它是 yobet体育app下载 加速的版本。DBSCAN 的 cuML 版本的函数格式与 Scikit-Learn 的函数格式完全相同:相同的参数、相同的样式、相同的函数。

from cuml import DBSCAN as cumlDBSCAN

db_gpu = cumlDBSCAN(eps=0.6, min_samples=2)

最后,我们可以在测量运行时间的同时运行 yobet体育app下载 DBSCAN 的预测函数。

%%time

y_db_gpu = db_gpu.fit_predict(X_gpu)

yobet体育app下载 版本的运行时间为 4.22 秒,几乎加速了 2 倍。由于我们使用的是相同的算法,因此结果图也与 CPU 版本完全相同。

使用 cuML 在 yobet体育app下载 上运行 DBSCAN 的结果

使用 Rapids yobet体育app下载 获得超高速

我们从 Rapids 获得的加速量取决于我们正在处理的数据量。一个好的经验法则是,较大的数据集将更加受益于 yobet体育app下载 加速。在 CPU 和 yobet体育app下载 之间传输数据有一些开销时间——对于较大的数据集,开销时间变得更「值得」。

我们可以用一个简单的例子来说明这一点。

我们将创建一个随机数的 Numpy 数组并对其应用 DBSCAN。我们将比较常规 CPU DBSCAN 和 cuML 的 yobet体育app下载 版本的速度,同时增加和减少数据点的数量,以了解它如何影响我们的运行时间。

下面的代码说明如何进行测试:

import numpy as np

n_rows, n_cols = 10000, 100

X = np.random.rand(n_rows, n_cols)

print(X.shape)

X_df = pd.DataFrame({'fea%d'%i: X[:, i] for i in range(X.shape[1])})

X_gpu = cudf.DataFrame.from_pandas(X_df)

db = DBSCAN(eps=3, min_samples=2)

db_gpu = cumlDBSCAN(eps=3, min_samples=2)

%%time

y_db = db.fit_predict(X)

%%time

y_db_gpu = db_gpu.fit_predict(X_gpu)

检查下面的 Matplotlib 结果图:

当使用 yobet体育app下载 而不是 CPU 时,数量会急剧增加。即使在 10000 点(最左边),我们的速度仍然是 4.54x。在更高的一端,1 千万点,我们切换到 yobet体育app下载 时的速度是 88.04x!

Via:https://www.kdnuggets.com/2019/07/accelerate-data-science-on-gpu.html

雷锋网雷锋网