nlpia2

Tangible AI的 Maria Dyshel 和 Hobson Lane所著的《 Natural Language Processing in Action, 2nd Edition》一书的官方代码库。如果没有贡献作者和亲社会 AI 开发人员的慷慨工作，就不会发生这种情况。

要充分利用此存储库，您需要做两件事。

1. 如果您想在本地执行代码或想要本地访问数据，请将存储库克隆到本地计算机（推荐）。
2. 创建一个环境，其中包含所有有用/需要的模块，用于执行自然语言处理，第 2 版。

克隆存储库

如果您当前正在 gitlab 上查看此文件，并且希望将来访问您机器本地的数据和代码，您可以将此存储库克隆到您的本地机器。导航到您的首选目录以容纳本地克隆（例如，您的本地git目录）并执行：

git clone git@gitlab.com:prosocialai/nlpia2

创建一个 Conda 环境

要在 NLPIA 第 2 版书中引用的当今高级 NLP 中使用各种流行的软件包，例如 PyTorch 和 SpaCy，您需要在 conda 环境中安装它们。为避免此类包及其与其他 python 项目的依赖关系的潜在冲突，创建和激活新的conda 环境是一种很好的做法。

这是我们为这本书所做的。

1. 确保您已安装 Anaconda3。确保您可以从 bash shell（终端）中运行 conda。该conda --version命令应该说类似 ' 4.10.3。

2. 更新 conda 本身。保持当前conda包，它管理所有其他包。您的基础环境很可能称为基础环境，因此您可以执行conda update -n base -c defaults conda以使该软件包保持最新。即使base目前不是激活的环境，这个命令也会更新base环境中的 conda 包。这样，下次使用该conda命令时，在任何环境下，系统都会使用更新后的conda包。

3. 创建一个新环境并安装 NLPIA 第 2 版所需的各种模块。

有两种方法可以做到这一点。

使用存储库中已提供的脚本 ( nlpia2/src/nlpia2/scripts/conda_install.sh)

如果您按照上面的说明克隆了存储库，那么您已经有了一个可以完成这项工作的脚本。从包含存储库的目录中运行 cd nlpia2/src/nlpia2/scripts/，然后从那里运行bash conda_install.sh

或者手动执行部分脚本如下

首先，创建一个新环境（如果存在则激活它）

# create a new environment named "nlpia2" if one doesn't already exist:
conda activate nlpia2 \
    || conda create -n nlpia2 -y 'python==3.9.7' \
    && conda activate nlpia2

完成后，安装所有nlpia2未安装的 conda 依赖项：

conda install -c defaults -c huggingface -c pytorch -c conda-forge -y \
    emoji \
    ffmpeg \
    glcontext \
    graphviz \
    huggingface_hub \
    jupyter \
    lxml \
    manimpango \
    nltk \
    pyglet \
    pylatex \
    pyrr \
    pyopengl \
    pytest \
    pytorch \
    regex \
    seaborn \
    scipy \
    scikit-learn \
    sentence-transformers \
    statsmodels \
    spacy \
    torchtext \
    transformers \
    wikipedia \
    xmltodict

最后，通过 pip 安装任何无法通过 conda 渠道获得的包。在这种情况下，在所有conda安装后应用所有 pip 安装通常是更好的做法。此外，为确保为 conda 环境中使用的 python 版本正确配置 pip 安装，而不是使用pipor pip3，激活环境并使用 调用 pip python -m pip。

conda activate nlpia2
python -m pip install manim manimgl

预备，准备，开始！

恭喜！您现在已经克隆了 nlpia2 存储库，它使您可以本地访问 NLPIA 第二版书中所需的所有数据和脚本，并且您已经创建了一个强大的使用环境。当您准备好键入或执行代码时，请检查此环境是否已激活。如果没有，请执行以下命令激活：

conda activate nlpia2

然后你去处理一些严肃的自然语言处理，为了让世界变得更美好。

在 docker 中运行 jupyter notebook 服务器： jupyter-repo2docker --editable .