TensorFlow模型训练环境安装

示例代码

注：将ppt后缀名改为zip后解压

安装

安装TensorFlow模型训练环境、设置缓存，并选择性配置 🤗 Transformers 以离线运行。

🤗 Transformers 已在 Python 3.6+、PyTorch 1.1.0+、TensorFlow 2.0+ 以及 Flax 上进行测试。针对你使用的深度学习框架，请参照以下安装说明进行安装：

• PyTorch 安装说明。
• TensorFlow 2.0 安装说明。
• Flax 安装说明。

使用 pip 安装

你应该使用 虚拟环境 安装 🤗 Transformers。如果你不熟悉 Python 虚拟环境，请查看此 教程。使用虚拟环境，你可以轻松管理不同项目，避免不同依赖项之间的兼容性问题。

首先，在项目目录中创建conda环境：

conda create --name tf  python=3.9
conda activate tf

现在你可以使用以下命令安装 🤗 Transformers：

pip install transformers

若仅需 CPU 支持，可以使用单行命令方便地安装 🤗 Transformers 和深度学习库。例如，使用以下命令安装 🤗 Transformers 和 PyTorch：

pip install 'transformers[torch]'

🤗 Transformers 和 TensorFlow 2.0：

pip install 'transformers[tf-cpu]'

M1 / ARM用户 在安装 TensorFlow 2.0 前，你需要安装以下库：brew install cmake brew install pkg-config

windows系统，先安装cmake工具：https://cmake.org/download/

🤗 Transformers 和 Flax:

pip install 'transformers[flax]'

最后，运行以下命令以检查 🤗 Transformers 是否已被正确安装。该命令将下载一个预训练模型：

python -c "from transformers import pipeline; print(pipeline('sentiment-analysis')('we love you'))"

然后打印标签以及分数：

[{'label': 'POSITIVE', 'score': 0.9998704791069031}]

源码安装

使用以下命令从源码安装 🤗 Transformers：

pip install git+https://github.com/huggingface/transformers

此命令下载的是最新的前沿 main 版本而不是最新的 stable 版本。main 版本适用于跟最新开发保持一致。例如，上次正式版发布带来的 bug 被修复了，但新版本尚未被推出。但是，这也说明 main 版本并不一定总是稳定的。我们努力保持 main 版本的可操作性，大多数问题通常在几个小时或一天以内就能被解决。如果你遇到问题，请提个 Issue 以便我们能更快修复。

运行以下命令以检查 🤗 Transformers 是否已被正确安装：

python -c "from transformers import pipeline; print(pipeline('sentiment-analysis')('I love you'))"

可编辑安装

如果你有下列需求，需要进行可编辑安装：

• 使用源码的 main 版本。
• 为 🤗 Transformers 贡献代码，需要测试代码中的更改。

使用以下命令克隆仓库并安装 🤗 Transformers：

git clone https://github.com/huggingface/transformers.git
cd transformers
pip install -e .

这些命令将会链接你克隆的仓库以及你的 Python 库路径。现在，Python 不仅会在正常的库路径中搜索库，也会在你克隆到的文件夹中进行查找。例如，如果你的 Python 包通常本应安装在 ~/anaconda3/envs/main/lib/python3.7/site-packages/ 目录中，在这种情况下 Python 也会搜索你克隆到的文件夹：~/transformers/。