本文概述和比較了最流行、最有用的自然語言處理庫，包含 NLTK、spaCy、scikit-learn、gensim、Pattern、polyglot。
現(xiàn)在自然語言處理（NLP）變得越來越流行，這在深度學(xué)習(xí)發(fā)展的背景下尤其引人注目。NLP 是人工智能的一個分支，旨在從文本中理解和提取重要信息，進(jìn)而基于文本數(shù)據(jù)進(jìn)行訓(xùn)練。NLP 的主要任務(wù)包括語音識別和生成、文本分析、情感分析、機(jī)器翻譯等。
近幾十年，只有適當(dāng)受過語言學(xué)教育的專家才能從事自然語言處理方向的工作。除了數(shù)學(xué)和機(jī)器學(xué)習(xí)，他們還應(yīng)該熟悉一些重要的語言概念。但是現(xiàn)在，我們可以使用寫好的 NLP 庫。它們的主要目的是簡化文本預(yù)處理過程，這樣我們可以專注于構(gòu)建機(jī)器學(xué)習(xí)模型和超參數(shù)調(diào)整。
人們設(shè)計了很多工具和庫來解決 NLP 問題。今天，我們想基于自身經(jīng)驗，概述和比較最流行、最有用的自然語言處理庫。本文介紹的所有庫只有部分任務(wù)會重合。因此，有時候很難直接將它們進(jìn)行對比。我們將介紹一些特征，然后對比這些庫。
概覽
NLTK（自然語言工具包）用于分詞、詞形還原、詞干提取、解析、句法分析、詞性標(biāo)注等任務(wù)。該庫具備可用于幾乎所有 NLP 任務(wù)的工具。
spaCy 是 NLTK 的主要競爭者。這兩個庫可用于同樣的任務(wù)。
scikit-learn 提供一個用于機(jī)器學(xué)習(xí)的大型庫，包含用于文本預(yù)處理的工具。
gensim 是用于話題空間建模、向量空間建模和文檔相似度的工具包。
Pattern 庫是作為 web 挖掘模塊提供服務(wù)的，因此，它也支持 NLP 任務(wù)。
polyglot 是另一個用于 NLP 的 Python 包。它不是很流行，但也可以用于大量 NLP 任務(wù)。
為了更清晰地對比這些庫，我們制作了下表來展示它們的優(yōu)缺點。
更新：2018 年 7 月
結(jié)論
本文對比了幾個流行的 NLP 庫的特征。盡管大部分庫適用的任務(wù)有重合，但一些庫需要用獨特的方法來解決特定的問題。確切來說，現(xiàn)在最流行的 NLP 包是 NLTK 和 spaCy。它們是 NLP 領(lǐng)域中的主要競爭者。我們認(rèn)為，二者之間的差別在于解決問題的一般哲學(xué)。
NLTK 更加學(xué)術(shù)。你可以用它嘗試不同的方法和算法，結(jié)合使用等等。spaCy 為每個問題提供一個開箱即用的解決方案。你不用思考哪種方法更好：spaCy 的作者已經(jīng)替你考慮了。此外，spaCy 速度很快（是 NLTK 的好幾倍）。它的一個缺陷在于支持的語言種類有限。但是，它所支持的語言數(shù)量在持續(xù)增加。因此，我們認(rèn)為 spaCy 在大部分情況下是最優(yōu)選，但是如果你想嘗試一些特別的任務(wù)，可以使用 NLTK。
盡管這兩個庫非常流行，但還存在很多不同的選擇，選擇使用哪個 NLP 包取決于你要解決的問題。