Sentencepice

BPE (Byte Pair Encoding)

テキストの圧縮率を目的関数にして、貪欲的に分割を決定していくサブワード分割アルゴリズム． ナイーブに実装すると O(n^2) （nはテキスト長）

• https://arxiv.org/abs/1508.07909
• https://www.wikiwand.com/en/Byte_pair_encoding
• https://www.slideshare.net/ssuserd79a5c1/2019bpe

Sentence Piece

単語列からスタートするのではなく、生文から直接分割を学習. O(nlogn)