Whole Word Masking

내가 이해한대로 풀어보면, whole word, 즉, 온전히 단어 단위로 마스킹한다고 보면 된다.
기존 마스킹 방법으로 할 때는 phil ##am ##mon 이라는 sub words의 조합 중에

• 기존 방법으로는 phil [MASK] ##mon만 마스킹되지만,
• whole word masking에서는 [MASK] [MASK] [MASK] 이렇게 한 단어 전체가 마스킹된다.

Input Text: the man jumped up , put his basket on phil ##am ##mon ' s head

Original Masked Input  : [MASK] man [MASK] up , put his [MASK] on phil [MASK] ##mon ' s head

Whole Word Masked Input: the man [MASK] up , put his basket on [MASK] [MASK] [MASK] ' s head

ref

• https://datascience.stackexchange.com/questions/53875/what-is-whole-word-masking-in-the-recent-bert-model
• https://vanche.github.io/spanbert_roberta/