skills/semantic-seo-evidence/references/sources/records/SRC-048.md

# SRC-048 — SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing

**Attributie:** Taku Kudo en John Richardson (2018)  
**Bewijslabel:** D  
**Bronsoort:** Peer-reviewed conference paper  
**Publicatiestatus:** Geverifieerd  
**Laatst gecontroleerd:** 2026-07-24

## Ondersteunt

Subwordtokenisatie rechtstreeks vanuit ruwe tekst en modelafhankelijke segmentatie.

## Beperking

Eén tokenisatiemethode, niet de enige mogelijke tokenizer.

## URL

https://aclanthology.org/D18-2012/

## Gekoppelde begrippen

- `TERM-016B`