Appendix D. Tokenizers
Prev |  | Next

# Appendix D. Tokenizers

## 1. Introduction

Le cercatores del stirpe meliora le qualitate de concordantias con le recognition del parolas declinate in le datos del memoria fonte e in le traduction. Illos augmenta alsi la concordantias del glossario.

Un cercator del stirpe pro le anglese deberea identificar, per exemplo, le linea "cats" (e possibilemente "catlike", "catty" etc.) como basate sur le mesme radice "cat", e "stemmer", "stemming", "stemmed" como basate sur "stem". Un algorithmo de cerca del stirpe reduce le parolas "fishing", "fished", "fish", e "fisher" al radice, "fish". Isto es in modo special utile in caso de linguas que usa formas con prefixo e suffixo pro le parolas stirpe. Faciente se prestar un exemplo ex le sloveno, ci "bon" in omne possibile formas grammaticamente correcte:

- lep, lepa, lepo - singular, masculin, feminin, neutral

- lepši, lepša, lepše . - comparative, nominative, masculin, feminin, neutral, resp. Forma plural del adjectivo

- najlepših - superlative, plural, genitive pro M, F, N

## 2. Selection del linguas

Le Tokenizers es ordinarimente includite in OmegaT e active. OmegaT selige automaticamente un tokenizer pro le lingua fonte e uno pro le lingua de destination secundo le configurationes del lingua del projecto. Il es possibile seliger un altere tokenizer (Tokenizer del lingua) o un version differente del tokenizer (Comportamento del Tokenizer) per le fenestra Proprietates de projecto.

In le caso que nulle tokenizer existe pro le lingua currente, OmegaT usa Hunspell in vice (in iste caso, face te secur que es installate le dictionarios Hunspell pertinente).

### Incompatibilitates

OmegaT non initiara se si es trovate tokenizers in le plica /plugin. Leva omne le tokenizers ex le plica /plugin ante que tu lancea OmegaT.

Prev |  | Next
Appendix C. OmegaT, Projecto in equipas | Home | Appendix E. Plugin LanguageTool