Tokenizer (laba_expression API)

java.lang.Object
- org.example.expression.tokenizer.Tokenizer

```
public class Tokenizer
extends Object
```
Лексический анализатор (Lexer).
Преобразует входную строку выражения в список Token. Использует подход ручного разбора символов (char-by-char parsing).
Особенности:
- Автоматически удаляет все пробельные символы
- Поддерживает целые и дробные числа
- Различает функции и переменные по наличию открывающей скобки '(' сразу после имени
See Also:

Token, TokenType

- Constructor Summary
  
  Constructors
  Constructor Description
  
  Tokenizer()
- Method Summary
  
  All Methods Instance Methods Concrete Methods
  Modifier and Type Method Description
  
  List<Token> tokenize(String expression)
  Токенизирует входное выражение.
  - Methods inherited from class java.lang.Object
    clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

- Constructor Detail
  - Tokenizer
```
public Tokenizer()
```
- Method Detail
  - tokenize
```
public List<Token> tokenize(String expression)
                     throws ExpressionException
```
    Токенизирует входное выражение.
    
    Parameters:
    
    expression - строка с математическим выражением
    
    Returns:
    
    упорядоченный список токенов
    
    Throws:
    
    ExpressionException - если выражение содержит недопустимые символы