Proyectos de Subversion Moodle

Rev

| Ultima modificación | Ver Log |

Rev Autor Línea Nro. Línea
1 efrain 1 
<?php
2 
 
3 
declare(strict_types=1);
4 
 
5 
namespace Phpml\Tokenization;
6 
 
7 
class WordTokenizer implements Tokenizer
8 
{
9 
    public function tokenize(string $text): array
10 
    {
11 
        $tokens = [];
12 
        preg_match_all('/\w\w+/u', $text, $tokens);
13 
 
14 
        return $tokens[0];
15 
    }
16 
}