* governing permissions and limitations under the License.
 */
package org.codelibs.opensearch.extension.analysis;

import org.apache.lucene.analysis.TokenStream;
import org.codelibs.analysis.ja.CharTypeFilter;
import org.opensearch.common.settings.Settings;
import org.opensearch.env.Environment;
import org.opensearch.index.IndexSettings;
import org.opensearch.index.analysis.AbstractTokenFilterFactory;

    public void test_withLanguages() throws Exception {
        FullWidthToHalfWidthAlphabetNormalizer normalizer = new FullWidthToHalfWidthAlphabetNormalizer();

        String result = normalizer.normalize("ａｂｃ", "field", "en", "ja");

        assertEquals("abc", result);
    }

    @Test
    public void test_japaneseCharactersUnchanged() throws Exception {

			<arg>"fess"</arg>
			<arg>"it/protwords.txt"</arg>
		</postConstruct>
		<postConstruct name="addConfigFile">
			<arg>"fess"</arg>
			<arg>"ja/kuromoji.txt"</arg>
		</postConstruct>
		<postConstruct name="addConfigFile">
			<arg>"fess"</arg>
			<arg>"ja/mapping.txt"</arg>
		</postConstruct>
		<postConstruct name="addConfigFile">
			<arg>"fess"</arg>
			<arg>"ko/nori.txt"</arg>
		</postConstruct>

Ele terá uma *operação de rota* que receberá um corpo `Invoice`, e um parâmetro de consulta `callback_url` que conterá a URL para o callback.

Essa parte é bastante normal, a maior parte do código provavelmente já é familiar para você:

{* ../../docs_src/openapi_callbacks/tutorial001_py310.py hl[7:11,34:51] *}

/// tip | Dica

 */
package org.codelibs.opensearch.extension.analysis;

import java.util.regex.Pattern;

import org.apache.lucene.analysis.TokenStream;
import org.codelibs.analysis.ja.PatternConcatenationFilter;
import org.opensearch.common.settings.Settings;
import org.opensearch.env.Environment;
import org.opensearch.index.IndexSettings;
import org.opensearch.index.analysis.AbstractTokenFilterFactory;

        assertNotNull(tokensEn);
        assertEquals(2, tokensEn.size());

        // Test with Japanese
        List<AnalyzeToken> tokensJa = analyzer.analyze(text, field, "ja");
        assertNotNull(tokensJa);
        assertEquals(2, tokensJa.size());

        // Test with null language
        List<AnalyzeToken> tokensNull = analyzer.analyze(text, field, null);

de
a
o
que
e
do
da
em
um
para
com
não
uma
os
no
se
na
por
mais
as
dos
como
mas
ao
ele
das
à
seu
sua
ou
quando
muito
nos
já
eu
também
só
pelo
pela
até
isso
ela
entre
depois
sem
mesmo
aos
seus
quem
nas
me
esse
eles
você
essa
num
nem
suas
meu
às
minha
numa

## Como Começar

Existem duas maneiras de testar o Fess. A primeira é baixar e instalar você mesmo. A segunda é usar [Docker](https://www.docker.com/products/docker-engine).

### Baixar e Instalar/Executar

O Fess 15.3 já está disponível e pode ser baixado na [página de lançamentos](https://github.com/codelibs/fess/releases "download"). As opções de download incluem: deb, rpm, zip.

Os comandos a seguir mostram como usar o download em formato zip:

Mas mesmo que você nunca use o **FastAPI**, você se beneficiaria de aprender um pouco sobre eles.

/// note | Nota

Se você é um especialista em Python e já sabe tudo sobre type hints, pule para o próximo capítulo.

///

## Motivação { #motivation }

Vamos começar com um exemplo simples:

{* ../../docs_src/python_types/tutorial001_py39.py *}

 */
package org.codelibs.opensearch.extension.analysis;

import java.util.List;
import java.util.Locale;

import org.apache.lucene.analysis.TokenStream;
import org.codelibs.analysis.ja.StopTokenPrefixFilter;
import org.opensearch.common.settings.Settings;
import org.opensearch.env.Environment;
import org.opensearch.index.IndexSettings;
import org.opensearch.index.analysis.AbstractTokenFilterFactory;