# Punctuation tokens to remove
,
.
`
-
_
=
?
'
|
"
(
)
{
}
[
]
<
>
*
#
&
^
$
@
!
~
:
;
+
/
\
《
》
—
－
，
。
、
：
；
！
·
？
“
”
）
（
【
】
［
］
●
# the line below contains an IDEOGRAPHIC SPACE character (Used as a space in Chinese)
　

# English Stop Words

a
an
and
are
as
at
be
but
by
for
if
in
into
is
it
no
not
of
on
or
such
that
the
their
then
there
these
they
this
to
was
will

# Punctuation tokens to remove
,
.
`
-
_
=
?
'
|
"
(
)
{
}
[
]
<
>
*
#
&
^
$
@
!
~
:
;
+
/
\
《
》
—
－
，
。
、
：
；
！
·
？
“
”
）
（
【
】
［
］
●
# the line below contains an IDEOGRAPHIC SPACE character (Used as a space in Chinese)
　

# English Stop Words

nors
nuo
o
pat
per
po
prie
prieš
sau
save
savęs
savimi
savo
savyje
su
tačiau
tada
tai
taip
tas
tau
tave
tavęs
tavimi
tavyje
ten
to
todėl
tu
tuo
už
visi

jen
podle
zde
už
být
více
bude
již
než
který
by
které
co
nebo
ten
tak
má
při
od
po
jsou
jak
další
ale
si
se
ve
to
jako
za
zpět
ze
do
pro
je
na
atd
atp
jakmile
přičemž
já
on
ona
ono
oni
ony
my
vy
jí
ji
mě
mne
jemu
tomu
těm