Gemma 3 270Mは、コンパクトながら新しいアーキテクチャにより高性能を両立させているという。2億7000万パラメータのうち1億7000万は膨大な語彙サイズをもつ埋め込みパラメータで、これにより256,000トークンの語彙数をもち、特定の分野や言語向けに微調整できる強力なベースモデルとなっている。