VIP Cheatsheet: Transformer と大規模言語モデル

『Super Study Guide: Transformer と大規模言語モデル』という書籍の概要です。 1 基礎 1.1 トークン トークンの定義 – トークンは、単語、サブワード、文字などの分割できないテキストの単位です。これらは事前...