機械学習のエンジニアのためのTransformers読書会 #4

お知らせ connpassではさらなる価値のあるデータを提供するため、2024年5月23日(木)を以ちましてイベントサーチAPIの無料での提供の廃止を決定いたしました。
2024年5月23日(木)以降より開始予定の「connpass 有料API」の料金プランにつきましてはこちらをご覧ください。

お知らせ connpassをご利用いただく全ユーザーにおいて健全で円滑なイベントの開催や参加いただけるよう、イベント参加者向け・イベント管理者向けのガイドラインページを公開しました。内容をご理解の上、イベント内での違反行為に対応する参考としていただきますようお願いいたします。

6月

10
機械学習のエンジニアのためのTransformers読書会 #4

募集内容	参加枠1 無料参加者数 16人
申込者	申込者一覧を見る
開催日時	2023/06/10(土) 22:00 ～ 23:00 Googleカレンダー icsファイル
募集期間	2023/06/04(日) 12:00 〜 2023/06/10(土) 23:00まで
会場	オンライン
参加者への情報	(参加者と発表者のみに公開されます)

イベントの説明

要旨

この読書会は「機械学習エンジニアのためのTransformers」を取り上げます。

毎回担当者を決めて、本に軽く目を通しながら、担当者が公式リポジトリのコードを実行していきます。参加者の手元に本がある前提で、発表用のスライドなどは用意しません。この読書会は担当者の負荷をできるだけ小さくするという方針で実施します。このような進め方が初めてなので、会を進めながらより良い方法を模索していきます。

各回の担当者は事前にコードの動作確認だけお願いします。資料の準備は必須ではありませんが、準備して頂いても大丈夫です。この読書会では、担当者に「よくわかっている」ことを求めません！むしろ "「わからない」を連発して周りからの助けを求める感じ" でOKです！ですので希望者になることを「重荷に」感じてもらうことはありません！

不特定多数が参加するオンラインイベントのため、原著の内容そのものは画面共有しない方針とします。ご了承ください。

一方、下記の原著のための GitHub リポジトリの内容は画面共有可能と捉え、活用する方針です。

開催ペースは月に2、3回程度を想定しています。毎回、最後に次以降の開催日時を決めます。基本的に土曜日の22:00〜23:00の枠として、日は担当者、オーガナイザーの都合で決めさせてください。

開催日時

6月10日（土）22:00〜23:00

場所

DiscordのPyData-JPのボイスチャンネル「PyDataOsaka読書会」で行います。当イベントに参加申し込み頂くと、DiscordPyData-JPのサーバへの招待リンクを当イベントページで確認できます。

書籍の目次

今回は2.3.1以降を読んでいきます。

    2.3　テキスト分類器の学習
        2.3.1　特徴抽出器としてのTransformer
        2.3.2　Transformerのファインチューニング
    2.4　まとめ

3章　Transformer の詳細
    3.1 Transformerのアーキテクチャ
    3.2　エンコーダ
        3.2.1　セルフアテンション
        3.2.2　順伝播層
        3.2.3　レイヤー正規化の追加
        3.2.4　位置埋め込み
        3.2.5　分類ヘッドの追加