本文へスキップ
onsuggest
ログイン
記事 ja

nanochatの日本語版フォーク「nanochat-jp」、トークナイザ学習・事前学習・SFT・RL・評価・推論を単一リポジトリで完結させ、SentencePiece Unigram トークナイザ・日本語コーパスと日本語 SFT/RL データ・日本語ベンチマーク（CORE / ChatCORE）・HuggingFace形式への変換器あり

情報源: Gigazine ·

日本語を扱うAIモデルを一から開発する際には学習用の文章を集めるだけでなく、文章を細かく分割するトークナイザの作成や追加学習・性能の評価などの工程が必要です。こうした作業を個別に組み合わせる手間を減らし、日本語の学習データや評価用のプログラムをまとめて利用できるようにしたのが「nanochat」の日本語版フォーク「nanochat-jp」です。 続きを読む...

元のページを開く もっと発見する

1 人が見た

キーボードショートカット

前の発見
←P
次の発見
→N
いいね
L
合わない
X
保存
S
このヘルプを表示
?
閉じる
Esc

ショートカットは発見ページで使えます。