Статья ja

nanochatの日本語版フォーク「nanochat-jp」、トークナイザ学習・事前学習・SFT・RL・評価・推論を単一リポジトリで完結させ、SentencePiece Unigram トークナイザ・日本語コーパスと日本語 SFT/RL データ・日本語ベンチマーク（CORE / ChatCORE）・HuggingFace形式への変換器あり

Источник: Gigazine · Добавлено Вчера

日本語を扱うAIモデルを一から開発する際には学習用の文章を集めるだけでなく、文章を細かく分割するトークナイザの作成や追加学習・性能の評価などの工程が必要です。こうした作業を個別に組み合わせる手間を減らし、日本語の学習データや評価用のプログラムをまとめて利用できるようにしたのが「nanochat」の日本語版フォーク「nanochat-jp」です。続きを読む...

Открыть оригинал Открыть больше

1 человек видели

フリマアプリのプロ向け、段ボールを緩衝材にするシュレッダー
Статья · Gizmodo JP
「これで十分」なXiomiのスマートバンドに新モデル。公式サイトなら安く買えるよ
Статья · Gizmodo JP
パスワードを盗む必要すらなし。Linuxの脆弱性が発見される
Статья · Gizmodo JP
新型iPad miniのバッテリー容量、実は減っていた。でも安心して、稼働時間は一緒だよ
Статья · Gizmodo JP
これが読めたら天才。Claudeが画像に隠したメッセージ
Статья · Gizmodo JP
ガッビガビ低画質jpgの呪いを解く、たった4行のGeminiプロンプト
Статья · Gizmodo JP

Похожее