Artículo ja

nanochatの日本語版フォーク「nanochat-jp」、トークナイザ学習・事前学習・SFT・RL・評価・推論を単一リポジトリで完結させ、SentencePiece Unigram トークナイザ・日本語コーパスと日本語 SFT/RL データ・日本語ベンチマーク（CORE / ChatCORE）・HuggingFace形式への変換器あり

Fuente: Gigazine · Añadido Ayer

日本語を扱うAIモデルを一から開発する際には学習用の文章を集めるだけでなく、文章を細かく分割するトークナイザの作成や追加学習・性能の評価などの工程が必要です。こうした作業を個別に組み合わせる手間を減らし、日本語の学習データや評価用のプログラムをまとめて利用できるようにしたのが「nanochat」の日本語版フォーク「nanochat-jp」です。続きを読む...

Abrir el original Descubrir más

1 personas lo vieron

フリマアプリのプロ向け、段ボールを緩衝材にするシュレッダー
Artículo · Gizmodo JP
「これで十分」なXiomiのスマートバンドに新モデル。公式サイトなら安く買えるよ
Artículo · Gizmodo JP
パスワードを盗む必要すらなし。Linuxの脆弱性が発見される
Artículo · Gizmodo JP
新型iPad miniのバッテリー容量、実は減っていた。でも安心して、稼働時間は一緒だよ
Artículo · Gizmodo JP
これが読めたら天才。Claudeが画像に隠したメッセージ
Artículo · Gizmodo JP
ガッビガビ低画質jpgの呪いを解く、たった4行のGeminiプロンプト
Artículo · Gizmodo JP

Más como esto