---
source_url: https://cs336.stanford.edu/
source_title: "Stanford CS336 | Language Modeling from Scratch"
source_site: "Stanford CS336"
hero_image: https://cs336.stanford.edu/assets/images/stanford-nlp-logo-new.jpg
tags: language-models,machine-learning,stanford,education,deep-learning
generated_at: 2026-06-01T16:00:32.073Z
model: claude-haiku-4-5
---
# スタンフォード大学の言語モデル開発講座 CS336 開講

スタンフォード大学がゼロから言語モデルを構築するための5単位の実践的講座「CS336: Language Modeling from Scratch」を開講する。データ収集からモデル評価、デプロイまでの全プロセスを学生が経験する。

## 講座概要

CS336は、データ収集・クリーニング、Transformerアーキテクチャの構築、モデル訓練、評価、デプロイに至るまで、言語モデル開発の全段階を網羅する5単位の講座である。オペレーティングシステム講座がゼロからOSを構築させるアプローチにならい、学生が言語モデル開発の全側面を実践的に学ぶ設計となっている。

## 講座日程と課題構成

開講期間は3月30日から6月3日である。講座は5つの段階的な課題で構成され、基本実装から本格的な開発へと進む。Assignment 1ではトークナイザ、モデルアーキテクチャ、オプティマイザの実装と最小限の言語モデルの訓練を行う。Assignment 2はAttentionの最適化、Triton実装によるFlashAttention2の構築、メモリ効率的な分散訓練に取り組む。Assignment 3ではTransformerコンポーネントの理解とスケーリング則の検証を行い、Assignment 4でCommon Crawlダンプをフィルタリング・重複排除によってプリトレーニングデータに変換する。Assignment 5は監督付きファインチューニングと数学問題推論のための強化学習、オプションとしてDPOセーフティアライメント手法を適用する。

## 課題ポリシーと利用可能なGPU

各学生は合計6日間の提出延期日が利用でき、1課題あたり最大3日間まで使用できる。成績発表後、成績異議申し立てを提出する期間は3日間である。講座ではAIツール（ChatGPTなど）の使用が低レベルプログラミングや概念的質問に限定して認められるが、問題の直接的な解答には使用禁止である。オートコンプリート機能は課題実施中は無効にする必要がある。

GPU計算については複数のプロバイダーが利用可能である。Modal のB200 GPUは時給 $6.25 USD（3月28日現在）で、月額 $30 USD の無料計算クレジットが付与される。Lambda Labs は時給 $6.69 USD、RunPod は時給 $4.99 USD、Nebius は時給 $5.50 USD（先制可能プランは時給 $3.05 USD）、Together は時給 $7.49 USD（8 GPU最小要件）の料金設定である。

*この記事は元記事の事実のみに基づいて自動生成されました。*

## 出典

Stanford CS336 | Language Modeling from Scratch
https://cs336.stanford.edu/