К содержимому
learnspaceYOUR NEXT CHAPTER
ПРОСТРАНСТВО ОБУЧЕНИЯ
ГлавнаяКаталог курсовМоё обучениеCoursera

Знания без границ

Учитесь у лучших университетов и компаний мира.

Открыть Coursera
Интеграция
Пространство университета
Моё пространствоСтраница курса
↵
ЯЛичный кабинетСтудент
© 2026 LearnSpaceКаждый день — возможность узнать больше.Помощь
Decision Making and Reinforcement Learning · LearnSpace
Назад в каталог
courseraПрограммирование

Decision Making and Reinforcement Learning

Курс от Columbia University
Средний≈ 47.3 чАнглийский
О курсеНавыкиПрограммаПреподаватели

О курсе

This course is an introduction to sequential decision making and reinforcement learning. We start with a discussion of utility theory to learn how preferences can be represented and modeled for decision making. We first model simple decision problems as multi-armed bandit problems in and discuss several approaches to evaluate feedback. We will then model decision problems as finite Markov decision processes (MDPs), and discuss their solutions via dynamic programming algorithms. We touch on the notion of partial observability in real problems, modeled by POMDPs and then solved by online planning methods. Finally, we introduce the reinforcement learning problem and discuss two paradigms: Monte Carlo methods and temporal difference learning. We conclude the course by noting how the two paradigms lie on a spectrum of n-step temporal difference methods. An emphasis on algorithms and examples will be a key part of this course.

Навыки, которые вы освоите

Reinforcement LearningMarkov ModelAlgorithmsMachine Learning MethodsAnalysisStatistical MethodsDeep LearningArtificial Intelligence and Machine Learning (AI/ML)Machine Learning AlgorithmsMachine LearningDecision Intelligence

Программа курса

8 модулей · 101 учебных материалов

01Decision Making and Utility Theory19 материалов

Week 1: Getting Started and Course Overview

Course SyllabusЧтениеAbout the InstructorЧтениеIntroduction to Decision Making and Reinforcement LearningВидеоCourse LogisticsВидео

Учитесь у экспертов

Tony Dear

Lecturer

Decision Making and Reinforcement Learning
В каталоге вашей программы

Инвестируйте в себя

Новые знания — в удобное для вас время.

Начать на Coursera

Обучение откроется на Coursera
в новой вкладке

Обучение на Coursera

≈ 47.3 ч

8 модулей

Язык: Английский

Субтитры: Арабский, Французский, Бенгальский, Узбекский, Украинский, Китайский (Китай), Греческий, Итальянский, Бразильский португальский, Нидерландский, Корейский, Немецкий, Пушту, Урду, Русский, Тайский, Индонезийский, Шведский, Турецкий, Азербайджанский, Испанский, Дари, Хинди, Японский, Казахский, Венгерский, Польский

Часть программы вашего университета
Academic Honesty PolicyЧтение
Discussion Forum EtiquetteЧтение
Security Notice: Instructor Impersonation and Phishing ScamЧтение
Introduce Yourself!Обсуждение

Pre-Course Survey

Pre-Course Survey ЧтениеPre-Course Survey PLUGIN

Week 1: Decision Making and Utility Theory

Week 1 Lesson MaterialsЧтение1.1 Rational Agents and Utility TheoryВидео1.2 Preferences and Axioms of Utility TheoryВидео1.3 Uncertain and Multi-Attribute UtilitiesВидео1.4 Value of Perfect InformationВидео

Week 1: Apply Your Knowledge

Utility TheoryЗаданиеUtility TheoryПрограммирование

Week 1: Discussion Questions

Discussion on Utility TheoryОбсуждениеWeek 1 Questions and FeedbackОбсуждение
02Bandit Problems8 материалов

Week 2: Bandit Problems

Week 2 Lesson MaterialsЧтение2.1 Multi-Armed Bandits and Action ValuesВидео2.2 Ɛ-Greedy Action SelectionВидео2.3 Upper Confidence BoundВидео

Week 2: Apply Your Knowledge

Multi-Armed Bandit ProblemsЗаданиеMulti-Armed Bandit ProblemsПрограммирование

Week 2: Discussion Questions

Discussion on Multi-Armed BanditsОбсуждениеWeek 2 Questions and FeedbackОбсуждение
03Markov Decision Processes12 материалов

Week 3: Markov Decision Processes

Week 3 Lesson MaterialsЧтение3.1 Markov Decision Process FrameworkВидео3.2 Gridworld ExampleВидео3.3 Rewards, Utilities, and DiscountingВидео3.4 Policies and Value FunctionsВидео3.5 Example: Mini-GridworldВидео3.6 Bellman Optimality EquationsВидео

Week 3: Apply Your Knowledge

Sequential Decision ProblemsЗаданиеBellman EquationsПрограммирование

Week 3: Discussion Questions

Discussion on Sequential Decision Problem - Part 1ОбсуждениеDiscussion on Sequential Decision Problem - Part 2ОбсуждениеWeek 3 Questions and FeedbackОбсуждение
04Dynamic Programming13 материалов

Week 4: Dynamic Programming

Week 4 Lesson MaterialsЧтение4.1 Time-Limited ValuesВидео4.2 Value IterationВидео4.3 Value Iteration ImplementationВидео4.4 Policy IterationВидео4.5 Example: Mini-GridworldВидео4.6 Algorithm ComplexityВидео

Week 4: Apply Your Knowledge

Markov Decision ProcessesЗаданиеValue IterationПрограммированиеPolicy IterationПрограммирование

Week 4: Discussion Questions

Discussion on Markov Decision ProcessesОбсуждениеDiscussion on Policy Iteration vs. Value IterationОбсуждениеWeek 4 Questions and FeedbackОбсуждение
05Partially Observable Markov Decision Processes12 материалов

Week 5: Partially Observable Markov Decision Processes

Week 5 Lesson MaterialsЧтение5.1 Partial Observability and POMDP Видео5.2 Belief StatesВидео5.3 Belief Transition ModelВидео5.4 Policies and Value FunctionsВидео5.5 Example: Mini-GridworldВидеоSummary of Weeks 3, 4, and 5Чтение

Week 5: Apply Your Knowledge

POMDPsЗаданиеPOMDPsПрограммирование

Week 5: Discussion Questions

Discussion on POMDPs - Part 1ОбсуждениеDiscussion on POMDPs - Part 2ОбсуждениеWeek 5 Questions and FeedbackОбсуждение
06Monte Carlo Methods12 материалов

Week 6: Monte Carlo Methods

Week 6 Lesson MaterialsЧтение6.1 Monte Carlo MethodsВидео6.2 First-Visit MC PredictionВидео6.3 State-Action ValuesВидео6.4 Ɛ−Greedy On-Policy MC ControlВидео6.5 On and Off-Policy MC ControlВидео6.6 Example: Mini-GridworldВидеоPost-Lecture ReadingЧтение

Week 6: Apply Your Knowledge

Monte Carlo RLЗаданиеMonte CarloПрограммирование

Week 6: Discussion Questions

Discussion on Monte Carlo RLОбсуждениеWeek 6 Questions and FeedbackОбсуждение
07Temporal-Difference Learning13 материалов

Week 7: Temporal-Difference Learning

Week 7 Lesson MaterialsЧтение7.1 Temporal Difference LearningВидео7.2 Temporal Difference PredictionВидео7.3 Batch UpdatingВидео7.4 TD Learning for ControlВидео7.5 SARSA vs Q-LearningВидеоPost-Lecture ReadingsЧтение

Week 7: Apply Your Knowledge

Temporal Difference LearningЗаданиеTic-Tac-ToeПрограммированиеQ-LearningПрограммированиеSARSAПрограммирование

Week 7: Discussion Questions

Discussion on Temporal Difference RLОбсуждениеWeek 7 Questions and FeedbackОбсуждение
08Reinforcement Learning - Generalization12 материалов

Week 8: Reinforcement Learning - Generalization

Week 8 Lesson MaterialsЧтение8.1 𝑛-step Temporal Difference PredictionВидео8.2 𝑛-step SARSAВидео8.3 Model-Based MethodsВидео8.4 Function ApproximationВидеоPost-Lecture ReadingsЧтение

Week 8: Apply Your Knowledge

Generalization of Tabular MethodsЗаданиеFrozen LakeПрограммирование

Week 8: Discussion Questions

Reinforcement Learning in Daily LivesОбсуждениеWeek 8 Questions and FeedbackОбсуждение

Post-Course Survey

Post-Course SurveyЧтениеPost-Course SurveyPLUGIN