К содержимому
learnspaceYOUR NEXT CHAPTER
ПРОСТРАНСТВО ОБУЧЕНИЯ
ГлавнаяКаталог курсовМоё обучениеCoursera

Знания без границ

Учитесь у лучших университетов и компаний мира.

Открыть Coursera
Интеграция
Пространство университета
Моё пространствоСтраница курса
↵
ЯЛичный кабинетСтудент
© 2026 LearnSpaceКаждый день — возможность узнать больше.Помощь
Hadoop Platform and Application Framework · LearnSpace
Назад в каталог
courseraАнализ данных

Hadoop Platform and Application Framework

Курс от University of California San Diego
Уровень не указан≈ 25.5 чАнглийский
О курсеНавыкиПрограммаПреподаватели

О курсе

This course is for novice programmers or business people who would like to understand the core tools used to wrangle and analyze big data. With no prior experience, you will have the opportunity to walk through hands-on examples with Hadoop and Spark frameworks, two of the most common in the industry. You will be comfortable explaining the specific components and basic processes of the Hadoop architecture, software stack, and execution environment. In the assignments you will be guided in how data scientists apply the important concepts and techniques such as Map-Reduce that are used to solve fundamental problems in big data. You'll feel empowered to have conversations about big data and the data analysis process.

Навыки, которые вы освоите

Apache HadoopApache SparkFile SystemsData ProcessingPySparkPerformance TuningDistributed ComputingData StorageAnalyticsData ArchitectureData AnalysisSystem ConfigurationPython ProgrammingBig DataSoftware ArchitectureData Science

Программа курса

5 модулей · 82 учебных материалов

01Hadoop Basics12 материалов

Lesson 1: Big Data Hadoop Stack

Hadoop Stack BasicsВидеоThe Apache Framework: Basic ModulesВидеоHadoop Distributed File System (HDFS)ВидеоThe Hadoop "Zoo"ВидеоHadoop Ecosystem Major ComponentsВидео

Учитесь у экспертов

Natasha Balac, Ph.D.

Interdisciplinary Center for Data Science

Paul Rodriguez

Research Programmer

Andrea Zonca

HPC Applications Specialist

Hadoop Platform and Application Framework
В каталоге вашей программы

Инвестируйте в себя

Новые знания — в удобное для вас время.

Начать на Coursera

Обучение откроется на Coursera
в новой вкладке

Обучение на Coursera

≈ 25.5 ч

5 модулей

Язык: Английский

Субтитры: Арабский, Французский, Бенгальский, Украинский, Китайский (Китай), Греческий, Итальянский, Бразильский португальский, Вьетнамский, Нидерландский, Корейский, Немецкий, Пушту, Урду, Русский, Тайский, Индонезийский, Шведский, Турецкий, Азербайджанский, Испанский, Дари, Хинди, Японский, Казахский, Венгерский, Польский

Часть программы вашего университета
Basic Hadoop StackЗадание
Apache Hadoop EcosystemЧтение
Lesson 1 Slides (PDF)Чтение

Lesson 2: Hands-On Exploration of the Cloudera VM

Hardware & Software RequirementsЧтениеExploring the Cloudera VM: Hands-On Part 1ВидеоExploring the Cloudera VM: Hands-On Part 2ВидеоLesson 2 Slides - Cloudera VM TourЧтение
02Introduction to the Hadoop Stack19 материалов

Lesson 1: Overview of the Hadoop Stack

Overview of the Hadoop StackВидеоThe Hadoop Distributed File System (HDFS) and HDFS2ВидеоMapReduce Framework and YARNВидеоHadoop Basics - Lesson 1 SlidesЧтениеOverview of Hadoop StackЗадание

Lesson 2: The Hadoop Execution Environment

The Hadoop Execution EnvironmentВидеоYARN, Tez, and SparkВидеоHadoop Resource SchedulingВидеоLesson 2: Hadoop Execution Environment - SlidesЧтениеHadoop Execution EnvironmentЗадание

Lesson 3: Overview of Hadoop based Applications and Services

Hadoop-Based ApplicationsВидеоIntroduction to Apache PigВидеоIntroduction to Apache HIVEВидеоIntroduction to Apache HBASEВидеоLesson 3: Hadoop-Based Applications Overview - All SlidesЧтениеCommand list for Applications SlidesЧтение
03Introduction to Hadoop Distributed File System (HDFS)17 материалов

Lesson 1: HDFS Architecture and Configuration

Overview of HDFS ArchitectureВидеоThe HDFS Performance EnvelopeВидеоRead/Write Processes in HDFSВидеоLesson 1: Introduction to HDFS - SlidesЧтениеHDFS referencesЧтениеHDFS ArchitectureЗадание

Lesson 2: HDFS Performance and Tuning

HDFS Tuning ParametersВидеоHDFS Performance and RobustnessВидеоLesson 2: HDFS Performance and Tuning - SlidesЧтениеHDFS performance,tuning, and robustnessЗадание

Lesson 3: HDFS Access, Commands, APIs, and Applications

Overview of HDFS Access, APIs, and ApplicationsВидеоHDFS CommandsВидеоNative Java API for HDFSВидеоREST API for HDFSВидеоAccessing HDFSЗаданиеHDFS Access, APIsЧтение
04Introduction to Map/Reduce15 материалов

Lesson 1: Introduction to Map/Reduce

Introduction to Map/ReduceВидеоThe Map/Reduce FrameworkВидеоA MapReduce Example: Wordcount in detailВидеоRunning Wordcount with Hadoop streaming, using Python codeПрограммированиеLesson 1: Introduction to MapReduce - SlidesЧтениеLesson 1 ReviewЗаданиеA note on debugging map/reduce programs.Чтение

Lesson 2: Map/Reduce Examples and Principles

MapReduce: Intro to Examples and PrinciplesВидеоMapReduce Example: Trending WordcountВидеоMapReduce Example: Joining DataВидеоMapReduce Example: Vector MultiplicationВидеоComputational Costs of Vector MultiplicationВидеоMapReduce SummaryВидео
05Spark19 материалов

Lesson 1: Introduction to Apache Spark

Introduction to Apache SparkВидеоArchitecture of SparkВидеоSetup PySpark on the Cloudera VMЧтениеLesson 1: Intro to Apache Spark - SlidesЧтениеSpark Lesson 1Задание

Lesson 2: Resilient Distributed Datasets and Transformations

Resilient Distributed DatasetsВидеоSpark TransformationsВидеоWide TransformationsВидеоLesson 2: RDD and Transformations - SlidesЧтениеSpark Lesson 2ЗаданиеSimple Join in SparkПрограммирование

Lesson 3: Job scheduling, Actions, Caching and Shared Variables

Directed Acyclic Graph (DAG) SchedulerВидеоActions in SparkВидеоMemory Caching in SparkВидеоBroadcast VariablesВидеоAccumulatorsВидеоLesson 3: Scheduling, Actions, Caching - SlidesЧтение
Tips to handle service connection errorsЧтение
References for ApplicationsЧтение
Hadoop ApplicationsЗадание
Lesson 3: HDFS Access, APIs, Applications - SlidesЧтение
Lesson 2: MapReduce Examples and Principles - SlidesЧтение
Joining DataПрограммирование
Spark Lesson 3Задание
Advanced Join in SparkПрограммирование