Big Data-ға кіріспе

О курсе

Big Data саласы туралы біліміңізді арттырғыңыз келе ме? Бұл курс деректер ғылымымен енді ғана таныса бастаған және бүгінде Big Data дәуірінің орнау себебін түсінгісі келетін адамдарға арналған. Сондай-ақ ол Big Data проблемаларына, қосымшаларына және жүйелеріне қатысты терминология мен негізгі ұғымдарды білгісі келетіндерге арналған. Бұл – Big Data-ның адамдардың бизнесінде немесе мансабында қаншалықты пайдалы болуы мүмкін екендігі туралы білгісі келетіндер үшін таптырмас курс. Мұнда ең кең таралған құрылымдардың бірі, Big Data талдауын жеңілдетіп, барынша қолжетімді қылатын, деректердің әлеуетін арттырып, әлемді өзгертетін Hadoop экожүйесіне кіріспе берілген. Осы курстың соңында сіз мына дағдыларды меңгересіз: Big Data жүйесін сипаттау, соның ішінде бүгінгі әлемдегі Big Data проблемаларына мысал келтіру, Big Data-ның негізгі үш дереккөзі – адамдар, ұйымдар және сенсорларды анықтау. Big Data-ның “V” әрпінен басталатын факторларын (volume (көлем), velocity (жылдамдық), variety (әртүрлілік), veracity (шынайылық), valence (маңыздылық) және value (құндылық) түсіндіру және олардың әрқайсысы деректерді жинауға, бақылауға, сақтауға, талдауға және есеп құруға қалай әсер ететінін анықтау. Анализді құрылымдау үшін 5 кезеңдік процесті қолданып, Big Data-ны пайдаға асыру. Big Data проблемаларын анықтау және оларды деректер ғылымының сұрақтары ретінде құрастыра білу. Масштабталатын Big Data талдауы үшін пайдаланылатын архитектуралық компоненттер мен бағдарламалау модельдерінің түсіндірмесін беру. Ресурс пен жұмысты басқаруға арналған YARN жүйесін, HDFS файлдық жүйесін және MapReduce бағдарламалау моделін қоса алғанда, Hadoop экожүйесінің негізгі стек компоненттерінің мүмкіндіктері мен маңызын қысқаша түсіндіру. Hadoop көмегімен бағдарламаны орнату және іске қосу. Бұл курс деректер ғылымын енді меңгере бастаған адамдарға арналған. Курсты меңгеру үшін бұған дейінгі бағдарламалау тәжірибесі қажет емес, дегенмен практикалық тапсырмаларды орындау үшін қолданбаларды орната және виртуалды машинаны пайдалана білу қажет. Аппараттық жабдыққа қойылатын талаптар: (A) Төрт ядролы процессор (VT-x немесе AMD-V жүйесін қолдағаны жөн), 64 бит; (B) 8 ГБ оперативті жад; (C) дискіде бос 20 ГБ жад болуы керек. Аппараттық жабдық туралы ақпаратты қалай табуға болады: (Windows): “Іске қосу” түймесін басып, “Компьютер” белгішесін тінтуірдің оң жақ түймесімен түртіңіз де, “Сипаттар” түймесін басу арқылы жүйені ашыңыз; (Mac): Apple мәзірін және “Осы Mac туралы” түймесін басу арқылы “Шолу” бөлімін ашыңыз. Соңғы 3 жылда сатып алынған 8 ГБ оперативті жадтан тұратын компьютерлердің көбі минималды талаптарға жауап береді. 4 ГБ дейінгі файлдарды жүктеп алу керек болғандықтан, сізге жоғары жылдамдықты интернет байланысы қажет. Бағдарламалық жасақтамаға қойылатын талаптар: Бұл курста Apache Hadoop жүйесін қоса алғанда, бірнеше ашық кодты бағдарламалық жасақтама қолданылады. Барлық қажетті бағдарламалық жасақтаманы тегін жүктеп алуға және орнатуға болады. Бағдарламалық жасақтамаға қойылатын талаптар: Windows 7+, Mac OS X 10.10+, Ubuntu 14.04+ немесе CentOS 6+ VirtualBox 5+.

Навыки, которые вы освоите

Учитесь у экспертов

Amarnath Gupta

Director, Advanced Query Processing Lab