Раді повідомити про вдале завершення курсу основи Data Engineering, який вдалось реалізувати в рамках співпраці інституту з компанією Quantum. Цього лютого ми почали курс для студентів ІКМ, як дисципліну вільного вибору (ДВВ) і планово, не дивлячись на відомі перешкоди, закінчили його у травні.

Quantum це є українська ІТ компанія, яка спеціалізується на проектах в області штучного інтелекту та Data Science. В цьому році Quantum запропонували в рамках співпраці спільно провести курс з основи Data Engineering. Це вкрай спеціалізований та складний технічний курс, який має безліч технологічних новацій й особливостей, що використовують в сучасному аналізі даних.

В загальній методології розробки та впровадження моделей машинного навчання та   штучного інтелекту – питання підготовки даних, власне суть data engineering приділяється велика увага, оскільки від якості цієї підготовки залежить кінцевий результат, а час який слід витратити на цю роботу інколи може перевищувати весь інший час роботи. Але нажаль, тематиці інженерії даних приділяється замало уваги у навчальному процесі в Українських ЗВО і, в принципі, дуже мало фахівців як в теоретичному так і тим паче в практичному аспекті.

Отже в межах вибіркової складової освітнього процесу для студентів ІКМ було запропоновано відповідний технічний курс. Здобувачі освіти, які навчаються на 3-му курсі мали можливість ознайомитись з презентацією курсу та його описом і записатись онлайн на його відвідування. Зацікавленість курсом проявили студенти спеціальностей 113 “Прикладна математика”. Освітня програма “Комп’ютерне та математичне моделювання”, 122 “Комп’ютерні науки”. Освітня програма “Моделювання, проектування та комп’ютерна графіка”, 151 “Автоматизація та комп’ютерно-інтегровані технології”. Освітня програма має таку ж назву .

Тож, якщо ви бажаєте розпочати свій шлях до співпраці з нашою компанією – обрай для вступу зазначені вище спеціальності та відповідні освітні програми (http://web.kpi.kharkov.ua/infiz/uk/computer-sciences/).

Юра Брайко, Data Engineer та лектор курсу зробив програму доступною, а процес викладання приємним для студентів.

В концепції програми основним завданням було донести до студентів, чому інженерний світ прийшов до тих чи інших рішень, шляхом практичних прикладів. Курс охопив огляд специфічних для Data Engineering задач,  і чим вони відрізняються від операційних задач типової системи. На заняттях теоретичного та практичного типу студенти заглибились у формати даних, їх види та відмінності, разом з перевагами та недоліками. Було розглянуто концепції Data Lake,  Data Warehouse та Data Lakehouse. В рамках курсу також наведено огляд систем зберігання даних та стратегії їхньої обробки,  де ретроспективно розібрали ідею MapReduce та порівняння типу роботи Spark і Ariflow. В кінці курсу ментор познайомив студентів з DAG і розібрав концепції та місця черг/потоків подій в системі загалом.

У підсумку, основна ідея курсу витримана — Юра простими словами розповів студентам, як працюють механізми, що знаходяться поза сценою, на якій, в тих чи інших технологіях реалізуються прикладні задачі. А студенти тим часом отримали базу знань, яку вони згодом будуть використовувати у побудові складних технічних архітектурних рішеннях.

“Було б зухвальством сказати,  що повномасштабні воєнні дії жодним чином не вплинули на якість курсу,  особливо враховую факт що деякі студенти та лектор знаходились в Харкові. Але щиро сподіваюсь, що основна ідея витримана – розповідати механізми,  що знаходяться поза сценою, на якій, в тих чи інших технологіях реалізуються прикладні задачі. Трохи сумно від факту,  що знання це дійсно когерентна штука, і не можна викладати щось,  у вакуумі. І стає дилема, між вибором викладання переліку прикладних технік, що скоріш за все допоможуть на співбесіді та викладанням того, що має шанс стати фоновими знаннями, але не допоможе написати гарний продукт тут і зараз. Проте схоже це вирішується форматом, в якому група просто проходить практичні приклади, і, можливо це надає навички прикладної роботи. Точно про це можна судити лише в майбутньому.

В кінці хочу сказати, що переважна більшість студентів – це кращі представники нашого світу, яким,  за великим рахунком потрібна увага та простір для висловлювання своїх думок. І я не маю права говорити інакше, коли в вихідний день вони збиратися на лекцію, майже в тому ж складі,  що і зазвичай.”

Юра Брайко

Освітні програми згідно закону України про вищу освіту повинні мати вибіркову складову в межах 25%. В інституті комп’ютерного моделювання, прикладної фізики та математики (ІКМ) НТУ ХПІ  успішно реалізується концепція дисциплін вільного вибору, які адміністрація інституту готує для студентів у співпраці з провідними технологічними компаніями регіону. Ідея такого підходу полягає в залученні в якості ментора (другого викладача курсу) практикуючого фахівця в галузі для надання студентам знань та навичок практичного спрямування з актуальних технологій. Це вузькоспеціалізовані курси, які не потрібні всім студентам, тому їх пропонують на вибір лише тим хто зацікавиться. Такий підхід забезпечує можливість свідомої та відповідальної кастомізації освітнього треку. Крім того, інтеграція ментора у традиційний навчальний процес в якості другого лектора (але провідного з точки зору формування практичної складової) дозволяє актуалізувати практичні знання викладачів університету. Одним з партнерів ІКМ в такій співпраці уже 2 роки є компанія Quantum.