– 60 מפגשים בני שעתיים אחת לשבוע, סה”כ 120 שעות לימוד.
– כל מפגש יכלול:
1. מעבר על שיעורי הבית.
2. למידה של נושא חדש ודיון על שיעורי הבית שינתנו.
– פרוייקט גמר- 12 שעות.
אומיד והדטי, CTO, ג’טומייט.
ביג דאטה נינג’ה ומארגן מיטאפים.
לאומיד למעלה מעשרים שנות ניסיון בבניית מערכות דאטה בסטרטאפים משלב ה-seed ועד האקזיט ( SQream, Jajah וכו’) ועד גופי תקשורת גדולים (וואלה חדשות, Investing.com ועוד).
אומיד מתמחה בארכיטקטורת ביג דאטה, חדשנות וחשיבה אסטרטגית תוך כדי תכנון המערכות באווירת סטרטאפ כלומר, בצורה אג’ילית, ביחס עלות/תועלת הכי טוב שאפשר ועם עקומת לימוד מהירה.
הלינדקאין של אומיד- https://www.linkedin.com/in/omid-vahdaty
אתר הבלוגים- https://big-data-demystified.ninja
דאטה ארכיטקט הוא האדם שאמור להנגיש את כל הדאטה של הארגון בצורה יעילה, מאובטחת, מהירה וביחס עלות/תועלת הטוב ביותר.
התכונות הנדרשות מארכיטקט דאטה:
– יכולת קבלת החלטות בנושאים הקשורים לניתוח נתונים וטיפול בדאטה בקנה מידה גדול.
– ניסיון בשפות תכנות כגון Python.
– ניסיון בטכנולוגיות קוד פתוח כגון Hadoop ו- Spark.
– ניסיון וידע בטכנולוגיות דאטה בענן- GCP ו- AWS.
– הערכת עלויות ופתרון בעיות ביצועים
הרעיון המרכזי הוא לגרום למשתתף בקורס לפתח חשיבה ומתודולוגיות של ארכיטקט.
מה הכוונה?
היכולת להסתכלות רוחבית על עלות, ביצועים ופשטות התחזוקה.
בסוף הקורס תדעו להיכנס לכל פרוייקט דאטה בכל קנה מידה ולעשות תכנון, הערכת עלויות ולבחור את הכלים המתאימים.
הקורס יערך בזום בקבוצה של עד 25 אנשים.
הנושאים המרכזיים בקורס:
– מבוא ל-Data Engineering- עקרונות חשובים, אוצר מילים טכנולוגי ומעבר על טכנולוגיות ומתודולוגיות שונות.
– היכרות ממוקדת עם הענן של AWS.
– היכרות ממוקדת עם הענן של GCP.
– היכרות ממוקדת עם Hadoop.
– פרוייקט גמר
Epic | subject | hours | sessions |
DE course | Data engineering sillabus | 24 | 12 |
Datacenter | Introduction to datacenter – my first RACK | 2 | 1 |
Datacenter | Storage | 2 | 1 |
Datacenter | Linux 102 + file systems | 2 | 1 |
AWS | S3 | 2 | 1 |
AWS | EC2 + Security groups | 2 | 1 |
AWS | athena + Glue | 2 | 1 |
AWS | EMR | 2 | 1 |
AWS | Redshift | 2 | 1 |
AWS | Kinesis | 2 | 1 |
AWS | KAFKA | 2 | 1 |
security | in moniton / at rest/ roles/ policy | 2 | 1 |
network | VPC, private network, public network | 2 | 1 |
GCP | BigQuery | 2 | 1 |
GCP | PubSub | 2 | 1 |
GCP | Dataproc | 2 | 1 |
container | Docker | 2 | 1 |
code | Python | 2 | 1 |
code | Python pandas | 2 | 1 |
CI CD | git/ Jenkins/ ansible/ | 2 | 1 |
ETL | Rivery | 2 | 1 |
ETL | Airflow | 6 | 3 |
Opensource | Hadoop | 4 | 2 |
Opensource | Spark + Spark Tuning | 2 | 1 |
Opensource | Druid | 2 | 1 |
Opensource | ClickHouse | 2 | 1 |
Databases | SQream | 2 | 1 |
Databases | Snowflake | 2 | 1 |
Databases | Presto | 2 | 1 |
Databases | Introdution to NoSQL | 2 | 1 |
Databases | Aerospike | 2 | 1 |
Data | BI Architecture | 2 | 1 |
Data | Data modeling | 2 | 1 |
Data | BI Tool | 2 | 1 |
Data | Peta scale arhitecture challenges | 6 | 3 |
Data | Introdcution to Machine learning | 2 | 1 |
Data | Introduction to Deep learning | 2 | 1 |
Data | Big Data Architecture | 2 | 1 |
Data | Student projects | 12 | 6 |
Total | 120 | 60 |