מחקר חדש: גובר הצורך במודל מבוזר של מאגרי נתונים

דרוג:

מחקר שני שביצעו השנה החברות סטארברסט (Starburst) ורד הט (Red Hat) מגלה כי לארגונים יש דרישות גבוהות יותר בכל הנוגע לדרכי הגישה לנתונים ולגמישות שלהן

מחקר שוק חדש שהוזמן על ידי החברות סטארברסט ורד הט מגלה כי 55% מהארגונים טוענים שהקורונה העלתה באופן משמעותי את חשיבות הגישה לנתונים. נתון זה משקף עלייה קלה ביחס לתוצאות המחקר משנה שעברה.

כתוצאה מכך, ארגונים מתכננים לתעדף גמישות המגיעה מתשתית מרובת עננים בבואם לבחור פתרונות לתשתית הנתונים שלהם.

דו"ח שנתי, שנערך על ידי חברת המחקר העצמאית Enterprise Management Associates (EMA),  בשם "מצב הדאטה ומה הלאה", מצא כי המעבר לתשתית שתאפשר מהירות וגמישות בגישה לנתונים הכרחי לצורך ההצלחה של העסק והיכולת שלו לספק חווית משתמש אופטימלית בסביבה המשתנה במהירות של היום.

 המחקר החדש מצביע על כך שארגונים גלובליים מסתמכים יותר ויותר על דאטה, ומופעלים עליהם לחצים שהגישה לנתונים תהיה טובה יותר כדי לענות על דרישות הלקוחות בעידן דיגיטלי מתקדם ומהיר. הפער בין הצורך בגישה מהירה יותר לנתונים לבין הצורך בריכוז הדאטה במאגר אחד מייצר שלושה אתגרים עיקריים:

1.      1. הפרישה של הנתונים מתרחבת באופן מורכב: 43% מהמשתתפים במחקר דיווחו שהארגונים שלהם משתמשים בממוצע בארבע עד שש פלטפורמות של דאטה. 11% מהמשתתפים דיווחו כי הם משתמשים ב-12-10 פלטפורמות במקביל. יתרה מזאת, הארגונים משתמשים בסוגים חדשים של נתונים שמתווספים לסביבת העבודה שלהם בקצב הולך וגובר. 65% מהמשתתפים בסקר ציינו כי עיקר הדאטה שהם מתכננים להוסיף לסביבת העבודה הם נתוני סטרימינג. 60 אחוז מהמשתתפים ציינו כי הם מתכננים להוסיף לסביבת העבודה שלהם נתוני וידאו ונתונים מאירועים.

 2.      בעיות שהולכות וגדלות בתהליך העבודה הלינארי שעוקב אחר פייפליין: בעקבות מגפת הקורונה ארגונים חייבים להאיץ את תהליך קבלת ההחלטות שלהם שנסמך על דאטה כדי לעמוד בציפיות המשתנות במהירות של הלקוחות. עם זאת, 48% מהמשתתפים במחקר ציינו כי נדרשות יותר מ-24 שעות כדי ליצור פייפליין של דאטה. 51% מהמשתתפים ציינו כי  דרושות  24 שעות נוספות כדי להזרים את הדאטה בפייפליין עד לייצור. משך הזמן מקשה מאוד על מענה עסקי בזמן אמת. כל זאת, בשילוב עם הצורך בגישה מהירה יותר לדאטה, גורמים לחברות לנטוש את צורת העבודה באמצעות פייפליין ולעבור למודל מבוזר יותר, או כפי שהוא נקרא Data Mesh.

 3.      בינה מלאכותית ולמידת מכונה מגבירות את הלחץ על מערכות שונות: חברת המחקר EMA זיהתה כי נתונים מדעיים (למידת מכונה ורשתות נוירולוגיות) הפכו להיות הדאטה החשובה ביותר בתהליך העבודה, מה שמעמיס עוד יותר על פלטפורמות נתונים מורכבות ממילא. ארגונים צריכים לעבד כמויות עצומות של נתוני בינה מלאכותית ולמידת מכונה כדי להניע תהליכי עבודה. 31% מהמשתתפים במחקר אמרו כי העובדה שנתונים כל הזמן זזים ומשתנים מקשה עוד יותר על מציאתם. זאת, בתוספת המאמץ למצוא מקורות לנתונים מדעיים, מצריכים אוטומציה טובה יותר של תהליך העבודה וגישה טובה יותר לנתונים שישפרו את המודלים של הבינה המלאכותית ולמידת המכונה, ויפחיתו את הצורך במציאת מקורות חדשים.

"הדאטה היא נשמת אפו של כל עסק בכלכלה הדיגיטלית", אומר ג'סטין בורגמן, מנכ"ל ומייסד שותף של סטארברסט. "תוצאות המחקר האחרון מראות כי לארגונים יש דרישה ברורה לייצר גישה מהירה ומאובטחת יותר לנתונים, אבל הגישה המסורתית ששולטת בארגונים מעכבת את ההתייעלות. ככל שיש יותר ויותר נתונים מסוגים שונים, וככל שתהליכי העבודה המסורתיים לא מצליחים לענות על האתגרים הכרוכים בהתרחבות הדאטה, ארגונים מעוניינים בגישות חדשות, כמו, למשל, ארכיטקטורת Data Mesh, שמייצרת מודל דאטה מבוזר. סטארברסט מאפשרת ללקוחות שלה לגשת לכל הנתונים שלהם, לא משנה איפה הם נמצאים, ובכך מסייעת להם לקבל החלטות עסקיות טובות ומהירות יותר, מבלי להישען על תהליך ETL (Extract, transform, load) שגוזל זמן ומשאבים רבים".

 המחקר גם גילה שארגונים מעוניינים בפרקטיקות מסוימות כדי לעמוד באתגרים שאיתם הם מתמודדים:

1.      1. יצירת גישה מהירה יותר לדאטה: בעקבות האתגרים שהציבה בפנינו הקורונה בשנתיים האחרונות, ארגונים מבינים שהם חייבים לייצר גישה מהירה ואמינה יותר לדאטה בכל זמן ובכל מקום. זאת כדי לייצר חוויית לקוח טובה (33% מהמשתתפים ציינו זאת כסיבה המרכזית לצורך בגישה מהירה יותר לנתונים) , להצליח להתמודד עם התנודתיות של השוק (29%  מהמשתתפים ציינו זאת כסיבה) ולהגביר את המחויבות של העובדים לארגון (29% מהמשתתפים ציינו זאת). [TM1] [i2] 

 2.      מעבר למודל דאטה מבוזר יותר: יש יתרונות רבים לגישה של ריכוז הנתונים במאגר אחד, בהם עלות נוחה יותר, רמת שליטה גבוהה יותר בנתונים וניהול טוב יותר. יחד עם זאת, הריכוז של הנתונים מלווה גם בסיכון מוגבר ובגמישות מוגבלת. חוסר הגמישות הזה עלול לפגוע ביכולת של העסק להסתגל לסביבה שמשתנה במהירות.

 3.      אוטומציה של מערכות חיוניות: האתגר המרכזי שאיתו מתמודדים ארגונים הוא סביבת עבודה היברידית מרובת עננים ( 40% מהמשתתפים במחקר ציינו זאת כאתגר). ארגונים מעוניינים באוטומציה של מערכות מסיבות שונות. 38% מהמשתתפים במחקר ציינו את הצורך באוטומציה כדרך לשמור על יכולת התחרות של הארגון, עם התמקדות באוטומציה של תשתית הנתונים הבסיסית ושל תהליך ההעברה של הנתונים. 33% ציינו את הצורך ביצירת מנוע חיפוש חכם ו-32% ציינו את הצורך בהטמעת נתוני בינה מלאכותית ולמידת מכונה כדי לשפר החלטות עסקיות.

 4.      סביבה מרובת עננים שמאפשרת גמישות: במחקר שנערך בשנה שעברה ציינו המשתתפים כי 56% מהנתונים של החברה היו בענן, לעומת 44% מהנתונים שנותרו באתר החברה. במחקר השנה ציינו המשתתפים כי 59% מהנתונים של הארגון כבר נמצאים בענן לעומת 41% באתר החברה. העלייה בשיעור הנתונים שמועברים לענן מסבירה את העובדה ש- 43% מהמשתתפים במחקר ציינו כי סביבה מרובת עננים שמאפשרת גמישות היא הגורם הכי משמעותי בהחלטות רכישה.  34% מהמשתתפים ציינו שהגורם הכי משמעותי בהחלטות רכישה הוא היכולת לשלב את המערכות באופן הדדי. בשנה שעברה רק 26% מהמשתתפים ראו בזה גורם חשוב.

 "לקוחות שמייצרים יישומים נתמכי בינה מלאכותית ולמידת מכונה חייבים להישען על מערכת נתונים שמאפשרת נגישות כדי להאיץ את פיתוח המודלים ואת יצירתם של יישומים חכמים בסביבות עבודה היברידיות מרובות עננים", אומר סטיבן הולס, מנהל בכיר בתחום הנדסת התוכנה בחברת רד הט. "באמצעות יצירת בסיס לנתונים וליישומים בארכיטקטורת ענן, מפתחים ומדעני נתונים יכולים לעמוד ביעדים העסקיים שלהם בצורה מהירה ויעילה יותר ולספק יישומים חכמים שמבוססים על דאטה".

מתודולוגיה

המחקר נערך בינואר 2022 בקרב 400 נשאלים בארה"ב, בריטניה, קנדה, צרפת, גרמניה, אוסטרליה וסינגפור. החברה שערכה אותו היא חברת מחקר עצמאית בשם Enterprise Management Associates. המשתתפים היו מקבלי החלטות בתחום מערכות המידע ואנשי מקצוע שעוסקים בניהול נתונים מחברות שמשתייכות למגוון רחב של מגזרים, בהם תעשייה, ייצור, קמעונאות, טלקומוניקציה, פיננסים ועוד.

 אודות סאטרברסט

סטארברסט הוא מנוע מבוסס SQL שמייצר שכבה וירטואלית לשליפה מהירה ויעילה של נתונים מבוזרים מכל DB. הכלי מאפשר ניתוח מיידי של הנתונים מבלי לבצע תהליכי שינוע או שכפול.

החברה מספקת את מנוע הניתוח המהיר והיעיל ביותר עבור מחסני נתונים (data warehouse), אגמי נתונים (data lake) או Data Mesh, שמאפשר גישה מהירה לנתונים, לא משנה היכן הם נמצאים.

סטארברסט מבצע שאילתות לנתונים בכל מסד נתונים, ומאפשר שימוש מידי בנתונים לארגונים מבוססי דאטה. סטארברסט חוסך לארגונים עלויות של השקעה בתשתית ובדרכי ניתוח הנתונים. כמו כן הוא מקל על הלקוחות לעבוד בסביבה היברידית ומשתמש בכלים הקיימים שנמצאים בארגון. בין הלקוחות של סטארברסט אפשר למצוא חברות כמו Comcast ,FINRA Condé Nast,.

אודות אקיורייט:

Aqurate, מקבוצת UCL, מספקת פתרונות Big Data, BI ואנליטיקה מקצה לקצה. החברה מייצגת את Starburst ובנוסף ארבעה פלטפורמות נתונים מובילות המאפשרות לארגונים להיות מונחי נתונים: Talend, HVR, Trifacta,  ו-DBT.

Aqurate מתאימה את הפתרונות שלה לצרכים העסקיים של הלקוחות ומאפשרת להם לקבל תובנות, לקבל החלטות טובות יותר ולהגדיל את הערך העסקי שלהם. בנוסף, החברה מציעה שירותים מקצועיים בתחומי הנתונים במגוון תפקידים ופרויקטים טכנולוגים, תוך התמקדות בתפקידי ה-Data השונים. החברה פועלת באופן ישיר ובאמצעות מפיצי משנה כגון נס דיגיטל, טלדור, מלם ומטריקס BI.

 לקוחות החברה כוללים ארגונים ממגזרי ממשלה, בריאות, ביטוח, פיננסים והיי-טק.