יצאנו לחפש מנועים - חלק ראשון [עושים תוכנה]

מנועי החיפוש נמצאים איתנו כבר לא מעט שנים. הם לא מייצרים כותרות כמו מודלי הבינה המלאכותית החדשים, אבל להיכרות עמוקה איתם יש משמעות רבה, כי הם התשתית המאפשרת חלק גדול מן הפעולות שלנו באינטרנט. איך הם עובדים? מתי הם טועים? ולאיזה כיוון הם מתפתחים?
זהו פרק ראשון מתוך שני פרקים על מנועי חיפוש עם עמית בן דור - ממייסדי הפודקאסט וראש מחלקת AI בארטליסט. בפרק הזה התמקדנו במנועים לקסיקליים. עמית סיפר על לידתם של מנועי החיפוש מתוך הספריות הפיזיות, תיאר את סוגי המנועים השונים, והסביר כיצד מתבצעים תהליכי האינדוקס וה-Query. שוחחנו על ההבדלים בין דאטה פנימי לדאטה חיצוני, על כיצד עובד אלגוריתם הרנקינג, על משמעות ה-Diversity בתוצאות החיפוש, על מנועי חיפוש בולטים ועל למה כל כך קשה למנוע הלקסיקלי להבין אותנו באמת.
האזנה נעימה,
בועז לביא