Semalt: אתרים מפורסמים שאינם ניתנים לגלישה

כדי לגרד את הנתונים שאתה רוצה באופן ידני, עליך להיות בעל כישורי תכנות מצוינים. לחלופין, אתה יכול להשתמש במגוון של כלי חילוץ נתוני אינטרנט שמטרתם לקרוא, לבנות ולגרד נתונים בפורמט ספציפי. עם זאת, אתרים מסוימים אינם ניתנים לגלישה, מה שאומר שהם משתמשים בטכניקות נגד גרידה או משנים את הסימון שלהם באופן קבוע. לדוגמה, לינקדאין, עליבאבא ופייסבוק דורשים פרטי כניסה, מציעים להזין CAPTCHA ולחסום כתובות IP כדי להבטיח את ההגנה והפרטיות של המשתמשים שלהם.

1. פייסבוק:

פייסבוק הוא אחד מאתרי הרשתות החברתיות המפורסמות ביותר שיש לה למעלה מ 20 מיליון משתמשים פעילים בכל רחבי העולם. יש מספר גדול של אפליקציות ותוכניות גירוד נתונים שמטרתן לחלץ מידע אישי מפייסבוק. לרוע המזל, רוב הכלים אינם מספקים לנו נתונים מדויקים וקריאים. פייסבוק הקשתה על שולחי דואר זבל והאקרים באיסוף מידע על המשתמשים שלה. ניתן להשיג אותו רק בעזרת מנתח HTML כדוגמת Python, אך רוב מנהלי האתרים והפרילנסרים אינם יודעים כלל את היסודות של Python. לאחרונה הושק מגרד פייסבוק כדי לחלץ מידע חיוני מאתר זה ברשת חברתית. בעזרת מגרד פייסבוק תוכלו לאסוף רק שמות וכתובות דוא"ל של משתמשי פייסבוק. אך אם ברצונך לאסוף נתונים מעמיקים, אינך יכול להשתמש בכלי זה או במגרד אחר דומה.

2. לינקדאין:

לינקדאין הוא אתר אינטרנט נוסף ברשתות חברתיות שאי אפשר לגרד. עם זאת, באפשרותך לחלץ נתונים באופן חלקי מכמה דפי אינטרנט, אך לרוב המידע אינו נגיש. ניתן לגרד מידע רק מפרופיל ציבורי בלינקדאין באמצעות Import.io או מעבדות קימונו. משווקים אינם יכולים לנצל שירותי גירוד בגלל אמצעי הבטיחות החזקים של לינקדאין. עם זאת, הם התחילו להשתמש בחולץ עופרת, המסייע בשריטת פרופילים ציבוריים. כלי זה יכול לגרד קישורי פרופיל, שמות וכתובות דוא"ל בלבד. אבל אם אתה רוצה לקבל מזהה סקייפ, מזהה יאהו מסנג'ר, כתובת מלאה ומזהה טוויטר של משתמש, לינקדאין לא תאפשר לך לעשות זאת.

3. Alibaba:

עליבאבא היא קונצרן טכנולוגי המספק שירותי עסקים לצרכן באופן מקוון. למרבה הצער, אין דרך לגרד נתונים מאתר זה. שלא כמו אמזון ו- eBay, עליבאבא הקשתה על המשתמשים שלה לחלץ מידע על מוצריה, תמונותיה, תיאוריהיה ומחיריה. בשנת 2015 הוצגו בפני הציבור מספר כלים שיכולים לגרד נתונים מאלייבה בקלות. רוב הכלים משולמים ואינם עולים בציפיות של סטארטאפים. עליבאבא מפעילה מערך נרחב של עסקים בכל רחבי העולם ומחברת קונים עם ספקים. בינתיים זה מבטיח את פרטיותו ולא מאפשר לאף אחד לגרד נתונים. נכון לאוקטובר 2017 יש לאליבאבה יותר מ -500 מיליון משתמשים פעילים בחודש בפלטפורמה שלה. עליבאבא אף הצליחו בהשוואה לשחקני ענן גדולים כמו אמזון, גוגל ומיקרוסופט בצמיחת הכנסות בענן. היא הטמיעה אסטרטגיות מיטביות כדי להבטיח את פרטיות הספקים שלה וחוסמת את כל כתובות ה- IP החשודות תוך שניות.

mass gmail