بات scraper چیست و چطور به کسب‌وکار ها آسیب می‌زند؟

در مطالب پیشین به انواع حملات مانند حمله Brute Force و حمله Credential Stuffing و مزرعه کپچا که توسط ربات‌ها و گاهی خود مهاجمان صورت می‌گیرند پرداختیم. یکی دیگر از حملاتی که می‌تواند به کسب و کار شما آسیب بزند حملات بات های Scraper است. که مهاجمان یا صاحبان دیگر وب‌سایت‌ها برای مقایسه قیمت‌ها، سرقت اطلاعات و توضیحات مفید برخی کالاها و گاهی سواستفاده از رقبا دست به دامن ربات‌های اسکرپر می‌شوند. ربات‌ها به سرعت تمام اطلاعات سایت و حتی تصاویر را بدون اجازه می‌دزدند و در سایت رقیب بارگذاری می‌کنند. وب‌سایت‌های تجارت الکترونیک بیشتر از هر نوع کسب‌وکار دیگر به‌وسیله بات‌های scraper مورد حمله قرار می‌گیرند.

تمام وب‌سایت‌ها هدف بات scraper هستند

بات های scraper به مشکلی جدی و رو به رشد برای هزاران وبسایت تبدیل شده‌اند. این حملات بیشتر توسط ربات‌ها و نرم افزار‌های خودکار صورت می‌گیرند. در ابتدای کار مهاجمان چندین وب‌سایت را مورد هدف قرار می‌دهند. با شناسایی انوع تصاویر، متن و محتوای ارزشمند، مشخصات محصولات و قیمت، اطلاعات دریافت شده را به پایگاه داده مرکزی که توسط اپراتور ربات‌ها کنترل می‌شوند، ارسال می‌کنند. در حال حاضر این عملیات به قدری راحت شده است که مهاجمان نیاز به دانشی از زبان برنامه نویسی ندارند. تنها کافیست جستجویی کوتاه در گوگل انجام دهند تا حداقل ده نرم‌افزار را مانند web scraper و data miner برای این نوع حمله پیدا کنند.

بات های scraper علاوه بر محتوای ارزشمند، به دنبال یافتن و سواستفاده از قیمت اجناس هم هستند. یکی از روش‌هایی که وب‌سایت هدف برای جلوگیری از این نوع حمله انجام می‌دهد، پنهان کردن قیمت است. تنها در صورتی قیمت برای خریدار نمایش داده می‌شود که محصول را در سبد خرید قرار دهد. اما این حرکت نیز مانع از فعالیت وب اسکرپرها نشده ‌است، زیرا مهاجمان طوری ربات‌ها را برنامه ریزی می‌کنند که محصولات را در سبد قرار دهند. و در ادامه قیمت نهایی را بدست آورند. بنابراین وبسایت‌‌ها باید متصور این امر باشند که رقبا هر لحظه در تلاشند تا تمام اطلاعات کالاها را از سایتشان بردارند.

به تازگی مهاجمان برای انجام حملات scraper از ربات‌های نسل سوم پیچیده‌ای استفاده می‌کنند که می‌توانند صفحه وب را پردازش کنند. و با اجرا کردن جاوا اسکریپت، وضعیتی مشابه یک مرورگر واقعی پدید آورند. همانطور که گفته شد، این ربات‌ها می توانند با قرار دادن کالاها در سبد خرید، تخفیف‌ها، مالیات‌ها و هزینه های حمل و نقل را مشاهده کرده و درنهایت قیمت کل مشتری را ببینند.

بات‌های scraper چگونه به وب‌سایت‌ها آسیب می‌رسانند

سرقت اطلاعات محصولات

اگر دارای یک سایت فروشگاهی آنلاین هستید، حتما می‌دانید ثبت مشخصات و ویژگی‌های محصولات و بروزرسانی آن‌ها کاری پرهزینه‌ و زمان‌بر است. بسته به وسعت کسب‌وکار، احتمالا به کارمندانی تمام‌وقت برای این کار نیاز خواهید داشت.
بات های scraper این اطلاعات ارزشمند که شما برای آن هزینه کرده‌اید را به سرقت می‌برند. و در اختیار رقبا قرار می‌دهند.

سرقت اطلاعات کاربران

بات‌های scraper در صفحات پروفایل کاربران خزش می‌کنند، نظرات کاربران را می‌خوانند. و نام، ایمیل، شماره تماس و حتا علایق کاربران را استخارج می‌کنند. این اطلاعات برای اسپم، سواستفاده رقبا و یا حملات فیشینگ مورد استفاده قرار می‌گیرد.

آسیب به SEO وب‌سایت

بات های scraper می‌توانند باعث کاهش رتبه سئو سایت اصلی شوند. به این صورت که دقیقا همان محتوای scrap شده بدون هیچ تغییری به صورت آنلاین در سایت رقیب منتشر می‌شود. و در ادامه سیستم رتبه بندی گوگل محتوای سایت اصلی را تکراری خطاب می‌کند و در نتیجه سایت شما مجازات می‌شود. گاهی نیز ممکن است گوگل از مکانیزم پنالتی بهره ببرد؛ یعنی هر بار یکی از سایت‌ها را ‌(سایت تولید کننده محتوا و یاسایتی که محتوا را scrap کرده) به مخاطب نشان دهد. در تمام این مراحل سایت شما آسیب می‌بیند. به‌خصوص اگر گوگل صفحات حاوی محتوای دزدیده شده را بالاتر از صفحات اصلی و قانونی قرار دهد. چنین ضررهایی می‌توانند تأثیر فاجعه باری بر ترافیک ورودی معتبر و متعاقباً فروش برای صاحب قانونی محتوا داشته باشند.

تحمیل هزینه زیرساخت

در نهایت، هر نوع فعالیت بات های scraper در وب‌سایت شما باعث ایجاد ترافیک و افزایش هزینه‌های زیرساختی‌تان می‌شود. به طور میانگین ۴۰درصد از ترافیک وب‌سایت‌ها توسط بات‌ها ایجاد می‌شود! این حجم از ترافیک نامعتبر، هزینه‌های اضافی زیادی را به کسب‌وکار شما وارد می‌کند.

بات های Scraper به یک تهدید جدی تبدیل شده‌اند

مهاجمان به ابزارهای پیچیدتری روی آورده‌اند. به طور خاص، آنها در حال استفاده از ربات‌هایی هستند که می‌توانند از تعاملات طبیعی انسان با سایت ها تقلید کنند، جاوا اسکریپت را اجرا کرده، کوکی‌ها را ذخیره کنند و با استفاده از اتوماسیون‌ها حرکت ماوس، تایپ صفحه کلید، کلیک و موارد دیگر را پیاده سازی کنند. آنها به راحتی می توانند هر بخشی از رفتار خریدار را تقلید کنند. البته که هرگز خرید واقعی را انجام نمی‌دهند. بات های scraper به سادگی محافظ‌های سنتی مانند CAPTCHA و چالش های JavaScript را دور ‌می‌زنند یا به وسیله مزرعه کپچا آن‌ها را حل می‌کنند. حملات بات‌های scraper نيز مانند دیگر حملات مثل Credential stuffing  با استفاده از هزاران آدرس IP مختلف توزيع گسترده‌تری پيدا كرده است كه درنتیجه تشخيص آن را دشوارتر می‌كند.

جالب است بدانید که حملات scraper جرم محسوب نمی‌شوند، که این خود دلیل محکمی بر افزایش ربات‌های اسکرپر است. به طور متوسط ۳۰ درصد از بازدیدکنندگان وبسایت را ربات‌هایی تشکیل می‌دهند که با اضافه کردن مواردی به سبد خرید، قیمت کالا و حمل و نقل را بررسی می‌کنند. این عملیات نه تنها محتوای ارزشمند سایت مانند مشخصات و توضیحات محصولات را به خطر می‌اندازد، بلکه بار قابل توجهی را بر سرور‌ها و زیرساخت‌ها متحمل می‌کنند. به خاطر داشته باشید که تمام بات‌های scraper بد نیستند. اگر دقیق‌تر به این موضوع نگاه کنید، ربات‌هایی که گوگل برای خزش وبسایت‌ها استفاده می‌کند هم نوعی از بات های scraper هستند. اما کاربرد کرالرهای گوگل برای ساده کردن جستجو توسط اشخاص و یافتن ویژگی‌های کلیدی هر وبسایت است.

حمله بات های Scraper قانونی است!

جمع آوری اطلاعات قیمت و مشخصات محصلات از رقبا، همواره یک بخش طبیعی از تجارت محسوب می‌شود. این فعالیت به صورت رسمی غیرقانونی نیست. در حالی که پر واضح است استفاده از اثر، بدون اجازه صاحب آن و در اینجا استفاده از محتوای scrap شده در واقع نقض قانون کپی رایت است. با این وجود، scrap کردن قیمت، سرقت اطلاعات مفید، مشخصات و توضیحات کالاها و داده‌های موجودی کالاها، به طور چشمگیری شرایط خدمات وب سایت‌های قربانی حملات بات های scraper را تعدیل می‌کند. برخی از مشاغل از سواستفاده رقبا شکایت کرده‌اند، هرچند شکایت هم راه به جایی نداشته است.

قیمت محصولات و تعداد موجوی از ویژگی‌های بسیار پراهمیت یک کسب و کار در بازار پر تلاطم تجارت است. زیرا می‌توان از آنها به عنوان سلاحی رقابتی استفاده کرد! به عنوان مثال اگر یک فروشنده متوجه شود که رقیبش در فروش یکی از محصولاتش عملکرد بسیار خوبی داشته، می‌تواند با کاهش قیمت محصول در وبسایت خود، مشتریان حساس به قیمت را جذب کند. و هنگامی که متوجه شد موجودی رقیبش رو به اتمام است، قیمت محصول را افزایش دهد. بدین ترتیب به راحتی بخشی از مشتریان یک کسب و کار را تصاحب می‌کند.

راه‌های تشخیص و جلوگیری از فعالیت بات‌های Scraper

فیلتر دستی

یکی از راه‌های بسیار ساده و موقت، فیلتر کردن برخی ربات‌های اسکرپر است. اپراتورهای وبسایت و یا هریک از افراد تیم می‌توانند با عضویت در لیست سیاه ربات‌های مخرب، ربات‌های اسکرپر را شناسایی کرده و آنها را به صورت دستی فیلتر کنند. با این حال، این نوع راه پیشگیری یک فرآیند بی پایان محسوب می‌شود. زیرا روز به روز تعداد ربات‌های اسکرپر با تکنولوژی پیشرفته در حال افزایش است. علاوه بر این، اتکا به آدرس های IP برای تشخیص هم کافی نیست. چرا که ممکن است منجر به شناسایی نادرست و یا مسدود کردن کاربران قانونی شود که آدرس IP را به اشتراک می گذارند.

تشخیص و غربالگری مبتنی بر حجم بازیدها و قوانین

روش مطمئن‌تر دیگر، نوشتن قوانینی برگرفته از انواع رفتارهای قابل قبول در یک وب سرور است. این حرکت می‌تواند به طور دائم فعالیت برخی از ربات های اسکرپر را متوقف کند. یکی از راه‌های شناسایی ربات‌های Scraper آنالیز نوع رفتار کاربران است. بیشتر ربات‌ها رفتاری تهاجمی دارند در نتیجه تلاش می‌کنند در مدت زمانی کوتاه بیشترین تعداد صفحه را بازدید کنند. که این امر به تشخیص و غربالگری بازدید کنندگان کمک شایانی می کند.

استفاده از یادگیری ماشین

ربات‌ها به طور مداوم در زمینه حملات سایبری در حال پیشرفت هستند. تشخیص مبتنی بر رفتار، یکی از کارآمدترین راه‌ها برای جلوگیری از فعالیت این نوع ربات‌هاست. در این راهکار می‌توان با استفاده از یادگیری ماشین، به سرعت با انواع جدید رفتارهای ربات آشنا شد. و آنها را به عنوان تهدید شناسایی کرد. این روش به هزینه ای بالا نیاز دارد و همچنین دانشی فراتر از تخصص یک ادمین وبسایت را خواهان است.

استفاده از کپچا برای مقابله با ربات Scraper

مطمئن‌ترین و کم هزینه‌ترین روش مقابله با بات Scraper استفاده از کپچاست. کپچا آزمایشی کاملا خودکار است که برای ایجاد تمایز بین انسان و ربات انجام می‌شود و در برابر اکثر حملاتی که به وسیله ربات‌ها انجام می‌شوند بسیار موفق عمل می‌کند. در این راهکار بدون آنکه دسترسی را محدود کنید و یا قوانینی وضع کنید، مانع از فعالیت ربات‌های scraper خواهید شد. تنها کافیست قبل از اینکه کاربر به محتوا دسترسی پیدا کند، یک مرحله کپچا را حل کند تا در همان مرحله از پیشروی بیشتر ربات‌ها جلوگیری کنید.

سعی کنید از کپچاهایی استفاده کنید که الگوی خاصی ندارند و به راحتی در اینترنت یافت نمی‌شوند. بسیار مهم است که نوع کپچای خود را با دقت انتخاب کنید. هرگز از کپچاهای ساده عددی یا محاسبات ریاضی استفاده نکنید. آرکپچای فارسی با ارائه خدمت کپچای فارسی، که توسط بات های Scraper قابل حل کردن نیستند؛ وب‌سایت شما را در برابر انواع حملات Scrap و سرقت محتوای ارزشمندتان ایمن می‌کند.

جمع بندی

مطمئن باشید ارتش بات های Scraper به این زودی ها از بین نمی روند. در حقیقت، با کاهش هزینه scrap کردن وب و پیشرفت تکنولوژی تعداد بیشتری از آنها را خواهیم دید. بات های Scraper تا زمانی که در سنگر متوقف نشوند تأثیر چشمگیری بر دنیای تجارت خواهند داشت. بهترین روش برای جلوگیری از فعالیت ربات‌های سایبری و همچنین ربات‌های اسکرپر استفاده از فناوری جدید آرکپچا است. جالب است بدانید که حتی reCAPTCHA گوگل هم به راحتی توسط بات های Scraper حل می‌شود. و خیلی گزینه مطمئنی برای ایمن‌کردن وب‌سایت شما نیست. بات های Scraper و انواع دیگر بات‌ها به هیچ وجه قادر به حل کپچای فارسی نیستند. و خدمات ارائه شده ما در آرکپچا وب‌سایت شما را در برابر انواع حملات سایبری محافظت می‌کند.