Robots.txt File Kya Hoti Hai? Robots.txt File कैसे बनायें और इसके फायदे क्या हैं?

Robots.txt File Kya Hoti Hai: हर किसी को “हैक्स” पसंद है। मुझे भी अपने जीवन को बेहतर और आसान बनाने के तरीके ढूंढना पसंद है।

इसीलिए आज मैं इस लेख में जिस तकनीक के बारे में आपको बताने जा रहा हूं वह मेरी सबसे पसंदीदा तकनीकों में से एक है। यह एक वैध SEO हैक है जिसका उपयोग आप तुरंत शुरू कर सकते हैं।

यह हर वेबसाइट के उस स्वाभाविक हिस्से का लाभ उठाकर अपना SEO बढ़ाने का एक तरीका है जिसके बारे में शायद ही कभी बात की जाती है। इसका उपयोग करना भी बहुत आसान है।

यह Robots.txt फ़ाइल है (जिसे रोबोट बहिष्करण प्रोटोकॉल या मानक भी कहा जाता है)। यह छोटी सी टेक्स्ट फ़ाइल इंटरनेट पर हर वेबसाइट का एक अहम हिस्सा होती है, लेकिन ज़्यादातर लोगों को इसके बारे में पता भी नहीं है।इसे सर्च इंजनों के साथ काम करने के लिए डिज़ाइन किया गया है।

Robots.txt की शक्ति का लाभ उठाने के लिए आपके पास कोई तकनीकी ज्ञान होना आवश्यक नहीं है। यदि आप अपनी वेबसाइट के लिए Source Code पा सकते हैं, तो आप इसका उपयोग कर सकते हैं।

इस आर्टिकल में आप Robots.txt File Kya Hoti Hai? (What is Robots.txt File in Hindi), Robots.txt File कैसे बनायें? यह SEO के लिए इतना महत्वपूर्ण क्यों है? Robots.txt File बनाने के फायदे क्या हैं? आदि के बारे में सीखेंगे।

तो ज्यादा समय न खराब करते हुए सीधा चलते हैं अपने लेख Robots.txt File क्या होती है? पर जहाँ पर हम इसके बारे में विस्तार से जानने की कोशिश करेंगे।

Table of Contents

Robots.txt File Kya Hoti Hai? (What is Robots.txt File in Hindi)

Robots.txt एक टेक्स्ट फ़ाइल है जिसे वेबमास्टर्स सर्च इंजन क्रॉलर (आमतौर पर सर्च इंजन रोबोट) को यह निर्देश देने के लिए बनाते हैं कि उनकी वेबसाइटों पर Pages को कैसे क्रॉल किया जाए।

Robots.txt File रोबोट बहिष्करण प्रोटोकॉल (REP) का हिस्सा है, जो वेब मानकों का एक समूह है जो यह नियंत्रित करता है कि रोबोट वेबपेज को कैसे क्रॉल करते हैं, ये रोबोट Content तक पहुंचते हैं और उसे Index करते हैं,इसके बाद उस Content को युजर्स तक पहुंचाते हैं।

REP में Meta Robots जैसे निर्देश, साथ ही पेज, उपनिर्देशिका या साइट-व्यापी निर्देश भी शामिलहोते हैं।जो यह डिसाइड करते हैं कि सर्च इंजन को लिंक के साथ कैसा व्यवहार करना चाहिए (जैसे कि “Follow” या “NoFollow”)।

चलिए इसे और आसान भाषा में समझते हैं। जब आप किसी ब्लॉग अथवा वेबसाइट को बनाते हैं। जिसके बाद आपके ब्लॉग पर जितने भी पेज मौजूद होते हैं। सर्च इंजन के रोबोट उन्हे Crawl करते हैं और पेज को Index करते हैं। समय के साथ आपके ब्लॉग पर बहुत से ऐसे प्राइवेट या डुप्लिकेट पेज होते हैं।

जिन्हे आप सर्च इंजन में Index नहीं करना चाहते हैं। वहाँ यह Robots.txt File आपकी मदद करती है। Robots.txt File की मदद से आप सर्च इंजन के Robots को यह संकेत दे सकते हैं कि आपके ब्लॉग के कौन से पेज क्रॉल किये जायें और कौन से पेज क्रॉल न किये जायें।बस इसी काम के लिए Robots.txt File का उपयोग किया जाता है।

Robots.txt File की परिभाषा (Definition of Robots.txt File in Hindi)

किसी भी ब्लॉग अथवा वेबसाइट की एक ऐसी टेक्स्ट फाइल जो सर्च इंजन को यह निदेश देती है कि इस ब्लॉग अथवा वेबसाइट के कौन से पेज क्रॉल किये जायें और कौन से पेज क्रॉल न किये जाये। इस टेक्स्ट फाइल को Robots.txt File कहा जाता है। यह फाइल CPanel के Root Directory में सेव होती है।

Robots.txt File इतनी महत्वपूर्ण क्यों है?

Robots.txt File आपकी वेबसाइट पर क्रॉलर पहुंच को उन Pages तक सीमित रखती है जिन्हे आप Index करना चाहते हैं। हालाँकि यह बहुत खतरनाक हो सकता है।

यदि आप गलती से Googlebot को अपनी पूरी साइट को क्रॉल करने से रोक देते हैं, ऐसी कुछ स्थितियाँ हैं जिनमें Robots.txt File आपके लिए बहुत उपयोगी होती है।जिन्हे आप नीचे जानेंगे।

duplicate content को SERPs में Index होने से रोकना (ध्यान दें कि मेटा रोबोट अक्सर इसके लिए एक बेहतर विकल्प होता है)
किसी प्राइवेज पेज को इंडेक्स न करना।
Internal सर्च रिजल्ट पेजों को सार्वजनिक SERP पर Index होने से रोकना।
साइटमैप का स्थान निर्दिष्ट करना।
सर्च इंजनों को आपकी वेबसाइट पर कुछ फ़ाइलों (Image, PDF, आदि) को Index करने से रोकना।

जब क्रॉलर एक साथ Content के कई Part लोड करते हैं तो आपके सर्वर को ओवरलोड होने से बचाने के लिए crawl delay करता है। इससे आपकी वेबसाइट डाउन नही होती है।

यदि आपकी साइट पर कोई ऐसा क्षेत्र नहीं है जहां आप युजर्स की पहुंच को नियंत्रित करना चाहते हैं, तो आपको Robots.txt File की बिल्कुल भी आवश्यकता नहीं होगी।

Robots.txt File कैसे काम करती है?

Robots.txt File सर्च इंजन बॉट्स को बताती हैं कि वे कौन से URL को क्रॉल कर सकते हैं और, इससे भी महत्वपूर्ण बात यह है कि किसे अनदेखा कर सकते हैं।

सर्च इंजन के दो मुख्य कार्य होते हैं।

Content खोजने के लिए वेब को क्रॉल करना
उस Content को खोजकर Index करना ताकि इसे उन युजर्स तक पहुंचाया जा सके जिसे वे खोज रहे हैं।

वेबसाइटों को क्रॉल करने के लिए, सर्च इंजन एक साइट से दूसरी साइट पर जाने के लिए लिंक का उपयोग करते हैं, जिसके कारण सर्च इंजन क्रॉलर को कई अरब लिंक और वेबसाइटों को क्रॉल करना पड़ता है। इस रेंगने वाले व्यवहार के कारण इसे “spidering” के नाम से भी जाना जाता है।

क्रॉलर को किसी वेबसाइट को पूरा क्रॉल करने से पहले उसकी Robots.txt File को Find करते हैं। जब उन्हे ये फाइल मिल जाती है, तो क्रॉलर पेज पर आगे बढ़ने से पहले वह उस फ़ाइल को पढ़ेता है।

क्योंकि Robots.txt File में यह जानकारी होती है कि सर्च इंजन को कैसे क्रॉल करना चाहिए, उसके हिसाब से ही वे वेबसाइट को क्रॉल करते हैं ।

Robots.txt File के फायदे क्या हैं?

Robots.txt फाइल की मदद से आप अपनी वेबसाइट के महत्वपूर्ण ब्लॉग पोस्ट को जल्दी से इंडेक्स करा सकते हैं।
Robots.txt फाइल की मदद से आप अपनी वेबसाइट के डुप्लिकेट डाटा और प्राइवेट पेज को Index होने से रोक सकते हैं। जिससे आपके बाकी के पेज तेजी से Index हो जाते हैं।
Robots.txt फाइल से आप किसी Low क्वालिटी Content को ब्लॉग कर सकते हैं।जिससे आपके ब्लॉग का बाउंस रेट कम हो जायेगा।
Robots.txt फाइल की मदद से आप Crawl Budget का उपयोग अच्छे से कर सकते हैं।

Robots.txt File Syntax in Hindi

Robots.txt Syntax को Robots.txt File की “भाषा” के रूप में माना जा सकता है। Robots.txt फ़ाइल में आपके सामने पाँच सामान्य शब्द आने की संभावनाहोती है। जिन्हे आप नीचे पढ़ सकते हैं।

User-agent
Disallow
Allow
Crawl-delay
Sitemap

1 – User-Agent: विशिष्ट वेब क्रॉलर जिसे आप क्रॉल करने के लिए निर्देश दे रहे हैं (आमतौर पर एक सर्च इंजन होता है)। यहाँ पर जिस भी सर्च इंजन को अपनी वेबसाइट क्रॉल करने की अनुमति दे रहे हैं उसका नाम लिखना होता है। जैसे Googlebot, Bingbot आदि। यदि आप सभी सर्च इंजन को निर्देश देना चाहते हैं, तो User-Agent: के सामने * चिन्ह का प्रयोग करें।

2 – Disallow: इस सेक्शन में आप उन पेज अथवा URL को रख सकते हैं। जिन्हे आप किसी भी सर्च इंजन में Index नही करना चाहते हैं।

3 – Allow: इसमें आप अपनी वेबसाइट के उन वेबपेजों को रख सकते हैं। जिन्हे आप सर्च इंजन में Index करना चाहते हैं।

4 – Crawl-delay: Page अथवा Content को लोड करने और क्रॉल करने से पहले क्रॉलर को कितने सेकंड इंतजार करना चाहिए। ध्यान दें कि Googlebot इस आदेश को स्वीकार नहीं करता है, लेकिन क्रॉल रेट को गूगल सर्च कंसोल में सेट किया जा सकता है।

5 – Sitemap: इस URL से जुड़े किसी भी XML Sitemap का स्थान बताने के लिए इसका उपयोग किया जाता है। ध्यान दें कि यह आदेश केवल Google, Ask, Bing और Yahoo द्वारा समर्थित है।

Robots.txt File Kaise Banaye

अब हम आपको Blogger.com तथा WordPress पर Robots.txt File कैसे बनायी जाती है। आसान भाषा में बतायेंगे, तो आईए जानते हैं इनके बारे में.

Blogger.com में Robots.txt File कैसे बनायें?

Blogger.com पर Robots.txt File बनाने के लिए मैं आपको निम्नलिखित कुछ टिप्स बता रहा हूँ, जिन्हे फॉलो करके आप आसानी से पर Robots.txt File बना सकते हैं।

ब्लॉगर में पर Robots.txt File बनाने के लिए सबसे पहले आपको ब्लॉगर डैशबोर्ड के Setting विकल्प का चयन करना होगा।
इसके बाद थोड़ा नीचे स्क्रॉल डाउन करने पर आपको Crawlers and Indexing वाले आप्शन का चयन करना होगा।
अब यहाँ पर आपको कस्टम Robots.txt को Enable करना होगा।
इतना करने के बाद आपको एक Custom Robots.txt File बनानी होगी। जिसे Blogger पर बने ब्लॉग में Add करना होगा।

WordPress Blog पर Robots.txt File कैसे बनायें?

यहाँ पर हम आपको कुछ टिप्स बता बता रहे हैं जिनकी मदद से आप अपने WordPress Blog Robots.txt File आसानी से बना सकते हैं। यह टिप्स Rank Math प्लगइन के लिए हैं।
वर्डप्रेस डेशबॉर्ड में लॉग इन करने के बाद आपको Rank Math SEO का चयन करना होगा।
इसके बाद आपको General Settings में जाना होगा।
इसके बाद आपको Edit Robots.txt वाले आप्शन का चयन करना होगा।
इसके बाद आप अपने Robots.txtको बनाकर Save पर क्लिक कर दें। अब आपकी वेबसाइट में Robots.txt File जुड़ चुकी है।

WordPress पर Manually Robots.txt File कैसे बनायें?

WordPress पर Manually Robots.txt File फाइल बनाने के लिए सबसे पहले आपको अपनी Web Hosting के Cpenal में लॉग इन करना होगा।
इसका बाद आपको root folder में जाना होगा।
यहाँ पर आपको एक robots.txt file दिखाई देगी। यदि नहीं तो आपकी Robot.txt फाइल नहीं बनी है इसलिए आपको उसे बनाना होगा।
robots.txt फ़ाइल एक सादा Page होता है, जिसका अर्थ यह है कि आप इसे अपने कंप्यूटर पर डाउनलोड कर सकते हैं और नोटपैड या टेक्स्टएडिट जैसे किसी भी सादे पेज संपादक का उपयोग करके इसे Edit कर सकते हैं।
अपने परिवर्तनों को Save करने के बाद, आप robots.txt फ़ाइल को अपनी वेबसाइट के root folder में वापस अपलोड कर सकते हैं।

Robots.txt File को Test कैसे करें?

एक बार जब आप अपनी robots.txt फ़ाइल बना लेते हैं, तो robots.txt Test टूल का उपयोग करके इसका Test करना बहुत जरूरी है।

इंटरनेट बहुत से ऐसे टूल हैं जिनकी मदद से आप अपने robots.txt File को Test कर सकते हैं। लेकिन हम Google Search Console को उपयोग करने की सलाह देते हैं।
सबसे पहले, आपको अपनी वेबसाइट को Google सर्च कंसोल से लिंक करना होगा।
फिर, आप Google Search Console रोबोट्स टेस्टिंग टूल का उपयोग कर सकते हैं।
इसके बाद आपको अपनी Property का चयन करना होगा।
टूल अपने आप खुद ही आपकी वेबसाइट की robots.txt फ़ाइल लाएगा और यदि कोई त्रुटियां और चेतावनियां पाई गईं तो उसे आपके सामने दिखाई देगा।

वेबसाइट की Robots.txt File कैसे Check करें?

नीचे दिये गये URL की मदद से आप अपनी वेबसाइट का Robots.txt File चेक कर सकते हैं।

https://example.com/robots.txt

यहाँ पर आपको example.com के स्थान पर अपना Domain Name डालना होगा। जैसे की अगर आप मेरी वेबसाइट की Robots.txt File देखना चाहते हैं,

तो इसके लिए आपको https://www.hindimekamaye.com/robots.txt डाल कर सर्च करना होगा। इतने करते ही आपके सामने मेरी वेबसाइट का robots.txt आ जायेगा।

FAQ – Robots.txt File in Hindi

Robots.txt File से संबंधित अक्सर लोग गूगल पर निम्नलिखित प्रश्न सर्च करते हैं।

Q1. Robots.txt File को Test कैसे करें?

Robots.txt File को Test करके के लिए आप Google Search Console रोबोट्स टेस्टिंग टूल का उपयोग कर सकते हैं।

Q2. Robots.txt File को कैसे देखें?

Robots.txt File को देखने के लिए आपको इस URL (https://example.com/robots.txt) का उपयोग कर सकते हैं। यहाँ पर example.com पर उस वेबसाइट के डोमेन नेम को लिखना होगा। जिसका आप Robots.txt देखना चाहते हैं।

Q3. Robots.txt File का उपयोग किस लिए किया जाता है?

Robots.txt File की मदद से आप अपने जिस भी पेज को चाहें क्रॉल करा सकते है या क्रॉल नहीं कर सकते हैं। Robots.txt File की मदद से आप सर्च इंजन को यह निर्देश देते हो।

Q4. Robots.txt File कहाँ पर Save होती है?

Robots.txt File वेबसाइट के root folder में Save होती है।

ये लेख भी पढ़ें:

निष्कर्ष – Robots.txt File Kya Hai in Hindi

इस लेख में आपने सीखा कि Robots.txt File Kya Hai? (What is Robots.txt File in Hindi) Robots.txt File कैसे बनायें? इसके फायदे क्या है?

इस लेख में हमने आपको Robots.txt से संबंधित सम्पूर्ण जानकारी आपको प्रदान की है। ताकि आप इस बिषय से संबंधित कोई जानकारी हासिल करने के लिए इंटरनेट पर अपना समय न वर्बाद करें।

मुझे आशा है इस लेख से आपकी बहुत कुछ मदद हुई होगी। इस लेख को सोशल मीडिया पर अपने मित्रों के साथ अवश्य शेयर करें। ताकि उनकी भी कुछ मदद हो सके।