Tuesday, July 5, 2022
No menu items!

What is robots.txt | robots.txt फाइल क्या होता है? और कैसे use करे? 2022

Must Read

What is robots.txt | robots.txt फाइल क्या होता है? और कैसे use करे? 2022

आज के युवा पीढ़ी ज्यादातर ऐसी प्रोफेशन चुन रहे है जिनमे उनका अपने फ्रीडम के साथ कोई समझौता नहीं हो। वो जब चाहे छुट्टि ले कहीं घूम आये मना करने वाला कोई न हो। ऐसे में ब्लॉग्गिंग एक बिकल्प है। इसमें आपको आपके हिसाब से न सिर्फ काम करने के मौके मिलता है बल्कि काम करने के समय भी आप खुद चुन सकते है। ब्लॉग्गिंग के अलावा भी कई और सारे काम है, जो हम कभी और बिस्तार से बात करेंगे।


दोस्तों, अगर आप एक ब्लॉगर है या फिर किसी वेबसाइट को मैनेज कर रहे है तो आपको जरूर पता होगा के अपने वेबसाइट को किसी सर्च इंजन पर रैंक करने के लिए आपको कितने पापड़ बेलने पड़ते है। ऐसे में हम हर वो कोशिश करते रहते है जो के हमारे वेबसाइट को फायदा दिलाये।


वो चाहे अच्छा डोमेन खरीदना हो, अच्छी क्लाउड स्टोरेज लेना हो, अच्छी कंटेंट या फिर अच्छा एसईओ(SEO) करवाना हो। फिर भी हमारा वेबसाइट कभी कभी रैंक करने से पीछे छूट जाती है। ऐसे में समझ नहीं आता के सब कुछ ठीक होने के बावजूद क्या कमी रह गया ? हमेशा बड़ी बड़ी चीजों पर ध्यान देते देते कभी कभी छोटी छोटी चीज को हम नजर अंदाज करदेते है।


दोस्तों आज हम बात करने वाले है robots.txt फाइल के बारे में। जो न सिर्फ आपके वेबसाइट के SEO के लिए जरुरी है बल्कि आपके वेबसाइट के ट्रैफिक में काफी सुधार लाता है। आज हम समझेंगे के robots. txt फाइल क्या होता है, इसको कैसे इस्तेमाल करे और इसके फायदे क्या क्या है। तो चलिते बिना देरी के जानते है robots. txt फाइल क्या होता है और इसको कैसे इस्तेमाल करते अपने वेबसाइट में।

 

robots.txt फाइल क्या होता है? What is robots.txt

दोस्तों robots. txt फाइल क्या होता है यह जानने से पहले आप यह जान ले के आपके वेबसाइट किसी सर्च इंजन म जैसेे की गूगल,याहू या फिर बिंग में कैसे लिस्ट होता है।

इसे भी पढ़े:

10 Best Blogging Niche with Low Competition Hindi 2022

सर्च इंजन एक ऐसा प्रोग्राम या फिर आप इसको मैकेनिज्म ही कहले, जो की पूरी दुनिया के वेबसाइट को छांट कर कौनसी वेबसाइट में क्या कंटेंट है और यूज़र्स को कौनसे कंटेंट की जरुरत है इसका ध्यान रखता है। आप जब सर्च करते है कुछ तो वो आपको आपके सर्च की हुई कंटेंट या फिर उसे रिलेवेंट कंटेंट ही दिखता है।

जैसे की मन ले आप पेन की हिस्ट्री के बारे में जानना चाहते है तोह सर्च इंजन आपको पेन के बारे में ही शो करेगा या फिर ज्यादा से ज्यादा पेंसिल के बारेमे एक दो सर्च भी दिखायेगा। यह न तो उस वक़्त आपको बाइक के बारे में शो करेगा और न ही ट्रक के बारे में। तो यह सर्च इंजन इतना सठीक से कैसे काम करता है?


जब भी आप अपने वेबसाइट को लाइव करते है या फिर पब्लिश करते है तो सर्च इंजन के क्रेवलेर्स(crawlers) या फिर आप इन्हें बोट्स(bots) भी कह सकते है, आपके वेबसाइट में आ जाते है। यह आपके वेबसाइट में घूमते रहते है और ये उसको परख ते भी है कि आपके वेबसाइट में क्या कंटेंट है, कितने कंटेंट है और क्या क्या लिखा हुआ है उसमें।

उसके बाद यह उस डाटा को इकठ्ठा करके सर्च इंजन तक ले जाते है और वहां उसकी इंडेक्सिंग और रैंकिंग भी होती है। फ़िलहाल इस बारे में जानेंगे तो पोस्ट थोड़ा और बड़ा हो जायेगा, इसके लिए हम कभी दूसरा पोस्ट लिखेंगे जरूर।

robots. txt फाइल ऐसी फाइल्स होते होते है जो के आपके वेबसाइट में महजूद हिट है और जब भी किसी सर्च इंजन का क्रेवलेर्स आपके वेबसाइट में आता है तो यह उसे बताते है कि आपके वेबसाइट या ब्लॉग के कौनसे हिस्से में जाना है और कौनसे हिस्से में नहीं, कौनसी पेज को परखना है और किसे छोड़ देना है।

बहत आसान सा काम लगता है, नहीं? सिर्फ क्रॉलर को बताना तो है। मगर यह आसान सी लगने वाली काम में ही आपके वेबसाइट के पूरे SEO निर्भर करता है। आपके वेबसाइट कितना जल्दी सर्च इंजन में रैंक करेगा, कितने देर तक रैंक करेगा यह इस पर निर्भर करता है।

इसे भी पढ़े:

what is Google Adsense In Article In, Feed Native Ads? जानिए हिंदी में !!

 

कुछ जाने माने सर्च इंजन और उनके क्रॉलर

  • Googlebot- गूगल
  • Bingbot-बिंग
  • Slurp bot-याहू
  • Duckduckbot-डक डक गो
  • Baiduspider-बाईडु
  • Yandexbot-यंडेक्स
  • Exabot-एक्सलेड

robots. txt फाइल काम कैसे करता है

robots. txt फाइल काम कैसे करता है यह जानने से पहले थोड़ी सी robots. txt फाइल के बारे में और जान लेते है।

robots. txt फाइल एक text फाइल होता है

robots. txt फाइल में लगाये हुए एक्सटेंशन .txt हमे बताता है कि यह एक टेक्स्ट फाइल है जो की नोटपैड से बनाया जाता है। यह आपके साइट्स में पहले से ही महजूद रहता है, आप चाहे तो इसे अपने हिसाब से थोड़ा बहत बदल भी सकते है।

इसे भी पढ़े:

robots.txt फाइल सिर्फ इसी नाम से ही रहना चाहये

आप इस फ़ाइल को कभी भी रीनेम न करे, यह robots.txt के नाम से ही रहने से सर्च इंजन के क्रॉलर इसे पढ़ पाएंगे, वरना यह बेकार जायेगा। इसमें कोई भी अल्फाबेट बड़ा होना नही चाहिए और न ही कोई स्पेस इनके बीच रहना चाहिए।

यह फ़ाइल हमेशा रुट फोल्डर में ही रहती है, किसी फोल्डर के अंदर नहीं

यह robots.txt फाइल हमेशा रुट में ही रहना चाहये। इसको आप अपने साइट नाम के बाद /robots.txt लगाकर देख सकते है।

जब सर्च इंजन के वेब क्रॉलर आपके वेबसाइट पर आते है, तब सबसे पहले ये robots.txt फाइल को ढूंढते है। अगर अपने robots.txt फाइल्स में कुछ बदलाव किये है या फर खुद के कुछ instruction इस पर डाले है तो यह उस हिसाब से किन किन पेज पर क्रॉल करना है किन पर नहीं, किन directory में जाना है यह सब देख कर उस हिसाब से काम करते है।

robots.txt फाइल की जरुरत क्यों पड़ा?

सर्च इंजन के crawler एक निश्चित समय तक ही आपके वेब पेज पर क्रॉल करते है। क्रेवलिंग समय समाप्त होने पर यह दूसरे वेबसाइट पर चले जाते। ऐसे में अगर आपके पास ज्यादा पेज या डायरेक्टरी है तो ये हर एक पेज और डायरेक्टरी को क्रॉल नहीं करते, जिससे की आपके वेबसाइट रैंक होते होते रह जाता है।

वेबसाइट के हर पेज indexing के लिए जरुरी नहीं होते है।

आपके वेबसाइट पर ऐसे भी कुछ पेज या डायरेक्टरी होंगे जो के इतने भी जरुरी नहीं होते है। अगर उनपर भी क्रॉलर क्रॉल करे तो आपका ही समय बर्बाद होगा। इससे आपके वेबसाइट के मैन कंटेंट क्रॉल होने से छूट सकता है।

इसे भी पढ़े:

WordPress Hosting Kya Hai | वर्डप्रेस होस्टिंग क्या है? पूरी जानकारी 2022

कुछ कंटेंट अपने सिर्फ स्पेशल रीडर्स के लिए बचाये रखने के लिए।

अगर आपके कुछ ऐसे कंटेंट है जो की आप सिर्फ अपने स्पेशल रीडर्स के लिए लिखे है या रखे है और नहीं चाहते कि वो सर्च इंजन पर शो करे तो इसीलिए भी आप robots.txt फाइल को चुन सकते है।

अपने वेबसाइट को जल्दी रैंक करने में मददगार साबित होता है।

अगर आप अपने सिलेक्टेड कंटेंट जो के बहत ही उम्मदा हो, उसके जरिये सर्च इंजन पर रैंक करने के लिए robots.txt फाइल का भी इस्तेमाल कर सकते है। आप इसमें कौन कौन सी पेज और डायरेक्टरी पर क्रॉल करना है यह लिख सकते है।

On-Page-SEO के लिए यह काफी महत्वपूर्ण है।

हर किसी वेबसाइट या ब्लॉग का लक्ष्य होता है कि वो गूगल जैसी सर्च इंजन पर शो करे। इसके लिए robots.txt फाइल काफी मददगार साबित होता है। यह आपके द्वारा चुने गए बेस्ट कंटेंट पर ही क्रॉलर को क्रॉल करवाता है।

robots.txt का अपने वेबसाइट पर कैसे इस्तेमाल करें?

जैसे की हमने आपको पहले ही बता रखा है कि robots.txt फाइल आपके मैन डायरेक्टरी में होता है। इसे आप c पैनल में अपलोड कर सकते है। ये आप सिम्पल नोटपैड पर बना सकते है। याद रहे robots.txt फाइल किसी भी डायरेक्टरी के अंदर नहीं रहना चाहिए।

तो चलिये इसके कुछ उदाहरण से समझते है इसको कैसे इस्तेमाल कर सकते है।

  • एक साधारण सा वेबसाइट के robots.txt फाइल कुछ इस तरह सी दिखती है।
    user-agent:*
    disallow:
  •  यहाँ user-agent में सेमीकोलन के बाद * मार्क हर सर्च इंजन को क्रॉल करने की अनुमति देता है और disallow में सेमीकोलन के बाद ब्लेंक यह दर्शाता है कि आप अपने किन किन पेज को क्रॉल करने से मना किया हुआ है।
  •  अगर आप अपने किसी पेज को disallow करना चाहते है तो disallow में उस पेज की path को दो forward slash के अंदर लिखे। जिससे की आपके द्वारा बताया हुआ path पर सर्च इंजन का क्रॉलर क्रॉल नहीं करेगा।
  • अगर आप चाहते है कि किसी चुने हुए सर्च इंजन का ही bot आपके वेबसाइट पर आये तो आप user-agent: google bot(for google only) ऐसे चेंज कर सकते है।

 

आज हमने  robots.txt फाइल क्या होता है? और robots.txt फाइल कैसे use करे ?इस के  बारे में काफी विस्तार से चर्चा किया। यह भी जाना के यह फ़ाइल आपके पेज के SEO के लिए कितना महत्वपूर्ण है। आशा है आप भी जरूर कुछ नयी बात सीखा होगा। आपके राय हमे कमेंट्स में जरीर लिख के बताये।

इसे भी पढ़े:

Bluehost Affiliate Program Se Paise Kamaye

Bluehosting

- Advertisement -spot_img

LEAVE A REPLY

Please enter your comment!
Please enter your name here

- Advertisement -spot_img
Latest News

Districts of Assam

Districts of Assam There are 33 districts in Assam and the number of villages in Assam is currently 26637, Assam...
- Advertisement -spot_img

More Articles Like This

- Advertisement -spot_img