This lesson is not in that language yet. It is coming soon, so we are showing English.
Back to: SEO and AI Search
Picture this: You can write the best page in the world, but if Google does not index it, nobody will find it. This lesson is about the plumbing: making sure Google can find, read and keep your pages.
How Google keeps your page 🚪
SitemapA list of the pages you want Google to know.
robots.txtA sign saying which rooms to skip.
noindexA lock that says: do not keep this page.
Check these three and Google can find and keep your pages.
What you will learn
- What a sitemap and robots.txt do.
- How to read the Pages report in Search Console.
- Common reasons pages are not indexed.
Quick definitions
- Sitemap: a list of the pages you want Google to know about.
- robots.txt: a file that tells crawlers which areas to skip.
- noindex: a tag that tells Google not to keep a page.
Warning: a single wrong line in robots.txt (Disallow: /) can block the whole site. Always check it after launch.
Try it now (20 minutes)
- Open yoursite.com/robots.txt and read it line by line.
- Open yoursite.com/sitemap.xml and confirm it lists the right pages.
- In Search Console, open Pages and note each reason given for non-indexed pages.
Mistake museum: Leaving “Discourage search engines” ticked after launch. The site is perfect and invisible.
Hinglish tip: Launch ke din robots.txt aur noindex zaroor check karo.
Checklist
- I can read a robots.txt file.
- I submitted a sitemap in Search Console.
- I know three reasons a page might not be indexed.
Tools you will use: Google Search Console
सोचिए: आप दुनिया का सबसे अच्छा पेज लिख लें, पर Google उसे इंडेक्स न करे तो कोई उसे नहीं ढूँढ पाएगा। यह पाठ पाइपलाइन के बारे में है: ताकि Google आपके पेज ढूँढ सके, पढ़ सके और याद रख सके।
Google आपका पेज कैसे रखता है 🚪
साइटमैपउन पेजों की सूची जो आप Google को बताना चाहते हैं।
robots.txtएक बोर्ड जो बताता है कि किन कमरों को छोड़ना है।
noindexताला जो कहता है: इस पेज को मत रखो।
इन तीनों को जाँच लें तो Google आपके पेज ढूँढकर रख लेगा।
आप क्या सीखेंगे
- साइटमैप और robots.txt क्या करते हैं।
- Search Console की Pages रिपोर्ट कैसे पढ़ें।
- पेज इंडेक्स न होने के आम कारण।
छोटी परिभाषाएँ
- साइटमैप: उन पेजों की सूची जिन्हें आप Google को बताना चाहते हैं।
- robots.txt: एक फ़ाइल जो क्रॉलर को बताती है कि किन हिस्सों को छोड़ना है।
- noindex: एक टैग जो Google से कहता है कि इस पेज को न रखे।
चेतावनी: robots.txt की एक गलत लाइन (Disallow: /) पूरी साइट को रोक सकती है। लॉन्च के बाद इसे हमेशा जाँचिए।
अभी करके देखिए (20 मिनट)
- yoursite.com/robots.txt खोलिए और लाइन-दर-लाइन पढ़िए।
- yoursite.com/sitemap.xml खोलिए और देखिए कि सही पेज हैं या नहीं।
- Search Console में Pages खोलिए और नोट कीजिए कि पेज इंडेक्स क्यों नहीं हुए।
गलती का संग्रहालय: लॉन्च के बाद “Discourage search engines” पर टिक छोड़ देना। साइट बढ़िया है, पर किसी को दिखती नहीं।
चेकलिस्ट
- मैं robots.txt फ़ाइल पढ़ सकता/सकती हूँ।
- मैंने Search Console में साइटमैप जमा किया है।
- मुझे तीन कारण पता हैं कि पेज इंडेक्स क्यों नहीं होता।
इस्तेमाल होने वाले टूल: Google Search Console
Socho: Aap duniya ka sabse achha page likh lo, par Google use index na kare to koi use dhoondh nahi payega. Yeh lesson plumbing ke baare mein hai: taaki Google aapke pages dhoondh sake, padh sake aur yaad rakh sake.
Google aapka page kaise rakhta hai 🚪
SitemapUn pages ki list jo aap Google ko batana chahte ho.
robots.txtEk board jo batata hai kin kamron ko chhodna hai.
noindexTaala jo kehta hai: is page ko mat rakho.
In teeno ko check kar lo to Google aapke pages dhoondh kar rakh lega.
Aap kya seekhoge
- Sitemap aur robots.txt kya karte hain.
- Search Console ki Pages report kaise padhein.
- Page index na hone ke aam karan.
Chhoti definitions
- Sitemap: un pages ki list jinhe aap Google ko batana chahte ho.
- robots.txt: ek file jo crawler ko batati hai kin hisson ko chhodna hai.
- noindex: ek tag jo Google se kehta hai ki is page ko na rakhe.
Chetavani: robots.txt ki ek galat line (Disallow: /) poori site ko rok sakti hai. Launch ke baad ise hamesha check karo.
Abhi karke dekho (20 minute)
- yoursite.com/robots.txt kholo aur line-by-line padho.
- yoursite.com/sitemap.xml kholo aur dekho ki sahi pages hain ya nahi.
- Search Console mein Pages kholo aur note karo ki pages index kyun nahi hue.
Galti ka museum: Launch ke baad “Discourage search engines” par tick chhod dena. Site badhiya hai, par kisi ko dikhti nahi.
Hinglish tip: Launch ke din robots.txt aur noindex zaroor check karo.
Checklist
- Main robots.txt file padh sakta/sakti hoon.
- Maine Search Console mein sitemap submit kiya hai.
- Mujhe teen karan pata hain ki page index kyun nahi hota.
Use hone wale tools: Google Search Console