Ei, a robotid. txt-fail ei ole veebisaidijaoks vajalik. Kui teie veebisaidile tuleb robot ja tal seda pole, roomab see teie veebisaidil ja indekseerib lehti nagu tavaliselt. … txt-faili on vaja ainult siis, kui soovite omada rohkem kontrolli selle üle, mida roomatakse.
Mis juhtub, kui teil pole robotite txt-i?
robotid. txt on täiesti valikuline. Kui teil on see, austavad standarditele vastavad roomajad seda, kui teil pole ühtegi, siis kõik, mis pole HTML-META elementides (Wikipedia) keelatud, on roomatav. Sait indekseeritakse piiranguteta.
Kas ma saan roboti txt-i kustutada?
Peate mõlemad read oma robotitest eemaldama. txt faili. Robotifail asub teie veebimajutuse kausta juurkataloogis, tavaliselt leiate selle kaustast /public_html/ ja teil peaks olema võimalik seda faili redigeerida või kustutada, kasutades FTP-d, kasutades FTP-klienti, näiteks FileZilla või WinSCP.
Kas robotite txt on turvaline?
Robotid. txt fail ise ei ole turvaoht ja selle õige kasutamine võib olla hea tava turvalisusega mitteseotud põhjustel. Te ei tohiks eeldada, et kõik veebirobotid järgivad faili juhiseid.
Miks on robotite txt halb?
Lisage lihts alt URL-ide loend, mis on mõeldud robotile privaatseks. txt-fail on üks halvimaid viise, kuidas püüda URL-e peidetuna hoida ja enamikul juhtudel annab see täpselt vastupidise tulemuse kui soovitud tulemuse.
