Bem vindo ao PROJECT-HTML
Aprenda mais sobre:
HTML, CSS, JavaScript, webmaster, Imagens, banners, wallpapers, videos aula, windows, utilitários para site/blogs, Jogos, animes e muito mais.
Basta se registrar!



 
InícioProject HTMLGaleriaFAQRegistrar-seConectar-se
Buscar
 
 

Resultados por:
 
Rechercher Busca avançada
Conectar-se
Nome de usuário:
Senha:
Conexão automática: 
:: Esqueci minha senha
Votação
Qual seu navegador favorito?
 FireFox
 Chrome
 Internet Explorer
 safari
 Netscape
 Opera
 Avant
Exibir resultados
Quem está conectado
1 usuário online :: Nenhum usuário registrado, Nenhum Invisível e 1 Visitante

Nenhum

O recorde de usuários online foi de 36 em 3/4/2016, 3:36 am
Últimos assuntos
» TAG´s (comandos)
4/8/2014, 10:15 am por robson

» Comandos básico de HTML - body (corpo da home page)
16/7/2014, 10:10 am por robson

» Apresentações aqui
15/7/2014, 4:14 pm por robson

» Como colocar "posts recomendados" no sou blog sou site.
24/3/2014, 8:05 pm por Otome

» Arquivo de ajuda sobre PHP, help para iniciantes e experientes
24/3/2014, 8:03 pm por Otome

» Imagens Exercício-6
22/3/2014, 5:19 pm por SY64

» Alinhamento de imagens
22/3/2014, 4:43 pm por SY64

» Link´s Exercicios-5
22/3/2014, 12:43 pm por SY64

» Criar um site passo a passo
1/8/2013, 4:41 pm por marlonsouzajs


Compartilhe | 
 

 Como controlar os robôs no meu servidor ?

Ver o tópico anterior Ver o tópico seguinte Ir em baixo 
AutorMensagem
Diego
Admin
Admin
avatar

Masculino
Número de Mensagens : 321
Idade : 25
Localização : Aqui no PROJECT-HTML
Pontos : 5438
Reputação : 24
Data de inscrição : 04/07/2008

MensagemAssunto: Como controlar os robôs no meu servidor ?   1/9/2008, 1:43 am

Por definição, robô (robot) é um programa que automaticamente navega pela estrutura da web,
recuperando documentos, e por recursão, recuperando todos os documentos aos quais o documento inicial se
referencia. Existem por volta de 150 serviços de indexação ativos hoje na Internet, a maioria deles usando
robôs. O mais famoso é o Scooter, robô que mantém a base de dados do Altavista.
Normalmente, os robôs são ferramentas muito úteis para os internautas, e a maioria dos sites libera o
acesso às suas páginas para os robôs. Mas alguns robôs com programas de pesquisa mais agressivos podem
levar seu servidor www a uma carga muito alta, principalmente se forem mal feitos. Esses robôs, por
exemplo, podem chegar a ficar em um loop infinito em páginas cheias de links, causando ainda mais
problemas. Hoje em dia é cada vez mais raro esse tipo de coisa, mas ainda pode acontecer.
Felizmente, existe uma maneira de manter o(s) robô(s) fora do seu site. Tudo o que você tem a fazer
é criar um arquivo chamado robots.txt no diretório de documentos inicial (raiz). O formato do arquivo é:

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/


Nele, você acha a linha User-agent, que especifica qual o robô que você está se referindo (* quer
dizer todos eles) e o Disallow indica qual o diretório onde o robô não deve entrar. Se você especificar algo do
tipo:
User-agent: *
Disallow: /
Nenhum robô vai entrar no seu site.

_________________
Quem pode faz, não copia!
[Você precisa estar registrado e conectado para ver esta imagem.]
s2 Diego e Barbara s2
Informações do meu PC:
Processador:Intel Core i5 760 @ 2.80GHz 8Mb cache
Placa mãe: ASUSTeK Computer INC. P7P55D-Deluxe
Memoria Ram: 4.0GB Único -Channel DDR3 @ 668MHz * 2 = 1333Mhz (9-9-9-24)
Placa de video: 512 MB GeForce 8400 GS (XFX Pine Group)
HD: 160GB SAMSUNG SAMSUNG HD161HJ (SATA)
Audio: SoundMAX Integrated Digital Audio
Sistema operativo: MS Windows 7 Ultimate 64-bit
Voltar ao Topo Ir em baixo
Ver perfil do usuário http://www.projecthtml.tk
 
Como controlar os robôs no meu servidor ?
Ver o tópico anterior Ver o tópico seguinte Voltar ao Topo 
Página 1 de 1
 Tópicos similares
-
» Como controlar aonde aparecer widgets
» Como controlar tempo de acesso do cliente?
» [Resolvido] Como apagar as imagens do servidor "servimg"
» Como fazer um Cache full com a RB750 e um PC como servidor cache?
» Como Montar um servidor Cache Full?

Permissão deste fórum:Você não pode responder aos tópicos neste fórum
 :: Webmaster :: O papel do Webmaster-
Ir para: