Website Design and Development

Details

Category: Artículos Generales

Published: 13 November 2010

Hits: 5885

Proxy, qué es y para qué se usa.

Un proxy (proxies en plural, ya que es una palabra inglesa) es un ordenador intermedio que se usa en la comunicación de otros dos. La información (generalmente en Internet) va directamente entre un ordenador y otro. Mediante un proxy, la información va, primero, al ordenador intermedio (proxy), y éste se lo envía al ordenador de destino, de manera que no existe conexión directa entre el primero y el último.

El objetivo de esto, entre otros, es enmascarar la procedencia de la petición, es decir, que el servidor que envía la información sabe que la envía a un ordenador (proxy), pero no sabe el destinatario final al que va dirigido.

En casi la totalidad de los casos, el proxy sólo sirve para ocultarse, y la mayoría de las veces estos proxies se usan para realizar prácticas ilegales (spam, fraudes, etc.). Es por ello, por lo que siempre es deseable evitar los proxies, sobre todo cuando son servidores de foros, chat o redes sociales.

En otros casos (esa minoría de los casos), es cuando se usa un proxy como interconexión entre muchos ordenadores de una red, con Internet. En ese caso, se puede usar un proxy por las ventajas añadidas que posee.

¿Por qué son tan difíciles de erradicar?

La única manera de que tu servidor no sirva información a proxies es baneando (prohibiendo el acceso) a estos proxies que suelen tener una IP (número asignado a una máquina en Internet).

Los webmasters tienen la capacidad de realizar el baneo de una IP de forma relativamente sencilla. Pero el problema radica en que los proxies se crean y se destruyen tan rápido que son muy difíciles de controlar.

¿Por qué existen?

Básicamente existen porque la gente gana dinero con ellos. Todos los proxies en su web tienen publicidad que les genera dinero. Como además no tiene porqué usarse para prácticas ilegales, no existe una barrera para prohibirlos. Tampoco creemos que deba prohibirse porque, por supuesto, existen excepciones lícitas.

¿Cómo se monta un proxy?

Pues con una IP dinámica, un servidor, un dominio, configurar el servidor (Linux o Windows) para ello, una sencilla página web, banners de publicidad y promocionarse (anunciarse). No vamos a dar más datos de cómo se monta, ni dónde conseguir la información ya que ese no es nuestro cometido con este artículo, sino sólo saber qué son y para qué se usan.

Ventajas

Cuando se usa un proxy en una red interna para usarlo como conexión entre el exterior (Internet) y el interior (cada ordenador interno) posee muchas ventajas:

• Menos tiempo de configuración (sólo hay que configurar el proxy).
• Mayor seguridad
• Filtrados más eficientes
• Velocidad

En otros casos la mayor ventaja, sin duda, es:

• El anonimato

Desventajas

• Carga. El proxy puede verse sometido a demasiada carga si muchos ordenadores realizan peticiones de forma simultánea.
• Caché de datos entre 2 ordenadores. Algunos proxies pueden guardar copias de las transferencias, lo que supone cierta intromisión e inseguridad.
• Desactualización. En algunos proxies la información más actual puede verse afectada.

Tipos de Proxies

Someramente, existen:

• Proxy web.
• Proxy inverso.
• Proxy NAT.
• Proxy transparente.
• Proxy abierto.

Details

Category: Artículos sobre Páginas Web

Published: 10 November 2010

Hits: 7187

Internet es infinitamente grande y tan dinámica que en ocasiones resulta de utilidad aquella web que ahora ha desaparecido. Existe una web en Internet que recopila, gracias a la ayuda y promoción de empresas y particulares, toda la información de las páginas web desde el año 1996: http://www.archive.org/web/web.php

Tanto si buscas información que ya no existe, quieres recuperar viejos escritos, o incluso quieres saber qué ha pasado con ese enlace en Favoritos (Bookmarks) que ahora no encuentras, esta es la web que buscas.

En su web hay una casilla para introducir la dirección del sitio que quieres ver. Al pinchar en buscar aparecerá una web similar a ésta:

donde expone las fechas de las cuales tiene copia de esa web. Sólo debes pinchar en cualquier fecha que te interesa y te mostrará la web como estaba en aquel momento.

Inconvenientes

El principal inconveniente es que esta web archiva correctamente el contenido pero no las hojas de estilo, que al fin y al cabo son las que dan forma a una web. Por lo tanto, la web puede quedar algo desorganizada y con falta de color.

Otro inconveniente es que muchos archivos, sobre todo gráficos, no son guardados, por lo que pueden faltar ciertos contenidos.

Ventajas

El texto y muchos gráficos, que en la mayoría de los casos, es lo que suele importar, siempre está accesible, incluso a niveles de la web ciertamente profundos.

Otra ventaja es la disponibilidad de varias fechas para una misma web, que hace que los contenidos dinámicos (aquellos que cambian a lo largo del tiempo) puedan ser recuperados.

Qué páginas están en este archivo

Todas las páginas que estén dadas de alta en Dmoz o sigan las instrucciones de alta de Alexa, están indexadas en Internet Archive, siempre teniendo en cuenta que han sido indexadas desde 1996. También están indexadas todas las webs que se visitan desde un navegador que tenga instalada la barra de navegación de Alexa.

Pero existe un caso en el que la web no será indexada, y es que su autor no quiera que se indexe. Esto se puede llevar a cabo mediante la limitación de los robots que inspeccionan la web, y que cualquier webmaster sabe como controlar en el fichero de acceso de la web o el creado exclusivamente para los robots; o mediante email dirigido a archive.org.

Las webs se rastrean unos 2 meses después de la creación de la web, siempre que se cumplan los requisitos anteriormente explicados, aunque no son puestos en la Wayback Machine hasta los 6 meses desde el rastreo, pudiéndose prorrogar hasta los 2 años posteriores. Tampoco tienen porqué respetar estos plazos, pueden ser mucho más cortos, o incluso pueden llegar a ser muy breves para una web y muy largos para la misma web pero en otra fecha.

Todos los archivos de una web de forma rápida

La mejor manera de ver todos los ficheros archivados del sitio es poniendo en el navegador la dirección

Tenga en cuenta de nuevo que siempre existe entre 6 y 14 meses de media de tiempo de retraso entre la fecha de un sitio que se rastrea y la fecha que aparece en la Wayback Machine.

Historia y curiosidades

El inicio de esta base de datos comenzó en 1996 de manos de Brewster Kahle con la contribución de 18.000 sitios web a lo largo de más de 60 países gracias a la empresa Alexa, de la cual pertenencía Kahle en San Francisco, Estados Unidos. En 2007 se llegó a los 2 billones de páginas web indexadas. En 2006 contenía hasta 2 petabytes de información y crecía en torno a 20 terabytes por mes.
	Las máquinas usadas (hardware) son de la marca Hewlett Packard (HP) con una fuerte inversión en servidores (unos 3000$ por máquina) siendo cada rack de 32 máquinas. La infraestructura es enorme, además de los gastos del mantenimiento, climatización, adecuación, cableado, estanterías, etc.

Details

Category: Artículos sobre Páginas Web

Published: 24 September 2010

Hits: 7205

Qué es un robot de internet

Un robot de Internet es un programa de ordenador que rastrea una web y analiza y capta los datos de la página web para algún fin particular. Otros nombres por los que se conocen a los robots son: spider, araña (por la traducción de la palabra spider), bot (de la palabra robot), crawler (rastreador en español), webcrawler, etc.

Para qué se usa un robot y quién los usa

Los robots se suelen utilizar para:

1.- Crear un índice para un buscador. Lo suelen usar los buscadores de Internet (Google, Yahoo, Bing, etc.)

2.- Para indexar un sitio en internet. Esto lo suelen usar los directorios de Internet.

3.- Analizar un sitio web para determinar carencias (links rotos, fallos de código, etc.). Lo suelen utilizar cualquier persona con interés para ello o sitios de certificados de normas tipo el consorcio W3C.

4.- Recolectar información para hacer un registro de datos (tipo precios de una página web, tipo de productos de una web, etc.). Esto lo suelen usar los propios webmaster para recopilar información o metapáginas (páginas que recopilan información de otras páginas).

5.- Recolectar información ilícita. Lo usan los cuerpos de seguridad del estado para encontrar páginas ilícitas o con contenido ilegal.

Cómo fabricarlo

Los bots no dejan de ser un programa de ordenador que actúa de forma automática. Para ello hay que programarlo en cualquier lenguaje adecuado a sus pretensiones. Lo más normal es usar PHP o PERL.

En Net&Software ya hemos creado unos cuantos bots para poder realizar una recolección de información sobre productos de un proveedor del cliente, de manera que el cliente pudiera usar esta información del proveedor para realizar su base de datos propia con estos datos. Nosotros siempre hemos usado PHP para realizarlos.

Qué robots pertenecen a quién.

Aunque hay tantos rastreadores (crawlers) como programadores que quieran hacer uno, los más importantes son:

GoogleBot y cómo controlar los robots

Googlebot es el robot de rastreo web de Google, y quizás uno de los más importantes en la actualidad. Es por ello que se merece una mención especial. Mediante este robot Google descubre las páginas nuevas y las actualizaciones de las que ya tiene indexadas de manera que su buscador siempre se mantiene actualizado.

Es importante para los webmasters explicarle al robot de Google con qué asiduidad se actualizan los contenidos de una web y la importancia que tienen las páginas que el robot encuentra. De esta forma GoogleBot rastrea el sitio de forma eficiente. Para ello se usan los sitemap (mapas del sitio), archivos ocultos a la vista de los usuarios pero muy útiles para el robot de Google y, en general, para los demás robots. Además se utiliza el fichero robots.txt para explicarle a los robots qué deben visitar y qué no.

En ocasiones es importante explicar a los robots que no deben seguir los vínculos. Los webmasters tenemos herramientas para hacer esto. Se trata de poner un código oculto a la vista de los usuarios en la página que no queramos que vincule:

<meta name="Googlebot" content="nofollow">

Aunque GoogleBot u otros robots hayan rastreado su web, éstos no aparecen de forma inmediata en el buscador de Google, o incluso pueden no aparecer. Esto último se produce por duplicación de contenidos de otras páginas de la web.

Problemas: spambots

Los spambots son robot creados para rastrear páginas web para captar email, teléfonos, e información personal. Con ello recopilan una base de datos que pueden vender a terceros o realizar Spam para mandar publicidad no deseada.

Por esta razón no se recomienda hacer público tu email en foros o páginas web. En caso de ser necesario se puede optar por hacerlo de otra forma, de manera que a los spambots les cueste trabajo reconocer que lo que están leyendo es un email: meter espacios en blanco, escribir ARROBA en vez de @, incluso publicar tu email en forma de fichero gráfico. Aunque no sea del todo infalible son una buena medida.