Con la idea de «ayudar» a los webmasters y así estandarizar la visión que tiene Google sobre Internet, introdujeron los Sitemaps, que es un protocolo basado en XML para describir el mapa de todas las páginas de una web. Estos sitemaps tienen la finalidad de ayudar al googlebot a rastrear una web para mejorar así la indexación de sus páginas.

A fines del 2006 se decidió estandarizar el protocolo de sitemaps y también fue adoptado por otros buscadores como por ejemplo los de Yahoo y Microsoft.

Pero la efectividad del uso de los sitemaps sigue siendo un tema de gran discusión en los foros sobre SEO y webmasters. Es muy difícil comprobar si realmente ayudan a mejorar la indexación.

Posiblemente en webs que no tienen una buena estructura de enlaces internos, el uso de sitemaps, puede ayudar a los bots a llegar a las páginas que no pueden ser alcanzadas fácilmente mediante un rastreo directo.

Pero para las webs que tienen una buena estructura de enlaces internos y donde todas las páginas pueden ser alcanzadas mediante unos cuantos clicks (máximo 3 a 4 clicks), el uso de sitemaps no ayuda de sobremanera para mejorar su indexación.

En una discusión de Google Groups, John Mu – un Googgler – explica cómo Google usa los sitemaps y qué parámetros exactamente se deberían usar.

Al final, John hace el siguiente resumen:

– Yes, please send us Sitemap files, preferably sitemap.org XML files!
– Work on good URLs & use them to double-check your site’s navigation
– Optional: Date or change frequency? depends on how you work.
– Also optional: Priority

En mi opinión el uso de sitemaps nunca puede dañar. Si alguna página no es muy visible para los bot mediante el rastreo normal, entonces listada en sitemaps, solo puede mejorar la posibilidad de su indexación.

Visto en Search Engine Roundtable

Una de las preguntas recurrentes en los foros es: Cuál de las extensiónes de las URLs en las páginas web son mejor indexadas por los buscadores?

Hace unos años atrás, se decía que los buscadores indexaban con más facilidad páginas que terminaban con html, htm, php, asp, aspx ( y exactamente en ese orden).

Pero luego, con todas las mejoras que se introdujeron en los bots, especialmente en Google, la extensión de una página web ya no es importante para su indexación.

Y con el crecimiento de las webs al estilo web 2.0, las URLs perdieron su extensión, y justamente ayer se publicaba en SeoMOZ que una de sus páginas que terminaba con …/web2.0 no había sido indexada por Google, y por ese motivo se habían puesto en contacto con ellos y les habrían advertido que no deben colocar 0 al final de una URL, ya que estas páginas no son indexadas.

Hoy día, después de mucho tiempo, Matt Cutt se ha pronunciado en su blog personal sobre temas específicos de Google, mencionado que no se deben colocar al final de una URL cosas extrañas, como por ejemplo extensiones .exe, tar o números

There’s a simple way to check whether Google will crawl things with a certain filetype extension. If you do a query such as [filetype:exe] and you don’t see any urls that end directly in “.exe” then that means either 1) there are no such files on the web, which we know isn’t true for .exe, or 2) Google chooses not to crawl such pages at this time — usually because pages with that file extension have been unusually useless in the past. So for example, if you query for [filetype:tgz] or [filetype:tar], you’ll see urls such as “papers.ssrn.com/pape.tar?abstract_id” that contain “.tar” but no files that end directly in .tar. That means that you probably shouldn’t make your html pages end in .tar.

para saber qué tipo de extensiones Google si indexa, se puede hacer la siguiente consulta filetype:extensión

Hace días atrás Google, Yahoo y Microsoft resolvieron unificar la forma de tratamiento de los comandos para los bots de los  buscadores que los webmasters pueden colocar en el archivo robots.txt.  El  protocolo   se llama  Robot Exclusion Protocol (REP) y esta  definido  en RobotsTxt.

Ahora, Vanessa Fox ha escrito un artículo muy detallado sobre este tema, el uso correcto de robots.txt Se trata de un documento que todo webmaster debería leer.

SEO (Search Engine Optimization) es el concepto que abarca o cubre todas las actividades referidas con la optimización de páginas web para que se posicionen los diferentes motores de búsqueda. Pero la definición exacta siempre es motivo de largas discusiones. En Wikipededia en español, lamentablemente no hay una buena respuesta a esta pregunta. En Wikipedia en ingles, la definción de SEO es mucho más clara y abarca varios temas interesantes como white & black hat SEO.

Jeremy, ha publicado hoy día algo muy interesante sobre la definición de SEO, ya que en los últimos días él había postulado que el oficio de SEO estaba desapareciendo debido a que Google ahora recolecta otro tipo de informaciones para indexar las páginas, y los métodos que actualmente usan los SEOs ya no son efectivos. Según Jeremy, esas nuevas fuentes de información son por ejemplo estadísticas del mismo buscador, datos de AdSense, de Analytics, etc.

A raíz de esas aseveraciones, Jeremy recibió una lluvia de comentarios, y parece que esto lo motivo a enviar un email a los expertos en el tema de habla inglesa preguntandoles su definción de SEO.

Las respuestas a esta pregunta, Jeremy las ha publicado en esta entrada What is the Definition of SEO? y se pueden leer las definiciones de por ejemplo Danny Sullivan, Rand Fischkin, Aaron Wall, Darren Rowse, Seo Black hat, y muchos otros conocidos del SEO anglosajón.

De todas las respuestas, se puede sacar la conclusión de muchos se refieren a SEO como a una persona; como un conjunto de procesos, métodos, estrategias o tácticas; como un arte; o como una ciencia con la meta de generar tráfico en una web desde los motores de búsqueda.

Actualización 15.05.08
Jeremy ha aclarado por qué predice la muerte del SEO

Una de las herramientas más importantes de los webmasters y SEOs para monitorear el tráfico de la competencia o de webs a las que no se tiene acceso a los datos sobre su tráfico es Alexa .

Ahora Alexa anuncia que esta usando para sus estadísticas otras fuentes adicionales para colectar datos.

Anteriormente todos los datos procedían del Toolbar de Alexa, lo cual privilegiaba algunas webs, por ejemplo los de temas de webmasters o tecnología ya que estos internautas tenían la barra de herramientas de Alexa instalada.

Sergio Blanco hace un analisis inicial sobre los cambios que ya se pueden apreciar en el Ranking de Alexa. Por mi parte, no he notado cambios importantes en los sectores que monitoreo, aunque muchos están viendo una caída del Ranking.

Ojalá que con estos cambios en la forma de recolectar datos mejore la calidad de los resultados y muestre una imagen más cercana a la verdadera realidad.

Rand de SEOMoz ha publicado un artículo enumerando 7 razones del porqué el tráfico de una web puede caer.

1. Recién has lanzado tu web
2. No tienes contenido
3. El contenido no es accesible a los motores de búsqueda
4. Tienes problemas a gran escala de contenido duplicado
5. Has caído en tácticas obscuras de black-hat SEO
6. Has ignorado las tácticas básicas del SEO
7. No estás manejando en forma apropiada tus keywords

Algunos de estos puntos son muy válidos. Por ejemplo el punto 5. que se ha observado con bastante frecuencia en el último tiempo debido a una vulnerabilidad de WordPress. Muchos blogs han caído de sus buenas posiciones, debido a que hackers habían colocado enlaces ocultos en la página principal. Por este motivo, Google los penalizó.

Otros puntos me perecen algo ingenuos, pero también se podría acrecentar la lista.

Como lo mencionan en el blog oficial de AdWords, el tiempo de descarga de las páginas de destino o landing pages, será incorporado próximamente como factor en el quality score para el sistema de precios y pujas en AdWords.

Esto significa para un anunciante que si su landing page es lenta, bajará su quality y score y tendrá que pagar más para aparecer en las primeras posiciones de los anuncios.

Ahora bien, viendo esta situación desde el lado del posicionamiento, no se necesita mucha imaginación para extrapolar y pensar de que los algoritmos del buscador de Google ya podrían estar usando, o por lo menos están pensado en usar este parámetro para calificar a una página web.

Y claro, se trata de un parámetro muy interesante para medir la calidad técnica de una web. Si las páginas de una web se descargan rápidamente, los visitantes tienen la sensación de que la web es buena y también se animan a navegar más tiempo por cada una de sus páginas lo que aumenta considerablemente el tiempo de permanencia y la relación pageviews/visits.

Por el contrario, si una página tarda una eternidad en bajar, entonces el visitante salta rápidamente a otro sitio.

Además de que una web agíl mejora su usabilidad y el tiempo de permanencia de los usuarios, parece que ahora también ya influye o podrá influir en el posicionamiento de la misma.

Hace ya algún tiempo hice algunos artículos sobre este tema controla el tiempo de respuesta de tu servidor o cómo ahorrar volumen de transferencia en tu servidor web.

Y aquí algunas herramientas para controlar los tiempos de descarga de todas las componentes de una página web

– Octagate SiteTimer

– Pingdom

Finalmente también se debe mencionar que esto es un nuevo argumento para favorcer el uso de servidores dedicados y no compartidos. Generalmente los servidores compartidos tienen un bajo rendimiento debido al gran número de webs alojadas, y si existe algún usuario que consume muchos recursos la situación puede empeorar.

Mientras que en un servidor dedicado el webmaster puede controlar al 100% la carga y el tipo de webs que quiere alojar.

Cuando se comienza un nuevo proyecto, o se desea aumentar el tráfico de una web, es necesario analizar cuidadosamente las palabras claves para las cuales se quiere optimizar al web o algunas de sus páginas.

Muchas veces se piensa que optimizar para palabras genéricas y aparecer en las primeras posiciones para estas búsquedas ya es una garantía para aumentar el tráfico.

En muchos casos una página puede estar en la primera posición para una palabra clave competitiva, pero no genera tráfico significante.

Recién la combinación de esta palabra clave genérica con otros sustantivos o combinada con algún lugar o región geográfica puede generar el tráfico deseado. Por eso, antes de comenzar cualquier campaña, es muy importante conocer qué palabras y cuales de sus combinaciones son las más buscadas en la red. Llegar a obtener esa información no siempre es muy fácil.

Search Engine People ha creado la siguiente lista de herramientas para buscar palabras claves

1. Microsoft AdCenter Search Funnel
2. Google Trend
3. Niche Bot
4. Trellian Free Search Term Suggestion Tool
5. Niche Watch
6. SEO Book Google Tool
7. Key Word Lizard Google AdWords Keyword Combination Tool
8. GoLexa All in One SEO Tool
9. Ontology Related Keyword Finder
10. Google Suggest

Esta lista esta orientada a palabras claves en ingles. Las únicas herramientas que conozco que se pueden usar para buscar keywords en español son Google Trends y Keyword Tool de Google AdWords.

Para poder usar la herramienta para palabras claves de Google Adwords hay que estar afiliado al programa, y es una de las herramientas que muestra con mayor aproximación el estimado de consultas y tráfico que se podría generar con una combinación de palabras claves.

Los archivos en XML conocidos como sitemaps inicialmente fueron introducidos por Google, y luego estandarizados en sitemaps.org para que puedan ser usados por los bots de todos los buscadores para descubrir con más facilidad paginas de un sitio web.

Esta es una gran ayuda para webmasters que tienen sitios con una estructura interna de enlaces suboptimal y difícil de enlazar desde la página principal.

Inicialmente, los archivos sitemaps.xml tenían que ser colocados en la raíz de cada dominio. Esto complicaba el trabajo de un webmaster cuando administraba varios dominios. Siempre tenia que subir los archivos a cada uno de ellos.

Ahora, y como lo comenta Vanessa Fox en Search Engine Land, la organización Sitemap.org ha anunciado una actualización del protocolo y con solo colocar en el archivo robots.txt del dominio un comando de la siguiente forma

Sitemap: http://www.mi-sitio.com/sitemap.xml

se puede informar a los bots de obtener el sitemap en cualquier dirección. Esta puede estar en otro dominio o también en una carpeta interna de cualquier dominio.

Esta nueva funcionalidad ya ha sido adoptada por más grandes buscadores Google, Yahoo! y Microsoft.

Sin duda es una buena noticia para los webmasters que tienen que gestionar sitemaps de muchos sitio. Ahora pueden centralizar los sitemaps en un solo dominio y así controlar mejor su constante actualización.

Lo que todavía no me ha quedado muy claro es que si es posible colocar varias lineas en robots.txt como por ejemplo las siguientes

Sitemap: http://www.mi-sitio.com/sitemap-base.xml
Sitemap: http://www.mi-sitio.com/sitemap-cambios.xml

Actualización
Más infos sobre el tema en el blog de Google Webmaster Central

Ya se han escrito cientos de libros sobre posicionamiento en buscadores. En la red también existe una infinidad de artículos y tutoriales, de cómo optimizar la posición de proyectos y páginas web en los diferentes buscadores, y en especial en Google.

Dustin Brewer ha escrito un pequeño artículo con una lista de 10 técnicas de optimización para buscadores y me parece que lo ha hecho muy bien.

Dustin ha logrado resumir en esta lista las técnicas que totalmente esenciales para poder optimizar una web. Si un webmaster o SEO sigue estos pasos, estoy seguro que va ha conseguir buenos resultados.

La lista comprende los siguientes puntos:

1. Contenido
2. Enlaces entrantes
3. Título de la página
4. Heading Metatags h1, h2, etc.
5. Enlaces internos
6. Densidad de palabras claves
7. Sitemaps
8. Metatags
9. Estructura de las URLs
10. Nombre del dominio

Tal vez yo hubiese puesto la prioridad de algunos puntos en otro orden, pero como ya lo mencioné es un resumen excelente.