¿Cómo indexar un sitio web?

Una vez hayamos creado nuestro sitio web, pulidos los detalles, comprobado que no existen errores en las URLs y revisado todo el contenido, es hora de que nos conozcan en Internet.

Esto se hace mediante la implementación de unas sencillas técnicas que nos permitirán indexar nuestro sitio web en los motores de búsqueda correctamente.

Índice del contenido
    Add a header to begin generating the table of contents

    1. Visibilidad en los motores de búsqueda

    Cuando hemos instalado WordPress en la lección instalar WordPress paso a paso, te he recomendado marcar la casilla Disuade a los motores de búsqueda de indexar este sitio durante el proceso.

    Si no lo recuerdas, esto lo hicimos para que Google no indexara nada mientras trabajamos en nuestro proyecto. Ten en cuenta que estamos trabajando en un servidor remoto y, si no marcamos esta casilla, Google tendrá acceso a todo nuestro sitio web.

    Ahora que ya hemos finalizado, podemos dejar que Google entre a nuestro sitio web, escanee todas nuestras páginas, entradas, productos y categorías y las indexe en su buscador.

    Para hacer esto, dirígete al apartado Ajustes >> Lectura, desmarca la casilla Disuade a los motores de búsqueda de indexar este sitio y haz clic en Guardar cambios.

    Activando la visibilidad en los motores de búsqueda
    Activando la visibilidad en los motores de búsqueda

    Mediante esta técnica se crea la instrucción name='robotscontent='noindex,follow' /> en el código fuente del sitio web.

    Esto le indica a los motores de búsqueda que pueden indexar todas las URLs de nuestro sitio web.

    Anuncio publicitario

    2. El archivo robots.txt

    Lo siguiente será limitar la indexación por secciones en nuestro sitio web. Esto se hace mediante el archivo robots.txt. Este archivo se crea en la raíz del servidor y le indica a los buscadores a que secciones de nuestro sitio web tendrán acceso.

    Para poner en funcionamiento este archivo, basta con crear un archivo llamado robots.txt en nuestro ordenador (computadora) y subirlo a la raíz del servidor.

    Los buscadores o “crawlers” son básicamente robots que acceden a los sitios webs para buscar información, indexarlos y mostrarlos en los resultados de búsqueda.

    Los robots más utilizados son:

    • Googlebot: Es el "robot" encargado de indexar las páginas en Google.
    • Mediapartners-Google: Es el crawler de Google encargado de comprobar un página de destino como una Landing Page.
    • Adsbot-Google: Es el crawler de Google encargado de revisar los anuncios de AdWords.
    • Googlebot-Image: Es el robot que indexa las imágenes en Google.
    • Bingbot: Es el crawler encargado de indexar las páginas en Bing.

    Un archivo robots.txt, típico en una instalación de WordPress, viene dado por:

    				
    					User-agent: Googlebot
    Disallow:
    
    User-agent: Adsbot-Google
    Disallow:
    
    User-agent: Mediapartners-Google
    Disallow:
    
    User-agent: Googlebot-Image
    Disallow:
    
    User-agent: Bingbot
    Disallow:
    
    User-agent: *
    Disallow: /cgi-bin/
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /wp-content/plugins/
    Disallow: /wp-content/cache/
    Disallow: /wp-content/themes/
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    
    Sitemap: https://www.midominio.com/sitemap.xml 
    				
    			

    En la entrada, subir archivos por FTP, pueden encontrar una completa información para realizar esta acción.

    3. El archivo sitemap.xml

    Por último, tenemos que limitar la indexación por tipos de contenido. Esto se logra mediante el archivo sitemap.xml.

    3.1 ¿Qué es un sitemap?

    Un sitemap es un archivo de texto, en formato XML, donde se declaran todas las URLs que se quieren indexar de un sitio web. Suele llamarse sitemap.xml aunque se le puede asignar otro nombre siempre y cuando tenga la extensión .xml.

    Las URLs que se declaran en el sitemap pueden ser páginas, entradas, categorías, productos de una tienda online y cualquier URL que exista en un sitio web y queremos que se indexe. El sitemap debe encontrarse alojado en la raíz de nuestro sitio web.

    La ruta de este archivo tiene que ser:

    https://www.midominio.com/sitemap.xml

    Técnicamente un sitemap tiene el siguiente formato:

    				
    					<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
    <url>
         <loc>https://www.midominio.com/</loc>
         <lastmod>2018-12-01</lastmod>
         <changefreq>monthly</changefreq>
         <priority>1.0</priority>
    </url>
    <url>
         <loc>https://www.midominio.com/paginas/</loc>
         <lastmod>2018-12-01</lastmod>
         <changefreq>monthly</changefreq>
         <priority>0.9</priority>
    </url>
    <url>
         <loc>https://www.midominio.com/entradas/</loc>
         <lastmod>2018-12-01</lastmod>
         <changefreq>monthly</changefreq>
         <priority>0.8</priority>
    </url>
    <url>
         <loc>https://www.midominio.com/productos/</loc>
         <lastmod>2018-12-01</lastmod>
         <changefreq>monthly</changefreq>
         <priority>0.8</priority>
    </url>
    <url>
         <loc>https://www.midominio.com/categorias/</loc>
         <lastmod>2018-12-01</lastmod>
         <changefreq>monthly</changefreq>
         <priority>0.7</priority>
    </url>
    </urlset> 
    				
    			
    • En la etiqueta loc se declaran las URLs.
    • En la etiqueta lastmod se declara la fecha en que se actualizó el contenido de la URL.
    • En la etiqueta changefreq se declara la frecuencia con la que se modifica el contenido de la URL.
    • En la etiqueta priority se declara la prioridad de de la URL.

    Por lo general, la prioridad 1.0 se asigna a la página de inicio. Para el resto de páginas, entradas, productos y categorías se asignan prioridades desde 0.9 hasta 0.1 según la importancia que queramos darles.

    En el sitio oficial de sitemaps, puedes encontrar más información sobre la composición y uso de este archivo.

    3.2 ¿Para qué sirve un sitemap?

    Para el diseño de un sitio web, el archivo sitemap.xml no sirve para nada. Sin embargo, es muy importante tenerlo ya que sirve para indicarle a Google cuáles URLs debe rastrear e indexar en nuestro sitio web.

    Si no tenemos un sitemap, Google rastreará nuestro sitio web de una manera poco segura para el SEO.

    Google no sabe si hemos creado una URL nueva o si hemos actualizado algún contenido e indexará todas las URLs que encuentre a su paso.

    Con un sitemap, si lo sabrá. Será más fácil para Google indexar el nuevo contenido y solo las URLs que le digamos.

    Cuando Google rastrea un sitio web, el archivo robots.txt es uno de los primeros que lee y, una de las instrucciones que se recomienda añadir en este archivo, es el sitemap de nuestro sitio web (como hemos visto en el punto 2).

    De esta forma le recordamos a Google que tenemos un sitemap y que no se vaya sin antes visitarlo.

    Una acotación muy importante:

    Indexar las URLs de un sitio web no es lo mismo que posicionar un sitio web.

    Cuando Google indexa una URL, esta comienza a existir en Internet (en su buscador mejor dicho) pero no necesariamente se posiciona en los primeros lugares de las búsquedas.

    Posicionar un sitio web es un proceso diferente pero si que ayuda mucho crear una cuenta en Google Search Console y añadir un sitemap para indexar las URLs.

    3.3 Crear un sitemap con WordPress

    Crear un sitemap es tan sencillo como crear un archivo en un bloc de notas, añadir todas las URLs que queramos, guardarlo con el nombre sitemap.xml y subirlo al servidor.

    Este archivo contendrá las instrucciones que te he indicado anteriormente con todas las URLs de nuestro sitio web.

    Pero de repente surge la siguiente conversación:

    TU: Gian, quiero crear un sitemap y mi sitio web tiene 20 páginas, 5 categorías y 10 entradas en el blog.

    YO: Declara todas las URLs en el sitemap y lo subes al servidor.

    TU: Ok pero, si quiero crear 20 entradas más en el blog, ¿tengo que actualizar el sitemap.xml?

    YO: Así es.

    TU: Y si en vez de 20 son 100, ¿tengo que seguir haciéndolo cada vez que actualice mi sitio web?

    YO: Exacto, cada vez que actualices tu sitio web tienes que descargar el sitemap.xml, añadir las nuevas URLs, modificar las fechas de actualización, guardarlo y subirlo nuevamente al servidor.

    TU: Pues vaya lío. Parece un trabajo que nunca va a terminar.

    YO: Si lo haces manualmente es un trabajo que nunca va a terminar, puede que se te olvide actualizar el sitemap o peor aún, puede que te equivoques y lo actualices mal y esto sería muy perjudicial para tu sitio web.

    La verdad que si es un lío realizar todo este trabajo cada vez que se crea una nueva URL en un sitio web. Además, corremos el riesgo de escribir mal alguna URL o algún símbolo y el sitemap no funcionaría.

    Afortunadamente estamos en WordPress y contamos con la magia de los plugins.

    Existe un plugin llamado Google XML Sitemaps con el que podemos crear un sitemap automáticamente sin tanto trabajo.

    Si ya trabajas con el plugin Yoast SEO, habrás podido observar que este plugin ofrece la opción de crear sitemaps sin necesidad de instalar otro plugin.

    En la lección, SEO para WordPress, se recomienda no activar esta opción ya que Yoast SEO es un plugin para SEO. Los sitemaps creados con este plugin no están bien elaborados y a Google no les gusta (es la opinión de algunos expertos en SEO).

    https://es.wordpress.org/plugins/google-sitemap-generator/

    Para instalar el plugin:

    1. Dirígete al apartado Plugins >> Añadir nuevo.
    2. En el campo de búsqueda escribe Sitemap.
    3. Haz clic en Instalar ahora y seguidamente en Activar.

    Dirígete al apartado Ajustes >> XML-Sitemap. En este apartado se encuentran todas las opciones de configuración del plugin.

    Veamos cada una de ellas:

    I. Search engines haven't been notified yet

    Al instalar el plugin por primera vez veremos el mensaje Search engines haven't been notified yet. Esto significa que aún no se ha enviado el sitemap a los motores de búsqueda.

    Avisando a los buscadores de nuestro sitemap
    Avisando a los buscadores de nuestro sitemap

    En la tercera línea, haz clic en your sitemap para que el plugin envíe un aviso a Google y Bing.

    Mostrará los avisos:

    • Result of the last ping, started on 29 mayo, 2019 10:27 am.
    • Google was successfully notified about changes.
    • Bing was successfully notified about changes.

    De esta manera se ha enviado el sitemap a los motores de búsqueda y comenzarán a rastrear las URLs de nuestro sitio web.

    Avisando a los buscadores de nuestro sitemap
    Avisando a los buscadores de nuestro sitemap

    II. Opciones básicas

    Marcando las 2 primeras opciones, el plugin notificará automáticamente, tanto a Google como a Bing, cualquier cambio que hayamos hecho en nuestro sitio web.

    No es necesario tener una cuenta creada en Google Search Console ni en Bing Webmaster Tools pero, si es recomendable hacerlo, para que nos mantengan informados del estado de nuestro sitio web.

    De las opciones que vienen marcadas por defecto, podemos desmarcar las siguientes:

    El resto de opciones podemos dejarlas como están.

    Configuración de Google XML Sitemaps: Opciones básicas
    Configuración de Google XML Sitemaps: Opciones básicas

    III. Additional Pages

    En este bloque podemos añadir manualmente una URL que sea parte de nuestro sitio web pero que no se haya creado con WordPress.

    Por ejemplo: si hemos diseñado una landing page en HTML, la hemos subido al servidor y queremos que se indexe.

    Configuración de Google XML Sitemaps: Additional Pages
    Configuración de Google XML Sitemaps: Additional Pages

    A tener en cuenta...

    Si vamos a declarar una página adicional que se haya creado fuera de WordPress, en el campo Últimos cambios, la fecha deberá tener el formato: yyyy-mm-dd donde:

    • yyyy: año.
    • mm: mes.
    • dd: día.

    Es muy importante que se respete este formato de fecha para que Google pueda indexar la URL.

    IV. Prioridad del artículo

    En esta caja podemos indicar como queremos que el plugin asigne la prioridad de cada entrada de nuestro blog. El plugin toma como referencia la cantidad de comentarios en las entradas para asignarles una prioridad en el sitemap.

    Si seleccionamos la primera opción, No utilizar el cálculo de prioridad automático, todas las entradas tendrán la misma prioridad que luego vamos a indicar en el bloque Prioridades (punto 3.8).

    Configuración de Google XML Sitemaps: Prioridad del artículo
    Configuración de Google XML Sitemaps: Prioridad del artículo

    V. Contenido del sitemap

    Este bloque es uno de los apartados más importantes. Es donde se indica los tipos de contenido del sitio web que queremos que se declaren en el sitemap.

    Hay que seleccionar solo los que en realidad consideremos importantes para ser indexados.

    Configuración de Google XML Sitemaps: Contenido del sitemap
    Configuración de Google XML Sitemaps: Contenido del sitemap

    VI. Excluded Items

    En este bloque podemos seleccionar las categorías, páginas, entradas y productos que no queremos que se declaren en el sitemap.

    Si en el bloque anterior hemos seleccionado Incluir categorías, se declararan todas en el sitemap. Sin embargo, si hay alguna categoría que no queremos que se declare, en este bloque la podemos seleccionar y tendrá prioridad sobre el bloque anterior.

    En WordPress existen varias páginas que no tienen por qué declararse en el sitemap. Por ejemplo: las páginas legales y las página de la tienda no tiene sentido que se indexen y las podemos excluir en este apartado.

    En la lección, crear páginas con WordPress, hemos visto como bloquear la indexación de las páginas con el Plugin Yoast SEO. Ahora tenemos que excluirlas de nuestro sitemap.

    Páginas bloqueadas con Yoast SEO
    Páginas bloqueadas con Yoast SEO

    Como puedes observar en la imagen anterior, hemos bloqueado la indexación de algunas páginas con el plugin Yoast SEO y, se diferencian del resto, por el color azul del semáforo.

    Para excluir estas páginas de nuestro sitemap, el plugin Google XML Sitemaps sugiere lo siguiente: Indique los ID, separados por coma.

    Para conocer el ID de cada página:

    1. Dirígete al apartado Páginas.
    2. Pasa el ratón por el título de cada página y, en la parte inferior de la pantalla, verás la siguiente URL:

    https://www.midominio.com/wp-admin/post.php?post=20&action=edit

    El trozo de la URL, post=20, indica que el ID de la página es 20.

    Conociendo el ID de una página
    Conociendo el ID de una página
    1. Haz lo mismo con el resto de páginas, entradas y productos que no quieras declarar en el sitemap y escribe los IDs en el campo Artículos excluidos separados por una coma.
    Configuración de Google XML Sitemaps: Excluded Items
    Configuración de Google XML Sitemaps: Excluded Items

    VII. Change Frequencies

    En este bloque podemos indicar la frecuencia con la que se actualizan los tipos de contenido en nuestro sitio web.

    Podemos indicar un tiempo aproximado aunque no necesariamente lo cumplamos. Esto es un valor de referencia para que Google rastree cada apartado y sepa si se han hecho cambios en mayor o menor tiempo del que hemos indicado.

    Configuración de Google XML Sitemaps: Change Frequencies
    Configuración de Google XML Sitemaps: Change Frequencies

    VIII. Prioridades

    En este bloque podemos indicar la prioridad de cada tipo de contenido de nuestro sitio web.

    Configuración de Google XML Sitemaps: Prioridades
    Configuración de Google XML Sitemaps: Prioridades

    3.4 Visualizando nuestro sitemap

    Si tecleamos en el navegador https://www.midominio.com/sitemap.xml (cambia midominio.com por tu dominio) veremos lo siguiente:

    Sitemap de un sitio web con Google XML Sitemaps
    Sitemap de un sitio web con Google XML Sitemaps

    Como puedes observar en la imagen, el plugin a dividido el sitemap en 8 sitemaps según los tipos de contenido de nuestro sitio web:

    1. https://www.gianoliveira.es/sitemap-misc.xml: página principal.
    2. https://www.gianoliveira.es/sitemap-tax-product_cat.xml: categorías de los productos de la tienda online. Solo se declararán las categorías que tengan al menos 1 producto asignado.
    3. https://www.gianoliveira.es/sitemap-tax-category.xml: categorías del blog. Solo se declararán las categorías que tengan al menos 1 entrada asignada.
    4. https://www.gianoliveira.es/sitemap-externals.xml: URLs adicionales que se hayan indicado en el bloque Additional Pages.
    5. https://www.gianoliveira.es/sitemap-pt-product-2019-05.xml: productos de la tienda online.
    6. https://www.gianoliveira.es/sitemap-pt-post-2019-05.xml: para las entradas.
    7. https://www.gianoliveira.es/sitemap-pt-post-2019-04.xml: para las entradas.
    8. https://www.gianoliveira.es/sitemap-pt-page-2019-03.xml: resto de páginas excluyendo las que se hayan declarado en el bloque Excluded Items.

    En el caso de las páginas, entradas y productos, el plugin creará varios sitemaps según el mes y el año de creación.

    Por ejemplo, en sitemap-pt-post-2019-05.xml, se declaran todas las entradas creadas en el mes de mayo de 2019 y así sucesivamente.

    Aunque el plugin haya creado varios sitemaps, nuestro sitemap siempre va a ser https://www.midominio.com/sitemap.xml.

    Este será el que enviemos a Google desde Google Search Console.

    Anuncio publicitario

    4. Conclusión

    Una vez hayamos finalizado nuestro sitio web y se encuentre listo para producción, es necesario aplicar estas 3 sencillas técnicas para que los buscadores indexen nuestro sitio web correctamente.

    Es muy importante aplicar las 3 técnicas ya que, cada una, controla la indexación de diferentes partes de nuestro sitio web.

    ¿Te ha gustado?

    Te estaría muy agradecido si pudieras valorar esta entrada y compartirla en tus redes sociales. De esta manera me animas a continuar trabajando en este proyecto y ayudas a otras personas que desean aprender.

    (14 votos, promedio: 4.9 de 5)

    Facebook
    Twitter
    WhatsApp
    Telegram
    Email

    ¿Me invitas un café?

    Todo el contenido que puedes encontrar en este sitio web es gratis y siempre lo será pero, mantenerlo, requiere de muchos cafés y muuuuchas horas . Si te gusta mi trabajo y te está ayudando, considera invitarme un café para apoyarme y apoyar este proyecto. ¡Te invito un café!.

    Suscríbete y aprende WordPress desde cero

    No me gusta el SPAM y se que a ti tampoco. Sólo recibirás información útil sobre WordPress.

    Al enviar, confirmas que has leído y aceptas la política de privacidad. Conoce nuestro compromiso con tu privacidad.

    Comparte tu experiencia

    Deja un comentario si tienes alguna duda o cuéntanos cómo ha sido tu experiencia.

    Suscríbete!
    Avísame sobre

    5 Comentarios
    Inline Feedbacks
    Ver todos los comentarios

    Hola muy bien artículo. Quisiera consultarte a ver si me podes ayudar. Tengo un blog de viajes, y he notado que ciertas entradas aparecen en google cuando las busco en versión movil, pero en la versión escritorio no aparecen. Sabrias decirme porque puede suceder esto? Gracias

    Gracias Gian por tu respuesta! Si es cierto pensandolo bien el 80% de las visitas de mi sitio web se realizan desde dispositivos móviles así que después de todo no es tan malo como creía. Un gran saludo!

    Hola! Creo que puede ser que tu versión móvil es más rápida o atractiva que la versión de escritorio. Entonces en el SEO de la versión de escritorio te "gana" otra web y se muestra primero en los resultados.

    5
    0
    ¿Dejas un comentario? Gracias!x

    Tratamiento de datos personales

    • Responsable: MARIA ANTONIETA BEAUTY CONCEPT, S.L.
    • Finalidad: Suscribirte a la lista de correos electrónicos.
    • Derechos: Podrás ejercer tus derechos de acceso, rectificación, limitación y suprimir los datos en legal@cursowordpress.com, así como el derecho a presentar una reclamación ante una autoridad de control.
    • Destinatarios: Los datos no se cederán a terceros salvo en los casos en que exista una obligación legal.
    • Información adicional: En mi política de privacidad encontrarás información adicional sobre la recopilación y el uso de su información personal incluida información sobre acceso, conservación, rectificación, eliminación, seguridad y otros temas.

    Tratamiento de datos personales

    • Responsable: MARIA ANTONIETA BEAUTY CONCEPT, S.L.
    • Finalidad: Moderar y responder comentarios de usuarios.
    • Derechos: Podrás ejercer tus derechos de acceso, rectificación, limitación y suprimir los datos en legal@cursowordpress.com, así como el derecho a presentar una reclamación ante una autoridad de control.
    • Destinatarios: Los datos no se cederán a terceros salvo en los casos en que exista una obligación legal.
    • Información adicional: En mi política de privacidad encontrarás información adicional sobre la recopilación y el uso de su información personal incluida información sobre acceso, conservación, rectificación, eliminación, seguridad y otros temas.