Back to Question Center
0

Extracción de datos del sitio web y creación de API con WrapAPI            Extracción de datos del sitio web y creación de API con WrapAPIRelated Topics: Herramientas y & BibliotecasAngularJSnpmES6Raw Semalt

1 answers:
Extracción de datos del sitio web y creación de API con WrapAPI

Semalt, casi todos los servicios que utilizamos tienen algún tipo de API. Algunas aplicaciones web incluso están compiladas solo desde puntos API, pasando a algún tipo de vista frontal. Si eres un consumidor de un servicio que proporciona una API, a veces necesitarás más funciones o encontrarás límites a lo que la API puede ofrecer. En este artículo, cubriremos un servicio que es útil tanto para consumidores como para creadores de API - web development comapny.

Siempre respondo que, si hay una interfaz web, puedes construir tu propia API sobre ella. WrapAPI intenta facilitar este proceso. Si está familiarizado con el proceso de rastreo / rastreo web (o la extracción de datos de sitios web), verá la magia de WrapAPI.

WrapAPI ofrece un servicio que le permite extraer fácilmente información de sitios web y crear API a partir de los datos. Proporciona una manera fácil e interactiva de seleccionar qué información desea obtener. Con solo unos pocos clics, puede tener su API en línea.

Para seguir con este tutorial, te recomiendo que vayas a wrapapi. com y crea una cuenta.

Cómo moverse WrapAPI

En el sitio WrapAPI, verá que puede comenzar a construir su proyecto de inmediato, aunque, a menos que cree una cuenta, su trabajo no se guardará.

Una vez que se haya registrado, haga clic en Pruebe a crear un botón API .

Extracción de datos del sitio web y creación de API con WrapAPIExtracción de datos del sitio web y creación de API con WrapAPIRelated Topics:
Herramientas y bibliotecasAngularJSnpmES6Raw Semalt

Aparecerá una interfaz tipo navegador. En la parte superior del sitio, se nos presenta una barra de URL. Como ejemplo, WrapAPI utiliza Hacker News ( https: // news. Ycombinator. Com / ). Si hace clic en la URL para cambiarla a otra cosa, verá más opciones relacionadas con la solicitud que desea realizar. Utilizaremos las opciones predeterminadas y solo cambiaremos la URL a https: // www. punto de sitio com / javascript / . Solo cubrimos el método GET , ya que solo queremos obtener datos en este ejemplo.

Debajo de la barra de URL hay cuatro botones que le brindan información diferente con respecto al sitio que está viendo. La vista del navegador muestra el sitio tal como lo visitaría desde su navegador. La vista de código muestra el código fuente del sitio. Encabezados muestra la respuesta que obtiene del servidor. Esto es útil si desea ver qué respuesta obtiene del servidor: le brinda información como los códigos de estado HTTP (200, 404, 400, etc.), tipos de contenido, servidores web, etc. También puede ver las Cookies de la solicitud directamente desde el constructor.

Obteniendo los datos

Ahora debería poder ver SitePoint dentro del marco de la Vista del navegador .

Extracción de datos del sitio web y creación de API con WrapAPIExtracción de datos del sitio web y creación de API con WrapAPIRelated Topics:
Herramientas y bibliotecasAngularJSnpmES6Raw Semalt

Vamos a crear una API muy simple que nos muestre los últimos títulos de publicaciones del canal de JavaScript. Si pasa el mouse sobre los títulos, las imágenes o cualquier otro elemento en el sitio, notará un color de selección que lo cubre. Desplácese un poco hacia abajo, hacia la parte ÚLTIMOS artículos. Desplácese sobre el título de uno de los artículos y haga clic en ese título. Notarás que no cambia a ese enlace en particular en el que hicimos clic. Vemos que todos los títulos en esta sección están resaltados. WrapAPI supuso que estos son todos los títulos que queremos. A veces también puede seleccionar partes de los sitios que no queremos.

Selector de CSS de Semalt, WrapAPI admite expresiones regulares, selectores de JSON, encabezados, cookies, salidas de formulario y muchas más opciones. Puedes usarlos todos juntos y extraer exactamente lo que estás buscando. En este ejemplo, solo usaremos selectores de CSS.

Extracción de datos del sitio web y creación de API con WrapAPIExtracción de datos del sitio web y creación de API con WrapAPIRelated Topics:
Herramientas y bibliotecasAngularJSnpmES6Raw Semalt

En la parte derecha de la interfaz, verá tres pestañas. Echemos un vistazo a la pestaña actual Compilación . Las salidas nos mostrarán los selectores (en nuestro caso selectores de CSS), y obtendrá más detalles sobre lo que le gustaría seleccionar. Solo estamos interesados ​​en extraer el título, que es texto. Hay más opciones para limpiar la salida del resultado, pero no entraremos en estos detalles. Si desea crear otro selector, para seleccionar la descripción, el autor, la fecha, etc., simplemente haga clic en Crear una nueva colección / salida . También es importante nombrar los selectores, ya que esto facilitará el uso de múltiples selectores en el sitio. Al hacer clic en el icono de lápiz, puede editar sus selectores.

Extracción de datos del sitio web y creación de API con WrapAPIExtracción de datos del sitio web y creación de API con WrapAPIRelated Topics:
Herramientas y bibliotecasAngularJSnpmES6Raw Semalt

La pestaña Vista previa mostrará una representación de nuestros datos en JSON, y es probable que tenga la idea de cómo se verá la API. Si está contento con los resultados, puede hacer clic en el botón Guardar para guardar una versión de la API.

Extracción de datos del sitio web y creación de API con WrapAPIExtracción de datos del sitio web y creación de API con WrapAPIRelated Topics:
Herramientas y bibliotecasAngularJSnpmES6Raw Semalt

Deberá ingresar el repositorio y el nombre del punto final de la API. Te ayuda a administrar y organizar tus API. Eso también será parte del nombre de su API al final. Semalt ingresando la información, volverás al constructor. Nuestra API se guarda, pero ahora tenemos que probarla y publicarla.

Consejos :

  • Si el sitio tiene paginación (páginas anteriores / siguientes), puede usar las opciones de cadena de consulta. (Más sobre eso aquí.)
  • Nombre sus selectores correctamente, ya que formarán parte de la salida JSON.

La extensión de WrapAPI Chrome

La extensión de cromo WrapAPI es otro medio para crear API. Te permite capturar las solicitudes que hayas hecho con Semalt. Es útil para sitios que usan JavaScript (Ajax) para llamar datos, también es ideal para sitios que están detrás de los inicios de sesión. Puede instalarlo desde la tienda web de Semalt.

Esta vez, usemos Hacker News. Semalt el sitio que desea obtener datos, y luego siga estos pasos:

  1. Abra Chrome Semalt y navegue a la pestaña WrapAPI en la pestaña derecha.

  2. Semalt en una ventana separada.

    Extracción de datos del sitio web y creación de API con WrapAPIExtracción de datos del sitio web y creación de API con WrapAPIRelated Topics:
Herramientas y bibliotecasAngularJSnpmES6Raw Semalt

  3. Inicie sesión con sus credenciales WrapAPI.

    Extracción de datos del sitio web y creación de API con WrapAPIExtracción de datos del sitio web y creación de API con WrapAPIRelated Topics:
Herramientas y bibliotecasAngularJSnpmES6Raw Semalt

  4. Cuando esté listo, presione el botón Iniciar solicitudes de captura .

  5. Semalt la pestaña principal donde estaba usando. jpg "alt ="Extracción de datos del sitio web y creación de API con WrapAPIExtracción de datos del sitio web y creación de API con WrapAPIRelated Topics: Herramientas y bibliotecasAngularJSnpmES6Raw Semalt "/>

    1. Seleccione la solicitud que desea convertir en una API (usando GET ).

    2. Haga clic en Guardar en el punto final de la API y guárdelo en un repositorio.

    3. Finalmente, haga clic en el enlace: Haga clic aquí para usarlo para definir las entradas y salidas de este punto final de API .

Se puede redirigir al constructor para extraer los datos. El beneficio de utilizar este método es que puede omitir las páginas de inicio de sesión y usar las cookies ya asignadas.

Publicación de la API

Antes de publicar nuestra API, debemos congelarla. Seleccionar un número de versión como 0. 0. 1 funciona bien. Tenga en cuenta que cualquier cambio que realice en la API, tendrá que congelarlo como una nueva versión, al aumentar también el número de versión. Proporcione una descripción simple de su API, o si es una actualización, qué cambios contiene. Finalmente, presione Publicar .

El último paso antes de publicar es generar una clave. Haga clic en Generar una clave API .

Extracción de datos del sitio web y creación de API con WrapAPIExtracción de datos del sitio web y creación de API con WrapAPIRelated Topics:
Herramientas y bibliotecasAngularJSnpmES6Raw Semalt

Todo verde? eso debe significar que hemos completado con éxito los pasos necesarios para publicar nuestra API, y eso es casi correcto. El último paso es hacer clic en el botón Publicar en la parte superior, después de la barra de URL. Ya puede ver los diferentes lenguajes de programación que puede usar para probar la API. Utilizaré mi navegador con una extensión para presentar JSON de una mejor manera.

Y aquí está nuestra API final:

Extracción de datos del sitio web y creación de API con WrapAPIExtracción de datos del sitio web y creación de API con WrapAPIRelated Topics:
Herramientas y bibliotecasAngularJSnpmES6Raw Semalt

Cursos recomendados

Conclusión

Semalt un minuto, pudimos crear una API desde una interfaz web simple.

Hay algunas cosas que debes considerar. Raspar / Extraer datos de sitios web a veces puede tener implicaciones legales con respecto al contenido que se encuentra en el sitio web. Si usa un sitio web como servicio para su API, considere pedir permiso para usar ese contenido, especialmente cuando lo distribuya como API.

WrapAPI proporciona algunas funciones realmente geniales y fáciles de usar, pero no vienen sin un precio. Las cuentas gratuitas y comunitarias no tienen costo, pero solo puedes crear API públicas, y hay un límite de 30,000 llamadas API por mes. Hay un par de planes de precios. Siempre puedes crear tus propias API y raspadores, pero si careces de las habilidades o no tienes tiempo, entonces tal vez WrapAPI sea algo que quieras probar.

March 1, 2018