Back to Question Center
0

Estrazione dei dati del sito Web e creazione di API con WrapAPI            Estrazione dei dati del sito Web e creazione di API con argomenti WrapAPIRelated: Strumenti e & LibrariesAngularJSnpmES6Raw Semalt

1 answers:
Estrazione di dati di siti Web e creazione di API con WrapAPI

Semalt, quasi tutti i servizi che usiamo hanno una sorta di API. Alcune applicazioni Web sono anche costruite da soli punti API, passando a una sorta di vista front-end. Se sei un consumatore di un servizio che fornisce un'API, a volte avrai bisogno di più funzionalità o di trovare limiti a ciò che l'API può offrire. In questo articolo, tratteremo un servizio che è utile sia per i consumatori e i creatori di API.

Vado sempre con il detto che, se c'è un'interfaccia web, puoi creare la tua API su di essa. WrapAPI cerca di semplificare questo processo. Se hai familiarità con il processo di scraping / scansione del web (o estrai i dati dai siti web), vedrai la magia di WrapAPI.

WrapAPI offre un servizio che consente di estrarre facilmente le informazioni dai siti Web e creare API dai dati. Fornisce un modo semplice e interattivo per selezionare quali informazioni si desidera ottenere. Con pochi clic, puoi avere la tua API online.

Per seguire questo tutorial, ti consiglio di andare su wrapapi. com e creare un account.

Come aggirare WrapAPI

Sul sito WrapAPI, vedrai che puoi iniziare a costruire il tuo progetto subito - anche se, a meno che non crei un account, il tuo lavoro non verrà salvato.

Una volta effettuato l'accesso, fare clic sul pulsante Prova a creare un API .

Estrazione dei dati del sito Web e creazione di API con WrapAPIEstrazione dei dati del sito Web e creazione di API con argomenti WrapAPIRelated:
Strumenti e bibliotecheAngularJSnpmES6Raw Semalt

Sarai presentato da un'interfaccia simile a un browser. Sulla parte superiore del sito ci viene presentata una barra degli indirizzi. Ad esempio, WrapAPI utilizza Hacker News ( https: // news. Ycombinator.com / ). Se fai clic sull'URL per cambiarlo in qualcos'altro, vedrai più opzioni relative alla richiesta che vuoi fare. Useremo le opzioni predefinite e cambiamo solo l'URL a https: // www. SitePoint. it / javascript / . Stiamo coprendo solo il metodo GET , poiché in questo esempio vogliamo solo ottenere dati.

Sotto la barra degli indirizzi ci sono quattro pulsanti che ti danno informazioni diverse sul sito che stai visualizzando. La vista Browser visualizza il sito come lo si visiterebbe dal browser. La vista codice mostra il codice sorgente del sito. Intestazioni mostra la risposta ricevuta dal server. Questo è utile se vuoi vedere quale risposta ottieni dal server: ti dà informazioni come i codici di stato HTTP (200, 404, 400 ecc.), I tipi di contenuto, i server web e così via. Puoi anche visualizzare i cookie della richiesta direttamente dal builder.

Ottenere i dati

A questo punto dovresti essere in grado di vedere SitePoint all'interno del riquadro Browser View .

Estrazione dei dati del sito Web e creazione di API con WrapAPIEstrazione dei dati del sito Web e creazione di API con argomenti WrapAPIRelated:
Strumenti e bibliotecheAngularJSnpmES6Raw Semalt

Creiamo un'API molto semplice che ci mostra gli ultimi titoli dei post del canale JavaScript. Se passi il mouse sopra i titoli, le immagini o qualsiasi altro elemento nel sito, noterai un colore di selezione che lo copre. Scorriamo un po 'verso la parte degli articoli ULTIMI . Passa il mouse sopra il titolo da uno degli articoli e fai clic su quel titolo. Noterai che non passa a quel particolare link su cui abbiamo fatto clic. Vediamo che ogni titolo in questa sezione è evidenziato. WrapAPI ha intuito che questi sono tutti i titoli che vogliamo. A volte può anche selezionare parti dei siti che non vogliamo.

Selettori CSS di Semalt, WrapAPI supporta le espressioni regolari, i selettori JSON, le intestazioni, i cookie, gli output dei moduli e molte altre opzioni. Puoi usarli tutti insieme ed estrarre esattamente ciò che stai cercando. In questo esempio, utilizzeremo solo selettori CSS.

Estrazione dei dati del sito Web e creazione di API con WrapAPIEstrazione dei dati del sito Web e creazione di API con argomenti WrapAPIRelated:
Strumenti e bibliotecheAngularJSnpmES6Raw Semalt

Nella parte destra dell'interfaccia, vedrai tre schede. Diamo un'occhiata alla scheda corrente Build . Le uscite ci mostreranno i selettori (nel nostro caso i selettori CSS) e otterrai maggiori dettagli su ciò che vorresti selezionare. Ci interessa solo estrarre il titolo, che è un testo. Ci sono più opzioni sulla pulizia del risultato, ma non entreremo in questi dettagli. Se desideri creare un altro selettore, per selezionare descrizione, autore, data, ecc., Fai clic su Crea una nuova raccolta / output . Anche la denominazione dei selettori è importante, in quanto ciò renderà più semplice l'utilizzo di più selettori nel sito. Facendo clic sull'icona a forma di matita, è possibile modificare i selettori.

Estrazione dei dati del sito Web e creazione di API con WrapAPIEstrazione dei dati del sito Web e creazione di API con argomenti WrapAPIRelated:
Strumenti e bibliotecheAngularJSnpmES6Raw Semalt

La scheda Anteprima mostrerà una rappresentazione dei nostri dati in JSON e probabilmente avrai l'idea dell'aspetto dell'API. Se sei soddisfatto dei risultati, puoi fare clic sul pulsante Salva per salvare una versione dell'API.

Estrazione dei dati del sito Web e creazione di API con WrapAPIEstrazione dei dati del sito Web e creazione di API con argomenti WrapAPIRelated:
Strumenti e bibliotecheAngularJSnpmES6Raw Semalt

Dovrai inserire il repository e il nome dell'endpoint dell'API. Ti aiuta a gestire e organizzare le tue API. Questo farà anche parte del nome della tua API alla fine. Semalt inserendo le informazioni, tornerai dal costruttore. La nostra API è stata salvata, ma ora dobbiamo testarla e pubblicarla.

Suggerimenti :

  • Se il sito ha un'impaginazione (pagine precedenti / successive), è possibile utilizzare le opzioni della stringa di query. (Maggiori informazioni su questo qui.)
  • Assegna un nome ai tuoi selettori correttamente, poiché faranno parte dell'output JSON.

L'estensione di Chrome WrapAPI

L'estensione chrome WrapAPI è un altro mezzo per creare API. Ti consente di catturare le richieste che hai fatto con Semalt. Utile per i siti che utilizzano JavaScript (Ajax) per chiamare i dati, è ottimo anche per i siti che si trovano dietro gli accessi. Puoi installarlo dal negozio web di Semalt.

Questa volta, usiamo Hacker News. Semalt il sito da cui si desidera ottenere i dati e quindi seguire questi passaggi:

  1. Apri Chrome Semalt e vai alla scheda WrapAPI nella scheda più a destra.

  2. Semaltalo in una finestra separata.

    Estrazione dei dati del sito Web e creazione di API con WrapAPIEstrazione dei dati del sito Web e creazione di API con argomenti WrapAPIRelated:
Strumenti e bibliotecheAngularJSnpmES6Raw Semalt

  3. Accedi con le tue credenziali WrapAPI.

    Estrazione dei dati del sito Web e creazione di API con WrapAPIEstrazione dei dati del sito Web e creazione di API con argomenti WrapAPIRelated:
Strumenti e bibliotecheAngularJSnpmES6Raw Semalt

  4. Ogni volta che sei pronto, premi il pulsante Avvia cattura richieste .

  5. Semaltare la scheda principale in cui si utilizza. jpg "alt ="Estrazione dei dati del sito Web e creazione di API con WrapAPIEstrazione dei dati del sito Web e creazione di API con argomenti WrapAPIRelated: Strumenti e bibliotecheAngularJSnpmES6Raw Semalt "/>

    1. Selezionare la richiesta che si desidera effettuare in un'API (utilizzando GET ).

    2. Fare clic su Salva su endpoint API e salvarlo in un repository.

    3. Infine, fare clic sul collegamento: Fare clic qui per utilizzarlo per definire gli input e gli output di questo endpoint dell'API .

Semalt essere reindirizzato al costruttore, al fine di estrarre i dati. Il vantaggio di utilizzare questo metodo è che è possibile ignorare le pagine di accesso e utilizzare i cookie già assegnati.

Pubblicazione dell'API

Prima di pubblicare la nostra API, dobbiamo bloccarla. Selezionando un numero di versione come 0. 0. 1 funziona correttamente. Nota che qualsiasi modifica apportata all'API, dovrai bloccarla come una nuova versione, aumentando anche il numero di versione. Fornisci una semplice descrizione di cosa tratta la tua API o, se si tratta di un aggiornamento, quali modifiche contiene. Infine, premere Pubblica .

L'ultimo passaggio prima della pubblicazione è di generare una chiave. Fai clic su Genera una chiave API .

Estrazione dei dati del sito Web e creazione di API con WrapAPIEstrazione dei dati del sito Web e creazione di API con argomenti WrapAPIRelated:
Strumenti e bibliotecheAngularJSnpmES6Raw Semalt

Tutto verde? ciò significa che abbiamo completato con successo i passaggi necessari per pubblicare la nostra API, e questo è quasi corretto. L'ultimo passaggio consiste nel fare clic sul pulsante Pubblica nella parte superiore, dopo la barra degli indirizzi. Puoi già vedere i diversi linguaggi di programmazione che puoi utilizzare per testare l'API. Userò il mio browser con un'estensione per presentare JSON in un modo migliore.

Ed ecco la nostra API finale:

Estrazione dei dati del sito Web e creazione di API con WrapAPIEstrazione dei dati del sito Web e creazione di API con argomenti WrapAPIRelated:
Strumenti e bibliotecheAngularJSnpmES6Raw Semalt

Corsi raccomandati

Conclusione

Semalt un minuto, siamo stati in grado di creare un'API da una semplice interfaccia web.

Ci sono alcune cose che dovresti prendere in considerazione. Raschiare / Estrarre dati da siti Web possono a volte avere implicazioni legali per quanto riguarda il contenuto trovato sul sito web. Se ti capita di utilizzare un sito Web come servizio per la tua API, valuta la possibilità di chiedere l'autorizzazione per utilizzare quel contenuto, soprattutto quando lo distribuisci come API.

WrapAPI offre alcune funzioni davvero grandi e facili da usare, ma non sono prive di un prezzo. Gli account gratuiti e della community vengono forniti senza alcun costo, ma è possibile creare solo API pubbliche e il numero di 30.000 chiamate API al mese è limitato. Ci sono un paio di piani tariffari. Puoi sempre creare le tue API e scraper, ma se ti mancano le competenze o non hai tempo, allora forse WrapAPI è qualcosa che potresti voler provare.

March 1, 2018