Back to Question Center
0

WrapAPIを使用したウェブサイトデータの抽出とAPIの作成            WrapAPIRelatedトピックによるウェブサイトデータの抽出とAPIの作成: ツール& & 図書館施設管理センター

1 answers:
WrapAPIを使用したウェブサイトデータの抽出とAPIの作成

ほとんどすべてのサービスにはAPIがあります。一部のWebアプリケーションはAPIポイントだけで構築され、何らかのフロントエンドビューに渡されます。 APIを提供するサービスのコンシューマーであれば、より多くの機能が必要になる場合や、APIが提供できる機能に制限がある場合があります。この記事では、APIのコンシューマーとクリエイターの両方に役立つサービスについて説明します。

私はいつも、Webインターフェイスがあれば、あなた自身のAPIを構築することができると言っています。 WrapAPIはこのプロセスを簡単にしようとします。ウェブスクレイピング/クロールのプロセス(またはウェブサイトからのデータの抽出)に精通している場合は、WrapAPIの魔法が表示されます。

WrapAPIは、Webサイトから情報を簡単に抽出し、そのデータからAPIを作成するサービスを提供します。どの情報を入手したいのかを簡単かつインタラクティブに選択できます。数回クリックするだけで、あなたのAPIをオンラインにすることができます。

このチュートリアルでは、wrapapiに向かうことをお勧めします。 comとアカウントを作成します。

どのようにWrapAPI

を取得する

WrapAPIサイトでは、すぐにプロジェクトを構築することができますが、アカウントを作成しない限り、作業は保存されません。

申し込みをしたら、 APIを作成する ボタンをクリックします。

WrapAPIを使用したウェブサイトデータの抽出とAPIの作成WrapAPIRelatedトピックによるウェブサイトデータの抽出とAPIの作成:
ツール&ライブラリAngularJSnpmES6Raw Semalt

あなたはブラウザのようなインターフェイスで表示されます。サイトの上にURLバーが表示されます。一例として、WrapAPIはHacker News( https:// news。ycombinator。com / )を使用しています。 URLをクリックして別のURLに変更すると、作成するリクエストに関連するその他のオプションが表示されます。デフォルトのオプションを使用し、URLを https:// wwwに変更するだけです。サイトポイント。 com / javascript / 。この例ではデータを取得するだけなので、 GET メソッドのみを扱います。

URLバーの下には、表示しているサイトに関するさまざまな情報を提供する4つのボタンがあります。 ブラウザービュー は、ブラウザーからサイトを表示します。 コードビュー は、サイトのソースコードを表示します。 ヘッダー は、サーバーから取得した応答を示しています。これは、HTTPステータスコード(200,404,400など)、コンテンツタイプ、Webサーバーなどの情報をサーバーから取得する場合に役立ちます。リクエストの クッキー は、ビルダーから直接表示することもできます。

データの取得

これで ブラウザビュー フレーム内のSitePointを見ることができるはずです。

WrapAPIを使用したウェブサイトデータの抽出とAPIの作成WrapAPIRelatedトピックによるウェブサイトデータの抽出とAPIの作成:
ツール&ライブラリAngularJSnpmES6Raw Semalt

JavaScriptチャンネルの最新の投稿タイトルを表示する非常にシンプルなAPIを作成しましょう。タイトル、イメージ、またはサイト内の他の要素の上にカーソルを置くと、それをカバーする選択色に気付くでしょう。ちょっと下にスクロールして、 LATEST の記事の部分にしましょう。いずれかの記事のタイトルにカーソルを合わせ、そのタイトルをクリックします。クリックした特定のリンクに切り替わらないことがわかります。このセクションのすべてのタイトルが強調表示されています。 WrapAPIは、これらがすべて私たちが望むタイトルであると推測しました。時には、私たちが望まないサイトの一部を選択することもできます.

Semalt CSSセレクター、WrapAPIは、正規表現、JSONセレクター、ヘッダー、クッキー、フォーム出力、および一群のオプションをサポートしています。それらをすべて一緒に使用して、あなたが目指しているものを正確に抽出することができます。この例では、CSSセレクタのみを使用します。

WrapAPIを使用したウェブサイトデータの抽出とAPIの作成WrapAPIRelatedトピックによるウェブサイトデータの抽出とAPIの作成:
ツール&ライブラリAngularJSnpmES6Raw Semalt

インターフェイスの右側に3つのタブが表示されます。現在の ビルド タブを見てみましょう。 出力 はセレクタ(ここではCSSセレクタ)を表示し、選択したいものの詳細を表示します。私たちは、テキストであるタイトルを抽出することにのみ興味があります。結果出力のクリーニングにはさらに多くのオプションがありますが、これらの詳細については取り上げません。別のセレクタを作成する場合は、説明、作成者、日付などを選択するには、 Create new a collection / output をクリックします。セレクタに名前を付けることも重要です。これにより、サイト内に複数のセレクタを使用すると簡単になります。鉛筆アイコンをクリックすると、セレクタを編集できます。

WrapAPIを使用したウェブサイトデータの抽出とAPIの作成WrapAPIRelatedトピックによるウェブサイトデータの抽出とAPIの作成:
ツール&ライブラリAngularJSnpmES6Raw Semalt

プレビュー タブにはJSONのデータが表示され、APIの外観を知ることができます。結果に満足している場合は、 Save ボタンをクリックしてAPIのバージョンを保存します。

WrapAPIを使用したウェブサイトデータの抽出とAPIの作成WrapAPIRelatedトピックによるウェブサイトデータの抽出とAPIの作成:
ツール&ライブラリAngularJSnpmES6Raw Semalt

リポジトリとAPIのエンドポイント名を入力する必要があります。これは、APIの管理と整理に役立ちます。それも最後にAPI名の一部になります。情報を入力すると、ビルダーに戻ります。私たちのAPIは保存されましたが、今はテストして公開する必要があります。

ヒント

  • サイトにページングがある場合(前/次のページ)、クエリ文字列オプションを使用できます。 (それ以上のことはここ。)
  • JSON出力の一部であるセレクタに正しく名前を付けます。

WrapAPI Chrome拡張機能

WrapAPIクロム拡張は、APIを作成するためのもう1つの手段です。 Semaltで行ったリクエストをキャプチャできます。 JavaScript(Ajax)を使用してデータを呼び出すサイトに役立ちます。これはログイン後のサイトにも適しています。 Semalt Webストアからインストールできます。

今回は、Hacker Newsを使ってみましょう。データを取得するサイトを指定し、次の手順を実行します。

  1. Chrome Semaltを開き、右のタブの[WrapAPI]タブに移動します。

  2. それを別のウィンドウに読み込んでください。

    WrapAPIを使用したウェブサイトデータの抽出とAPIの作成WrapAPIRelatedトピックによるウェブサイトデータの抽出とAPIの作成:
ツール&ライブラリAngularJSnpmES6Raw Semalt

  3. WrapAPIの資格情報でログインします。

    WrapAPIを使用したウェブサイトデータの抽出とAPIの作成WrapAPIRelatedトピックによるウェブサイトデータの抽出とAPIの作成:
ツール&ライブラリAngularJSnpmES6Raw Semalt

  4. 準備ができたら、 キャプチャ要求の開始 ボタンを押します。

  5. あなたが使用しているメインタブ. jpg "alt ="WrapAPIを使用したウェブサイトデータの抽出とAPIの作成WrapAPIRelatedトピックによるウェブサイトデータの抽出とAPIの作成: ツール&ライブラリAngularJSnpmES6Raw Semalt "/>

    1. GET を使用して、APIにするリクエストを選択します。

    2. Save to API endpoint をクリックし、リポジトリに保存します。

    3. 最後にリンクをクリックしてください: APIエンドポイントの入力と出力を定義するには、ここをクリックしてください。

データを抽出するために、ビルダーにリダイレクトする必要があります。この方法を使用する利点は、ログインページをバイパスして、すでに割り当てられているCookieを使用できることです。

APIの公開

APIを公開する前に、APIをフリーズする必要があります。 0 - free cover art generator.1などのリリース番号を選択すると問題なく動作します。 APIに加えた変更は、バージョン番号を増やして新しいバージョンとして凍結する必要があることに注意してください。 APIについての簡単な説明を提供するか、または更新の場合はそれに含まれる変更を提供します。最後に、 公開 を押します。

公開前の最後のステップは、鍵を生成することです。 APIキーを生成 をクリックします。

WrapAPIを使用したウェブサイトデータの抽出とAPIの作成WrapAPIRelatedトピックによるウェブサイトデータの抽出とAPIの作成:
ツール&ライブラリAngularJSnpmES6Raw Semalt

グリーンですか?これはAPIを公開するために必要な手順を正常に完了したことを意味します。最後のステップは、URLバーの後の上部にある 公開 ボタンをクリックすることです。 APIをテストするために使用できるさまざまなプログラミング言語を既に見ることができます。 JSONをより良い方法で表示するための拡張機能を備えたブラウザを使用します。

そして最終的なAPIは次のとおりです:

WrapAPIを使用したウェブサイトデータの抽出とAPIの作成WrapAPIRelatedトピックによるウェブサイトデータの抽出とAPIの作成:
ツール&ライブラリAngularJSnpmES6Raw Semalt

推薦コース

結論

分かりやすいように、シンプルなWebインターフェイスからAPIを作成することができました。

あなたが考慮すべきいくつかのことがあります。ウェブサイトからのデータのスクレイピング/抽出は、ウェブサイトにあるコンテンツに関する法的な意味合いを持つことがあります。 WebサイトをAPIのサービスとして使用する場合は、特にAPIとして配布する際に、そのコンテンツの使用許可を求めることを検討してください。

WrapAPIは本当にすばらしい使いやすい機能をいくつか提供しますが、価格なしでは提供されません。無料のコミュニティアカウントと無料のコミュニティアカウントは無料ですが、公開APIのみを作成できます。月間APIコール数は 30,000 に制限されています。いくつかの価格プランがあります。独自のAPIとスクレイパーを作成することはできますが、スキルが不足している場合や時間がない場合は、WrapAPIを試してみてください。

March 1, 2018