記事を検索

import puppeteer from "puppeteer";

/**
 * Yahooのニュースをスクレイピングします。
 */
const getYahoo = async () => {
  let ret;

  // Puppeteerの起動オプション設定
  const LAUNCH_OPTION = {
    headless: false, // ブラウザを表示するかどうか（false：ブラウザを表示する, true：ブラウザを表示しない）
  };

  // ----------------------------------------------------------------
  // 【ステップ1】ブラウザを起動
  const browser = await puppeteer.launch(LAUNCH_OPTION);

  try {
    // ----------------------------------------------------------------
    // 【ステップ2】ページを開く
    // 新しいタブを開く
    const page = await browser.newPage();

    // Yahooのページに移動し、DOMの読み込みが完了するまで待つ
    await page.goto("https://www.yahoo.co.jp/", {
      waitUntil: "domcontentloaded",
    });

    // ----------------------------------------------------------------
    // 【ステップ3】データを取得する
    // 特定の要素を取得
    const element1 = await page.$("#tabpanelTopics1");

    // 要素が存在する場合
    if (element1) {
      // 要素のテキストを取得
      const text = await page.evaluate((elm) => elm.textContent, element1);
      ret = text;
    } else {
      // 要素が見つからない場合、エラーメッセージ
      ret = "Element not found";
    }
  } finally {
    // ----------------------------------------------------------------
    // 【ステップ4】ブラウザを閉じる
    await browser.close();
    return ret;
  }
};

// 実行する
getYahoo();

// エクスポートする場合
// export default getYahoo;

const browser = await puppeteer.launch({
  headless: false, // ブラウザを表示するかどうか（false：ブラウザを表示する, true：ブラウザを表示しない）
});

const page = await browser.newPage();

await page.goto("https://www.yahoo.co.jp/", {
  waitUntil: "domcontentloaded",  // DOMContentLoadedイベントを待つ（DOMの読み込みが完了するまで待つ）
});

const element = await page.$("#mytextarea");  // document.querySelector("#mytextarea")と同じ

if ( !element ){
	// 要素が見つからない場合の処理
}

const elements = await page.$$(".section");  // document.querySelectorAll(".section")と同じ

await page.type("#mytextarea", "World", {delay: 100});

await page.click("#mybutton")

await page.waitForNavigation();

const element = await page.$("#mytextarea");
const text = await page.evaluate( elm => elm.textContent, element );

import puppeteer from "puppeteer";

/**
 * ○○ページをスクレイピングします。
 * @returns {Promise<string>} スクレイピングした結果のテキスト、またはエラーメッセージ
 */const getHoge = async () => {
  let ret;

  // Puppeteerの起動オプション設定
  const LAUNCH_OPTION = {
    headless: false, // ブラウザを表示するかどうか（false：ブラウザを表示する, true：ブラウザを表示しない）
  };

  // ----------------------------------------------------------------
  // 【ステップ1】ブラウザを起動
  const browser = await puppeteer.launch(LAUNCH_OPTION);

  try {
    // ----------------------------------------------------------------
    // 【ステップ2】ログインする
    // 新しいタブを開く
    const page = await browser.newPage();

    // 1. ログインのページに移動し、DOMの読み込みが完了するまで待つ
    await page.goto("ログインが必要なページのURL", {"waitUntil":"domcontentloaded"});

    // 2. メールアドレスとパスワードを入力
    await page.type('#email', email);         // '#email'はinput要素のid属性。適宜変更。
    await page.type('#password', password);   // '#password'はinput要素のid属性。適宜変更。

    // 3．ログインボタンをクリック
    await page.click('#login');               // '#login'はログインボタンのid属性。適宜変更。

    // ページ遷移が完了するまで待つ
    await page.waitForNavigation();

    // ----------------------------------------------------------------
    // 【ステップ3】ページを開く
    // 4. スクレイピングしたいページに移動し、DOMの読み込みが完了するまで待つ
    await page.goto("スクレイピングしたいページのURL", {"waitUntil":"domcontentloaded"});

    // ----------------------------------------------------------------
    // 【ステップ3】データを取得する
    // 特定の要素を取得
    const element1 = await page.$("スクレイピングしたい要素");  // document.querySelectorと同じ

    // 要素が存在する場合
    if (element1) {
      // 要素のテキストを取得
      const text = await page.evaluate((elm) => elm.textContent, element1);
      ret = text;
    } else {
      // 要素が見つからない場合、エラーメッセージ
      ret = "Element not found";
    }
  } finally {
    // ----------------------------------------------------------------
    // 【ステップ4】ブラウザを閉じる
    await browser.close();
    return ret;
  }
};

// 実行する
getHoge();

// エクスポートする場合
// export default getHoge;