muumoo.jp

2007/12/12 URLを渡すとページの内容(htmlソース)をJSONPとかで取得できるAPIをYahoo! Pipesで作った (管理人日記)

Yahoo! PipesにFetch Pageモジュールが追加されたので、さっそく作ってみた。

• Page Loader API

URLを渡すと、そのURLのページの内容を返します。結果はRSS、JSON、JSONPで取得できます。

想定してる使い方としては、クライアントサイドからよそのページのhtmlソースなんかが欲しい場合。XMLHttpRequestでは別ドメインのデータは取って来れないのでJSONPを使うわけですが、htmlソースはそのままじゃJSONPで取れません。そこでこのPipesを使うわけです。

呼び出し方は以下のような感じ。

http://pipes.yahoo.com/poolmmjp/page_loader?url=(URL)&_render=json&_callback=hoge

返されるフィードまたはJSONの1件目の「description」ってところにhtmlソースが入ってます。それだけ。

このAPIはもともと、つい先日「Twitter Auto Followに、コピペしたテキストからTwitterユーザを抽出する機能を追加」のときに、htmlソースをコピペするんじゃなくURLを指定するだけにしたくて、そのためにはhtmlソースをJSONPで取得できるAPIが欲しいから作ろうかと思っていたものです。そのときはRubyか何かで作って自分の管理下にあるサーバに置くつもりでしたが、公開するとなると気力が続く限りメンテとかしなきゃいけないのが負担だなぁと思って躊躇していました。でも良いタイミングでYahoo! Pipesで簡単に作れるようになったので、ホント助かった。

すばらしいねFetch Pageモジュール。これは熱いわ。いろいろアイディアがわいてくるよ。

今からこれ使って何か作る。

この記事のURI:

http://muumoo.jp/news/2007/12/12/0pageloader.html

最新の関連記事

• 2008/09/20 SBM Bookmarks APIにFC2ブックマークのデータを追加
• 2008/07/13 Wassrのチャンネルへの投稿をミックスするYahoo! Pipes
• 2008/07/09 SBM bookmark APIとpageinfoを@niftyクリップに対応
• 2008/07/07 @niftyクリップのAPIがあった
• 2008/05/13 URLを元にPOOKMARKのブックマーク一覧を取得できるAPI「POOKMARK Feed」に日付を含むようにした

直後の関連記事

• 2007/12/29 Yahoo! Pipesで作った翻訳APIをちょっと高速化(管理人日記)
• 2007/12/18 pageinfoに新機能をいろいろ追加(管理人日記)
• 2007/12/16 指定したURLのタイトルを取得するAPIをYahoo! Pipesで作った(管理人日記)
• 2007/12/15 pagetitle API from del.icio.usをスクレイピングで取得するようにした(管理人日記)
• 2007/12/14 SBM comments APIをSBM bookmarks APIベースにした(管理人日記)

直前の関連記事

• 2007/12/08 Yahoo! Pipesが好きなURL付けれるようになったっぽい(管理人日記)
• 2007/12/07 SBM bookmarks APIの時差問題を解消(管理人日記)
• 2007/10/10 指定したURLに関するソーシャルブックマークの登録内容をまとめて取得するAPIをYahoo! Pipesで作った(管理人日記)
• 2007/10/06 pageinfoでdel.icio.usのタイトルも取ってこれるように修正(管理人日記)
• 2007/10/01 指定したURLのページのタイトルをdel.icio.usから取得するAPIをYahoo! Pipesで作った(管理人日記)