【RSS】　　Yahoo! Pipes 2　　【XPath】

http://pipes.yahoo.com/pipes/pipes.popular

前スレ
http://toro.2ch.net/test/read.cgi/esite/1226394877/

ｚ

　　[Fetch Thread]
　　　　　　|
[Replace (>>1) with (乙)]
　　　　　　|
　　[Pipe Output]

Replaceでいいのか？ｗ

それはさておき>>1乙

前スレの最後らへんの人に向けて
Fetch Pageで取得した日付からpubDateを作成したいなら、2012月09月12日みたいな日付をRegexでDate Builderが
理解出来る形式(09/12/2012など)にしてLoopに入れたDate Builderに渡し、item.y:publishedとして保存するといいよ

Loop[Date Builder]はちょっと昔だと定番のやり方だけど、今はCreate RSSを使った方が便利
日付は日本時間に合わせておいたほうがいいね
形式はISO8601にあわせて2012-09-10T00:00:00+09:00みたいにしとく

すこし前になにかの仕様変更で日付と認識される形式がすこし変わった事があったような
それ以来読んでくれればなんでもいいってのじゃなく、ISOフォーマットにするようにしてる

生成されたフィードのソース見るとわかるけど、リンクが同じだとpubdateをいじってもguidが変わらず、更新されても反映されない事があるのよ
前スレに書いた、リンクにタイトルをくっつける方法は、それを避けるための苦肉の策

http://pipes.yahoo.com/pipes/pipe.info?_id=aaf2442ade64e6b377b9217868d9e38f
時間あったからfourspの作ってみた
ていうかpublishしてなくてもURL直指定すれば誰でも見れるんだよね？
あとユーザー名クリックでも他の自作pipeはpublishしてない限り見れないってことでいいんだよね？

>>9
見れたよー。
ユーザー名クリックしても、a has no Pipes って表示されて見れないよー。

馬鹿

http://seikatsusoken.jp/teiten/
↑のサイトをxpath fetch pageモジュールで切り出した時に、
下記で取得できるdd要素とdt要素を１組にするような方法はないでしょうか？
//div[@class="report_theme"]/dl

dl要素以下に１つずつ並んでいるdt要素とdd要素を
dt[0]
dd[0]
dt[1]
dd[1]
dt[2]
dd[2]

以下のようにdt要素とdd要素の組み合わせで１アイテムとして取得したいです。
item[0] dt[0] dd[0]
item[1] dt[1] dd[1]
item[2] dt[2] dd[2]

該当サイトの例で言えば、下記のようなアイテムとして抜き出したいのです。
2012年3月 「圏づくり」から幸せになろう。
2012年2月 「圏づくり」は、人や消費を活性化。
2012年1月 「圏づくり」へ

YQLでdtddをまとめるのを作ろうとしたら、
エラー999が出てなにもできなくなった
アクセス過多で一定時間蹴られた状態？普通にしてただけなのに・・・

>>12
http://seikatsusoken.jp/teiten/archives.html
こっちなら li でまとまっててやりやすいけど

>>13
ありがとうございます！
archivesページで取得することにします。

なんとなく作ってみたけど、これdtいらなくないか？日付はリンクに入ってるし
まあYQLexecuteのサンプルってことで
http://pipes.yahoo.com/pipes/pipe.info?_id=3f0a323eb457b5369e2b45f578d60041
これが使ってるYQLtable http://pastebin.com/yTYnnCPp
YQLexecute便利だしみんなもっと使おうぜ

ちなみにexecuteのなかでpipeを走らせることができる
y.pipe("pipeID", {input1: "hoge", input2: "fuga"}).results

>>15
なるほど、dtの内容はddのリンクに含まれる文字列を使えば良いんですね。
YQLも勉強になりました。ありがとうございました。

便利そうだが俺には難しそうだな

ツイッターがRSSやめるからこれか取得するサービスでもでてきてもらたいところ

え、ツイッターのRSS止まるの！？

一体どうすれば…

RSSはなくなるけどjsonはこれまでどうり使えるよ
そのままRSS登録してる人が困るのはわかるけど、
pipesスレの人が困る理由がわからない
pipesはそれをRSSにして吐き出すためのようなサービスじゃん

Pipesは頻繁に更新してくれないから、
ツイート頻度の高いアカウント相手だとRSS直に比べて取りもらしが増えることはありそう

で、twitterのjsonをRSSに変換するpipesを教えて。

yahoo pipes json to rss

優しい人がtwitterのユーザー名を入力すれば、jsonをRSSに変換してくれるPipesを作ってくれた。
ありがたい。

今必死で移行中だよこれ来年も使えたらいいね

なんでこのタイミングかと思ったら、昔のTwitter RSSが使えなくなったのか
URLにapiが入ってない twitter.com/statuses/user_timeline/____.rss こんなやつ
いまはこれ↓で取得するのが標準になってる
api.twitter.com/1/statuses/user_timeline.json?screen_name=____
jsonのとこをrssにしたらこれまでと同じ形式だけど、json以外のrss,xml,atomは来年3月廃止
公式RTを含めるのは include_rts=true を付けるといい

>>21
標準では最新20ツイートだけど、countクエリで最新200ツイートまではいけるからよっぽど中毒の人じゃなければ問題ないかと
他のクエリで頑張れば最高で3200ツイートまでいけるみたい
pipes通す時点で速報性はなくなるけども
https://dev.twitter.com/docs/api/1/get/statuses/user_timeline

Pipes通すと遅いわ。
twitter jsonをPuSHでRSSに変換してくれるWebサービス誰か作ってくれないかな。
広告フィードありで構わないから。

http://search.twitter.com/search.atom?q=%23hoge

こういう検索フィードはどうしたらいいのかな

>>24
アドレスをお願いします

人に頼るほど難しいものでもないような
pipesの基本的な機能だし

まあ簡単だしな
けどアドレス貼ってもいいのよ？

両者の絶妙な駆け引きが堪らない

http://pipes.yahoo.com/pipes/pipe.info?_id=f2ca070ee921fc1105ca1dda2f5e7393

これかな？

pipesでTwitterAPIを呼び出す人が増えると制限に引っ掛かって
取得できなくなることが増えるんじゃないの？
以前からのURLが使えなくなって以降しばらくスムーズだったような

>>33
6つしかcloneされていないっぽいけれど

設定欄があるpipeはcloneしないと値を設定できないと思ってる人が案外多いのか
clone数が増えやすいけど、publishされてないと検索しても引っかからないからな

なくなる可能性とかを考慮してんじゃないか？
全部自分の中でやりたいとか

サブパイプから出てきたフィールドの扱い方がよくわかりません。

基本的に
1. あらかじめUser inputsのあるパイプを作る(=サブパイプ)
2. Loopを置いて、その中にさっきのサブパイプを入れる
3. inputやassign先を指定する
だと思うんですが、

これだと例えばitem.pubDateに加工するサブパイプを作った場合、
3.でサブパイプに対してitem.pubDateをinputして、
出てきたものを再びitem.pubDateにassignしても、
item.pubDate.pubDateに入ってしまいます。

改めてitem.pubDateにRenameすればいいだけなんですが、
この一手間が必ず発生するのが仕様なのか、
それとも私が何か基本的な使い方を知らないだけなのか…

サブパイプ(というかパイプ)はテキストだけのOutputはできなくて、
かならず item にしないといけないわけ。
だからサブパイプの出力が item.sub : hoge であるなら、
それをメインパイプでループさせて item.main に assign すると
item.main.sub : hoge になる。まあ仕様だね。

>>39
ありがとうございます。
そういうものだ、ってことですね。

とりあえず自分の間違いでないことがわかったので、
これからは安心して作れます。ありがとうございました。

何気にdapperが復活していた。
htppsをスクレイピングするのに助かる。

なんかもう不安しかないんだけど。。。

Clone作って全く同じSourceなのに、どうして俺のCloneはエラーが出るんですか

わろた

1.３月にtwitterAPI1.0終了。
2.twitterRSS難民が退去して来襲。
3.サーバー負荷、遅延続出。
4.マリッサ・メイヤー、Yahoo! Pipesのサービス廃止を決定。
5.阿鼻叫喚。

Twitter RSSって、どんな時使ってんの?

フォローするまでもないorフォローしたくない
けど読みたい。そんな時に使う。鍵かかってなければだけど。

非公開のリストに登録しても同じ事出来るよね。
あえて、RSSで購読ってのは、慣れてるからとか感覚的なモノ?

Pipes通せば、フィルタも掛けるの楽か。

古いのを検索できるように、メーラーで過去ログ取りに使ってる。

あ、のちのちのために予め蓄積しておくってことね。

昔リストで読もうとして、何かがダメでRSSにしたんだよな
なんだったか忘れてたけど思い出した
フォローとかリストだとリプライが見えないんだ
リプライ相手もフォローしとかないと

1.ニュース、ブログ、twitter、Facebookページ、Google+、Podcast、Youtube、UST、ニコ動、tumbler、Flickr、Pinterest、500px、…フィードリーダーで一元管理できるのに、いちいちクライアントを切り替えるのが手間だから。
2.見てるだけ、つながりは不要。
3.Googleリーダーにぶちこめば過去記事の検索が可能。

>>47
俺は逆に読み逃したくないユーザー(リア友とか)だけフィード拾ってる

いろいろな利用方法があるわけですね、はい

1つ目のアイテムのtitleと2つ目のアイテムのtitleを結合して
1つのアイテムのtitleにまとめることって出来ない？

ううむ、

いままで、まぐまぐの最新号のみ公開の記事のRSSはdlvr.it経由でGoogleリーダーに登録していました。
今月からdlvr.itの無料アカウントが５フィードまで登録できなくなったので、Yahoo! Pipesに移行したいと思います。
まぐまぐIDを入力するとRSSフィードを生成する方法を教えて下さい。

>>57
こういうこと？
http://pipes.yahoo.com/pipes/pipe.info?_id=a3b155448907918d639be6097c0131be

そのうち消しちゃうので、もし参考になるならコピーして使ってちょ。

Yahoo!リアルタイム検索の「注目のキーワード」
ttp://search.yahoo.co.jp/realtime
をXPath Fetch Pageで取得しようとしているのですが、取得ができません。

//p[@class="que_2"]/a
や
//div[@class="itm"]/p[@class="que_2"]/a
などで試しているのですが、どのように指定すれば取得できますでしょうか？

>>59
不可能
Pipesからのアクセスは http://search.yahoo.co.jp/legacy/help.html にリダイレクトされる

>>60
上記リンクを含むページに飛ばされるの間違いだった

途中に挟むとUAを偽装するだけのサービスとかないかな

>>59
http://searchranking.yahoo.co.jp/rss/
「ただいま、検索数急上昇中！」のフィードで代用できねーかな

>>60
Pipesからのアクセスは出来ないようになっているから取得出来なかったんですね
ありがとうございました

>>62
探してみたんですがそれらしいのが見つからないんですよね

>>63
取得できるキーワードは違うようだけど旬なワードが手に入るみたいです
助かりました、ありがとうございました

PipesでTwitterの指定キーワードを含むツイート検索結果のRSSを取得しているのですが、
2013年3月のAPI規約変更以降は今まで認証が必要なかったツイート検索結果の取得もOAuth認証が必要となるのでしょうか？
PipesでTwitterのOAuth認証が可能なのかご存知の方お教えいただければ幸いです。

Translateがいつのまにか消えてるけど、もうpipes使って翻訳する事出来ないんだろうか

この方法で翻訳できたよ
http://discuss.pipes.yahoo.com/Message_Boards_for_Pipes/threadview?m=tm&bn=pip-DeveloperHelp&tid=121185748&mid=121185761&tof=36&rt=2&frt=2&off=1

XPATH Fetch PageでXpathを //div[contains(@class,"body")]/p とかで指定して、例えば item.description で吐き出すと
description
0
1
2
3
4
って分割されて出力される。
それを Loop にセットした String Builder で
item.description.0
item.description.1
item.description.2
item.description.3
item.description.4
と記述して
Loopの吐き出しを item.description にすると、一つの description になるんだけど、
String Builder に一発で、例えば item.description.* みたいに記述出来ないのかな？

そんな仕組みがあったのか

>>66
まさかこんな有益な回答がもらえるとは
超サンクス

クックパッドの話題のレシピ（ ttp://cookpad.com/recipe/hot ）のRSS取得方法分かりませんか？
ソース見ると料理部分をjsで表示してるみたいで取得できませんでした。

>>71
ttp://cookpad.com/recipe/update_hot_recipe
ただしリクエストヘッダに特定のものが入ってないと見れない
一応YQLで↓とやれば取得できるのを確認したけど、その後面倒になったから興味あれば続きどうぞ
y.rest('http://cookpad.com/recipe/update_hot_recipe').header("X-Requested-With","XMLHttpRequest").get().response;

YQLってそんなこともできるのか
すげえな

結局自分で>>72の続き書いてみた
http://pipes.yahoo.com/pipes/pipe.info?_id=58ed15323420e66fed867f4c7aed0ce7

>>74
71で質問した者です。凄いです！ありがとうございます！ここまで完全に作ってもらえるとは思いもしませんでした。
YQL使ったことがないのでどうなってるのか全然わかりませんがcloneさせて頂き自分なりに仕組みを勉強しようかと思います。

趣味でPipes触ってるんですがやっぱりYQLとかSQL覚えないとこの先キツそうですね。。

YQLとっつきにくいよう

いつの間にか、htppsもスクレイピングできるようになった。

なにその謎プロトコル

あと1ヶ月ぐらいだっけ？twitterのRSS配信終了

Pipes経由に移行したいけどたくさん登録してあるからいちいちめんどいわ

>>74
YQLドキュメントと格闘する事2時間、やっと大体分かったわ
store://がなんの事やら分からなかったけどMyYQLで作った自作tableか
これは何だか面白そうね

？

1.３月にtwitterAPI1.0終了。
2.twitterRSS難民が退去して来襲。
3.サーバー負荷、遅延続出。
4.マリッサ・メイヤー、Yahoo! Pipesのサービス廃止を決定。
5.阿鼻叫喚。

>>81
use "store://dXeXD216hAWocoqmWFAeGH" as cookpad; select * from cookpad
この部分の話ね
url「store://dXeXD216hAWocoqmWFAeGH」のユーザー定義tableをcookpadという名前で使いますという宣言文
select以下で具体的にデータを抜き出してる

>>82
その前にこのスレが阿鼻叫喚だろ

(((( ；ﾟДﾟ)))ﾋｨｰ

>>68
> XPATH Fetch PageでXpathを //div[contains(@class,"body")]/p とかで指定して、例えば item.description で吐き出すと

このitem.descriptionで吐き出すってどうやるんですか？
自分でやるとitemsでしか吐き出してくれない

twitterのRSSってそんな需要あるもんなんかな？

特定サイトのRSSとしては一番需要があるんじゃね？

>>85
xpath fetch page は loop に挿れてる？

>>88
ああ、なるほど
そういう使い方が・・・

ありがとうございました

これってRSSに変換できないの？

http://api.twitter.com/1/statuses/user_timeline.json?screen_name=[ユーザー名]

俺はついったーやってないから分からないけど、URLにjsonと書いてあるからにはjsonなんじゃないの
fetch dataにかけてみれば

pipes作りながらちょくちょく動作確認してると
badly formed responseエラーが出るんですけど、
これって、fetch対象のサーバーからアクセスしすぎという理由で
蹴られているんでしょうか？

あ、すみません
単にxpathでtext()を使ったのが原因だったみたいです

やってみたらfetch dataでjson展開出来るな。あとは使いやすいように各自加工すればよし。

ふむ

>>55
もう見てないかもだけど

http://pipes.yahoo.com/pipes/pipe.info?_id=201587a74530428103240d9a5eb25438
で作ったフィードを
http://pipes.yahoo.com/pipes/pipe.info?_id=c5dc335f8fe92d00203a0e13b9e3956d
で書き換えた。

我ながら誉められたレベルじゃないと思うが
まあこういう方法もあるよってことで一つ

あ、pipes歴数日なので
すごく珍妙なことやってると思います。
横からﾊﾞﾘﾊﾞﾘ駄目出ししてもらえると嬉しい

ダメ出しじゃないけど、こういう書き方はどうだろう
http://pipes.yahoo.com/pipes/pipe.info?_id=b554393679a927c395127811e4eb8885

あー・・・
その書き方の方が全然いいですね
勉強になります

htmlからfetchしてrssを作ってpubDateを付けるときに、
今はdate builderでtoday指定しているのですが、
元になるhtmlのレスポンスヘッダから
dateを取得する方法って無いでしょうか？
pipes単体では無理っぽいのでYQLでもなんでもいいのですが

あら名前が
これは失礼しました

YQLでこんなかんじ
select headers.Last-Modified from data.headers where url="http://www.example.com/"

ありがとうございます
これでtodayから解放されます！

RSSの全文化ってどうしてますか？
xpath→regexとかで整えて吐き出ししてるけど、pocketとかの本文取得サービスにlinkを渡して戻してもらう様なpipeを構築する事って出来ないのかな？

精度の違いはわからないけど、こういうの使ったらいいんじゃない？
ttp://fulltextrssfeed.com/

>>105
これとかfullrss.netとかは使ってるんだけど、本文取得はpocketが一番いいのよね。数ページにも対応してるし。
pipesのxpathはどうも適用できない構文がある感じだし、pocketのモバイライザみたいのが無いかなーって思ったんです。

pipes使わないで済むことなら使わない方が満足度高いと思うけどね
（更新遅いから

このスレで言うのも何だけどpipesは最後の手段よ
グリモンとかローカルscriptで何とかなるのならそっちが良い

>>106
どういう動きを想定してるんだろう

RSS取得
↓
未読文章をPOCKETに登録
↓
POCKETの個別ページから全文を取得
↓
元のRSSに差し込む
↓
出力

こんな感じ？すげえ重そうw

>>109
pocketは登録メアドからpocketサーバにリンクアドレスを送ればページの体裁を整えて登録pocketに返してくれる仕組み。
そのページを整える機構にpipesからリンクを送ってpipesに返してくれたらpipesでの処理はシンプルになって良いかなって思って。
fullrss.netは便利なんだけど、wedataのデータベースに寄る処理が行われるが反映が遅いし、失敗したxpathを登録しちゃうと他の人に迷惑かけてしまう場合も有る。

あ、そうなんだ
POCKETのAPI使ってOAuth認証して・・・って考えてるのかと思ったわ

記事をPOCKETに登録さえできればRSSに本文は出力されなくていいの？

>>111
RSS本文に埋め込みできるのがベストです。
pocketモバイライザ(?)からpipesにリターン出来たら色々と加工もできて楽しそう。

xpath fetch pageで取得したitemに画像が含まれているのでfeedに表示させたいんですがどうやったら出来ますか？

>>113
item.img.srcに画像のアドレスが入ってるとしたら
loopのなかにstring builder入れて
<img src="
item.img.src
">
をitem.descriptionに書き出す

>>115
出来ました！ありがとうございます！

間違えたｗ

>>114
出来ました！ありがとうございます！

今までキチンと動いてたのが幾つか文字化けしだした
なして(´・ω・｀)

>>117
俺もだわ
多分pipes側の不具合だから直るの待ちかな

文字化けおれだけじゃなかったかｗ

みんなそうなのか
XPATH Fetch PageでもYQLのhtmlみたいに文字コードが選択できればいいんだけど

Yahoo!JAPANのニュース記事本文がxpath fetch pageで取得できない
向こうから弾かれてるの？

ここのとこ暇な時間ずっとpipes作ってたのに、
文字化けのせいでやる気がしない

[ ってどうやったら消せるんでしょうか？色々試したのですが、自分では解決出来ないので教えてください。

yqlでrssの取得はできるんだけど、そのrssのリンク先からxpathで取得まで出来るのかな？
rss本文取得は fetchfeed → xparhfetchpage を使うけど、yqlなら一発なのかなって思ったんです。

答えてあげたいがyqlのドキュメントってすごくふんわりしてて、
大体わかるだろ？空気読んで使えな？って感じで
俺にはさっぱり理解できない
詳しい人が来るの待ってくれ

>>123
何が言いたいのかわからないので
つまってる所でpublishして公開して

>>126
http://pipes.yahoo.com/pipes/pipe.info?_id=c91b9f343d92fde020a38ef77ae7af27
これのdescriptionから[タイトル]とかを消したいんです。よろしくお願いします

>>127
regexの[の前に\(バックスラッシュ)を入れるんだよ。
正規表現の記号に[があるから\[って記述する必要があるんだろう。

>>125
わしもyqlは何か凄そうなのまでは理解できるんだけどｗ。
詳しい人待つか~

>>126
補足　regexに　\[.*?\]　で[タイトル]とかの[○○○○]はマッチできるよ。

連投すまん

すまん >>129 は >>127 への返信でした。

>>128>>129
出来ました！ありがとうございます

ちょっと文字化け調べてみたけど、文字コードがshift-jisで、レスポンスヘッダではなくmetaタグで文字コードを伝えている場合に起こるみたいだね
（余談だが厳密に言うとやってはいけない）

割と長いこと放置されてるし、こちらからyahooに働きかけないと直してくれないのかなあ

blogみたいな動的なサイトならほとんどヘッダで文字コードを吐いていると思うので
古き良き静的htmlファイルを読み込んだ時に起こるんじゃないかと思う

もう少し調べてみた
レスポンスヘッダで文字コード指定をせずに、
metaタグでやってる場合には
強制的にutf-8で解釈されるっぽい
だからeucjpやsjisだとアウト

あら、metaタグのみでshift-jisだけど文字化けしないサイト見つけてしまった
真面目に自分でサーバ立てて調べないと意味無さそう

それはいったんバイナリで読み込んでShift-JIS指定して変換とかしないと無理
YQLでテーブル自作すればいけるかもしれんけど

androidのGoogleカレントってRSSリーダにPipesで作ったRSSを流してる。
RSSをGoogleリーダ経由で登録のした時は読み込みして表示されるんだけど、
その後、一切更新されないんだよ。
同じRSSのGoogleリーダは更新されてる。

何か、RSSに必要な何かが足りないんだろうか？

カレントとPipesを連携してる人が居れば、ご意見お願いします。

誰か英語ができる偉い人。
Shiftjisの文字化けの件、Yahooに問い合わせてくれ。

すまん、エッチなサイトのRSSばっかり作ってるから問い合わせにくい＞＜

それはたぶんこの辺りの話じゃないの
http://discuss.pipes.yahoo.com/Message_Boards_for_Pipes/threadview?m=tm&bn=pip-DeveloperHelp&tid=3296&mid=3303&tof=-1&rt=2&frt=2&off=1

Googleカレンダーで外部iCal読み込む時も同じこと起こるんだよなぁ・・・

>>139
とりあえずそのRSSをkwsk!!!

>>142
広告読まないで済むように作ってるのに
公開して広まったら対策されちゃう＞＜

そんな影響力ねえからｗ

で、文字化けの解決方法はどうしたらいいの？
教えて偉い人。

上に晒したforumの奴は、どうも外部サイト経由して解決してるみたいだな
回答のpipeが動かないんで検証のしようがないけど

YQLでcharset指定すれば？
select * from html where url='http://example.com/' and charset='Shift_JIS' and xpath='//hoge'

pipesから吐き出されるRSSのchannel要素を指定できるpipesモジュールってあるん？

channelのdescriptionを右上のpropertiesで記述するくらいだし
ないんじゃないの？

YQLモジュールでできるよ。
RSSをXMLとして扱う。
select channel.title from xml where url="http://rss.news.yahoo.com/rss/topstories"

>>150
それでpipesがchannelを取得はできるんだろうけど、
pipesが吐き出すRSSのchannelを設定したいんです。
要はpipesから吐き出したRSSですって情報の変更や、
DateのGMTを0:00から+9:00に変更って事です。

>>146
以前はこのサイトを経由すれば解決したみたいだね
http://william.cswiz.org/tool/xmliconv/
しかし、アクセスしてみればわかるけど終了したみたい

yqlでRSSをからtitle,linkを取得。
loopモジュールにyqlを突っ込んでlinkからxpathで全文取得したい。
loopモジュールに突っ込んだyqlには何て記述すれば良いんでしょうか？

(´・ω・｀)ブタクサを死ぬほど植えてやろう

>>153
>>147こんな感じで、charsetが要らないなら抜いとけ

>>155

YQLでRSSからtitle,linkを取得→loopにYQLを突っ込んで取得したlinkからYQLでcharsetを指定してxpathで抜き出ししたいって事。
xpath fetch pageだと文字化けしてる場合にcharsetの指定ができないから文字化けしてる場合は
YQLを使えないかな？って意味です。

select * from html where url=item.link and xpath="//div[@class="blogbody"]"

てな感じでloopから取得されるitem.linkがしめすurlをYQLに指定させられないかな？って事です。

文字化けしないならxpath fetch pageで良いんです。

補足

[YQL RSS]→[loop[YQL item.linkからxpath]]→[pipeout]って流れです。

loop＋yqlの前段階でloop＋stringbuilderでクエリーをあらかじめ作成すればいいじゃない

>>158
YQLの〜 url=" " の部分には何て入れれば良いのでしょうか？
pipesモジュールから発行されたlinkをYQL内に記述出来る方法があればな〜。

158がそのものズバリの答えだろ

[loop(string builder)]をかませても各リンクurlがitem的に吐き出しされますよね。
その吐き出されたitem的な内容をYQL内に記述する必要があると思うのですが、
その記述が判らないのです。
url="http:// "の記述の部分にそのitem的ものを記述する必要があると思うんですが、
そこが違うのでしょうか？

要は取得したRSSのlinkからxpath fetch pageで全文取得するpipeを作成してるのですが、
xpath fetch page では文字が化けるので[loop(xpath fetch page)]の代替として
charsetの指定ができる[loop(YQL)]を採用しようと考えたのですが、[loop(YQL)]内のYQLの
記述の中でどうやってurl=""に当たる部分の記述をすれば良いのか？出来るのかな？
って事なんです。

>>158

>>160

すみません理解しました！string builderで記述一式を作成し、url=" "の部分だけitem.linkを設定しておけば良いのですね。


長々と申し訳ありません

結果をお知らせします。
[loop(string builder)]→[loop(YQL)]でYQLによるitem.linkからのxpathによる内容取得は可能ですが、YQLにはxpath fetch pageのemit items as stringのオプションが無いのでRSSの全文化には適しませんね。
文字化けはyahooの対応を待つことにします。

お前はちょっと頑張って検索するくらいしろや
html→htmlstring

164じゃないけど
htmlstringはcharsetが指定出来ないんだよ

>>165
確かにYQLの簡易解説のページのしたの方にhtmlstringありますね。
よっしゃって思ったんですが、 >>166 で(T-T)

質問です。
Yahoo!ニュース内の「スポーツ報知のスポーツカテ内のニュース」、
できれば「スポーツ報知のサッカー関連ニュース」だけをRSS出力させる事は可能ですか？
feed43を使って、「スポーツ報知のスポーツカテ内のニュース」のRSS化はできたのですが、
２ページ目以降は漏れる事が分かったので、可能ならば、Pipesにチャレンジしてみようかと思いまして。
技術的には、feed43がどうにか使えた程度です。

アドレスくらい書けよ・・・
というのが正直な気持ちです
俺らが検索して探すのかよ

それはともかくyahooの方見てきたけどちょっとサッカーであることを判定するの面倒臭そう
スポーツ報知本家のほうがサッカーでカテゴリー作ってるから楽じゃないかと思うけど
yahooニュースじゃないといけない理由あるの？

>>169
レスありがとうございます。詳しく書きます。
FeedlyでRSS管理しています。
Yahoo!ニュースでニュース提供社ごとのRSSはあるのですが、スポーツ報知はありません。
スポーツ報知に拘るなと言われればそれまでですが、「スポーツ報知」の検索結果 - Yahoo!ニュース
http://news.search.yahoo.co.jp/search?p=%E3%82%B9%E3%83%9D%E3%83%BC%E3%83%84%E5%A0%B1%E7%9F%A5&vaop=a&to=2&st=&c_=c_spo
を、
http://feed43.com/
でRSS出力はできたのですが、Feedlyで選択した時点の１ページ目しか無理のようです。
Yahoo!ニュースがいいのは、コメントも見たいからです。
ですから、Yahoo!ニュースに行って読むので、全文配信でなくてもいいです。
RSS配信していない他のニュース提供社にも流用できるでしょうし。
スポーツ報知のサッカー関連ニュースであることは、検索では絞り込めませんでした。
個別記事のアドレスの末尾が-sph-soccであることくらいでしょうか。
可能だとしても、feed43とはレベルが違うならあきらめます。

あ、末尾で分かるのか、それは気づかなかったわ
言い訳だがこの辺は自分の読みたいRSSのために必死になってる人しか分からんな

それなら多分できそうに思う　ちょっと待ってて

>>170
http://pipes.yahoo.com/pipes/pipe.edit?_id=a762921ee5e9c59161a346e1e19ab92c
はい。
全部やったらかえって不親切かもしれないからスタート部分だけね
後は自力でやってください

一応作りはしたけど、yahoo pipesは更新が遅く、
feedly(が使っているgoogle reader)は使用しているユーザー数が少ないフィードは
あまり頻繁に更新を確認しないという二重苦があるので
速報性が求められるニュースにはあまり向いていない、というのが実情だったりする

>>172-173
二重苦、ニュースにはあまり向いていない、ですか。
ソース見させていただきましたが、まったく理解できません。知識ゼロからやるには、あまりメリットないんですかね。
せっかく書いていただいたので、いろいろと調べながらいじってみようと思います。諦めるかもしれませんが。
わざわざありがとうございました。

使わなかったからって機嫌損ねたりしないのでそこは心配しなくていいです
自分の目的に一番合致したツールを見つけて、使いこなしてください

pipesでhtmlを解析してrssを作りたい場合はXPathの知識が実質必要になると思います
XPathは、ファイルパスに似せたノードなどを特定するための表記法です
ファイルパスに似ているだけあって身構えなければそれほど難しくはないはずですが、
これができないとあまり凝ったことはできないので、
自分の手には余ると思ったら他のツールを使ったほうがいいかもしれません

例えば１日１回、朝にRSSを確認するような利用スタイルだったとして、
最悪１日くらいは見るのが遅れてもいいけど
自分が指定した情報全てに目を通したい・・・という利用法だと
yahoo pipesはお勧めです

更新時間にこだわらないのであれば、Dapperで自作してみれば…。

1ページの表示件数をURLで変更できたら楽なのにな

fetch feed
http://rss.dailynews.yahoo.co.jp/fc/sports/rss.xml
↓
fetch page
<!--SOURCE--> から <!--SOURCE-->
item.descriptionで吐き出す。
↓
filter で [permit] items 〜[any] of following
item.description [contains] スポーツ報知
↓
pipe output

でどうよ？

fetch page の範囲をもうちょい広げてもいい。

fetch pageは非推奨になってるから YQL と xpath fetch page が良いと思ったんだが、うまく動かんな。

>>179
すまん fetch page は loop に突っ込んでね。

>>179
元のitemが8個しかないから厳しそう

みなさん、いろいろとアドバイスありがとうございます。
ぼちぼち理解できてきたのですが、>>172さんの、Extract using Xpathで-sph-soccまでズバッと指定するのは難しかったので、
Xpath Fetch Page : http://news.search.yahoo.co.jp/search?p=%E3%82%B9%E3%83%9D%E3%83%BC%E3%83%84%E5%A0%B1%E7%9F%A5&vaop=a&to=2&st=&c_=c_spo
Extract using Xpath : //div[@class="l cf"]/h2/a
↓
Rename : item.href Rename link, item.content Rename title
↓
Filter : Permit item.link Contains -socc
↓
Pipe Output
でサッカー記事だけ抜き出せました。
で、また質問で申し訳ないですが、大前提の「２ページ目以降は漏れる事を防ぐ」には、２ページ目以降も指定して、重複削除という方法でしょうか。
まさに>>172ですね。

二つ目の>>172は、>>178でした。

>>182
2ページ以降の検索urlには末尾に11とか21とかつくから、そのurlに対しても同じ処理をすれば良いんじゃない？
チカラ技になるけど。

>>182
172でXpath Fetch Pageが二つあるのはそれをやっているからですよ

今見直してみたけど、この　スポーツ報知　で検索かける方法あまりいけてないかも
ちょっとまってて

末尾のsphはスポーツ報知を示してるのね

http://pipes.yahoo.com/pipes/pipe.edit?_id=99e9e44a67d30237aa45d443d10030f9
はい。
一度自力で完成させているということなので、今回は最後までやって見ました。

>>172は自分が原因のミスがあって、ヒットする記事数が少なくなっていました。
すみません。
それを修正してあります。

後は分かりやすいように、Xpathとfilter operatorの二段階で目的のノードを探しています。

pubDateには手を付けてないので、改造したいのならここをやってみるといいかもしれません

>>184
すばやい解答ありがとうございます。うたた寝してました、すいません。
>>185-188
String Builderの所が難しいなと思い、二つ指定してある理由を考えてませんでした。
thumbnail出力やら、Create RSSモジュールやら、また新しいのが出てきましたw
また参考にさせていただきます。ありがとうございました。

thumbnailは簡単な法則でもう少し大きな画像を用意できるので
http://amd.c.yimg.jp/im_siggihfJCqJjueFplJvIzKX8lg---x60-y60-q90/amd/20130225-00000206-sph-000-1-thumb.jpg
↓
http://amd.c.yimg.jp/amd/20130225-00000206-sph-000-1-thumb.jpg

この変換を正規表現で行って、media.contentに指定したり、
item.descriptionの中に混ぜてやると良いです
（ややこしくなりすぎると参考にするのに向かないので>>188には組み込んでいません）
feedlyは画像があるかないかで見やすさがだいぶ変わってくるので余裕があったらがんばってみてください

前からなんだけどRSSのValid判定が厳しすぎる。
一文字目にスペースが入ってたり、一行目が空行だったりすると
すぐRSSじゃないよってエラーだして取得してくれない。

そんなこと今まで経験したことないわーって思ってたけど
今日ちょうど起きたわｗ

今まで
select * from oauth where uri='https://api.twitter.com/1/statuses/home_timeline.xml〜
みたいな感じでtwitterのタイムラインをxmlで抽出してたんだが、
API 1.1になってから.jsonしか受け付けなくなったのでもうだめぽ。
ってpipesに直接関係ないな

文字化けが一向に直らないし、
文字コードを指定できるXPath Fetch Pageを作ったので置いておきますね。
Emit items as stringには対応してませんが…

http://pipes.yahoo.com/pipes/pipe.info?_id=d2987515b0e0aa1527fbc8fecb1d51c0

cloneしてご利用ください。

ここまで長引くとは思ってなかったな＞文字化け
もうYQLのコマンドを指が覚えてしまった

YQLのhtmlstringを、charset指定できるよう改造してみた
http://pipes.yahoo.com/pipes/pipe.info?_id=37e2b047bf0d5ba4153fd0b717aeec1d

>>196
あーすごい
自分では使わないと思いますけどいろいろ勉強になりました

ttp://tv2ch.com/jlab-10s/s/10s1057148.jpg

外部のサービスを使わずに、YQLだけでcharset指定できるhtmlstringを定義することはできるんだろうか。
>>196 はどうやってるんだろう…

ソース見ればわかるじゃん

よう判らんけど、直接YQLモジュールにクエリを入れてるのと同じじゃないの？
YQLモジュールにcharsetを指定したhtmlstringの取得が不可なら、 >>196 でも
不可じゃないのか？

use "store://vmfZbKuU2I4M8nEUv3FOhl" ってのは何かの外部サービスなんかな？
ならYQLモジュールにそう記述すれば良いんでないの？

useとyql.storageについて調べりゃわかるよ

>>202
スマン。
意味は理解できるが、正直しんどいので実質無理。

それ意味を理解出来てないんじゃん

　　　　　Ｏ
　　　　　　o　　　　　　　　　　　　　　　　　　　 　 　 と
　　　　　　　。 ,. -ー冖'⌒'ー-、 　　　　　　　　　 　思
　　　　　　　,ノ　　　　　　　　 ＼ 　　　　　　　　　　 う
　　　　　 　/　,r‐へへく⌒'¬、　 ヽ 　　　　　　　　 キ
　　　　　　 {ノ へ.._、 ,,／~`　　〉 　｝　　　　,r=-、　 モ
　　　　 　／プ￣`y'¨Y´￣ヽ―}j=く　　　　/,ミ=/ 　オ
　　　　ノ　/レ'>-〈＿ュ`ー‐'　　リ,イ} 　　　〃　/　 タ
　　　/　_勺 イ;；∵r;==、、∴'∵;　シ　 　 〃　/ 　 で
　　,/　└' ノ ＼ 　 こ¨｀　　　 ノ{ー--、〃__/ 　　　あ
　 人＿_/ー┬ 个-、＿_,,..　‐'´ 〃`ァーァー＼　　っ
. /　　　|／　|::::::|、　　　　　　　〃　/:::::/　　　 ヽ　 た
/　　　｜ 　 |::::::|＼、_________／' 　 /:::::/〃

ちょっと悔しがりすぎだろｗ

　　　　　Ｏ
　　　　　　o　　　　　　　　　　　　　　　　　　　 　 　 と
　　　　　　　。 ,. -ー冖'⌒'ー-、 　　　　　　　　　 　思
　　　　　　　,ノ　　　　　　　　 ＼ 　　　　　　　　　　 う
　　　　　 　/　,r‐へへく⌒'¬、　 ヽ 　　　　　　　　 キ
　　　　　　 {ノ へ.._、 ,,／~`　　〉 　｝　　　　,r=-、　 モ
　　　　 　／プ￣`y'¨Y´￣ヽ―}j=く　　　　/,ミ=/ 　オ
　　　　ノ　/レ'>-〈＿ュ`ー‐'　　リ,イ} 　　　〃　/　 タ
　　　/　_勺 イ;；∵r;==、、∴'∵;　シ　 　 〃　/ 　 で
　　,/　└' ノ ＼ 　 こ¨｀　　　 ノ{ー--、〃__/ 　　　あ
　 人＿_/ー┬ 个-、＿_,,..　‐'´ 〃`ァーァー＼　　っ
. /　　　|／　|::::::|、　　　　　　　〃　/:::::/　　　 ヽ　 た
/　　　｜ 　 |::::::|＼、_________／' 　 /:::::/〃

http://blog-imgs-51.fc2.com/m/o/e/moeimg/xywqk59qss7ey6g.jpg

これ気になります？

Googleリーダーが終わるみたいなのですが代替なにかありますか？

GoogleリーダーはもともとPipesとは相性悪いからな
使ってなかった人も多いんじゃない？

スマホで捗るためにはほぼgoogle reader一択だったので

http://blog.feedly.com/2013/03/14/google-reader/
FeedlyがApp Engine上で動くGoogle Reader API互換のクローンを作るらしい

API完全互換なら楽で良いな、script使って未読数取得とかしてたから
auth回りを変えれば良いだけとかなったらいいな

Google Reader 代替にFeedly が名乗り。他社アプリのAPIアクセス受け入れも表明 - Engadget Japanese
http://japanese.engadget.com/2013/03/13/google-reader-feedly-api/

もう文字化け直す気無さそうだなw

文字コード決め打ちするのって頭いいとは言い難いけど
もう全部yqlに置き換えるわ

偉い人、これを参考にして、Twitter API1.1のJSONからRSSフィードに変換するWebサービスを作って。

How to Get RSS Feeds for Twitter Searches, Lists and Timelines
http://www.labnol.org/internet/twitter-rss-feeds/27931/

TwitterAPIを叩く方法を知らんけど、OAuth認証とかじゃなければ変換だけならPipesで出来るでしょたぶん
Fetch DataでJson読めるんだから

>>218

だからさぁ

Twitter has completely switched from XML to JSON format and the other big change is that all requests to the Twitter API must now be authenticated with OAuth.

OAuth認証か、じゃあYQLでopen data table自作だな、たぶん出来る
Twitterなんか使ってないから俺はしないけど

>>220

うわあ
俺様はできるよ。でもやってやらないよ。
だったら引っ込んでろよ。

方向性は示しただろ、誰かが何とかしてくれるのを口開けて待ってるだけか
まあ心配すんな、Twitterユーザーは世界中にいるんだからご要望の品を外人が作るさ

>>219
これぐらい指摘できる奴は作れるんじゃないか？

まあdlvr.itあたりがサービス始めるのを待つよ。

例えばttp://..../aaa.cgi?page=1からpage=5までをまとめるにはどう記述するのが一般的ですか？
数字の部分だけを1から5までループさせて
ソースを取得したりするような機能とかありますか？

そういう単純なループは出来ないんだよね、forループみたいな機能はないから
1から5までURL作ってloop moduleで回すしかない

取り敢えず力技でXPath Fetch Pageを五つ作ってUnionでまとめましたが、
Loopのほうが優れている点があれば
アドバイスください。

速度的には変わらんのじゃないかな、単純に手間とメンテナンスの問題
unionとloopのpipeをそれぞれ作って実行速度を比較してみればいいんじゃね

>>225
まとめるって何をまとめるん？
そのlinkからxpath fetch pageで何を取得するのかな？

v1.1とりあえず作ってみた
http://pipes.yahoo.com/pipes/pipe.info?_id=c59c81345c4f83766f474b43655d218e

1.1使うならどうしても自分用アプリ登録は必要

後学の為にtable側のcodeが見たい

せっかくどっかの誰かが作ってくれたのに、あんだけ騒いでたアホは反応なしかよ

分かってはいたけどAPI KEY必須かあ

twitterを恨むしかない

>>225
横にダラダラ並べたくない場合はこう書くのが一般的じゃないかと思う
http://pipes.yahoo.com/pipes/pipe.edit?_id=62f1cdb75eeff1a447d3b11d956bbd5b

横に並べるよりはマシとはいえ、hoge=1 hoge=2 hoge=3・・・と打っていくのは
相当頭悪い行為だし、
yqlを使って、開始番号と終了番号とURLの形渡してやったら
これと同じitemsを返してくれるpipesを書くのが一番いい気がする

>>71の方がやってることで３つ質問があるのですが

・ttp://cookpad.com/recipe/hotの語尾をupdate_hot_recipeとしたこと
・y.rest(' 〜 とは
・yqlでのuse "store://dXeXD216hAWocoqmWFAeGH" as cookpad;の部分がxmlではなく「store://〜」よくわからない文字なのはなぜか

上記３点がまったくわからないのですが
どなたか教えていただけないでしょうか

1．知らん
2．http://developer.yahoo.com/yql/guide/yql-javascript-objects.html#yql-execute-yrestobject
3．store://dXeXD216hAWocoqmWFAeGHで表される自作tableを、cookpadの名前でselect文で使いますよと言う宣言文

バグってる？

>>237
返事が遅くなってごめんなさい
回答ありがとうございました

メタラーってメタル信者ってイメージがあるんだよね
オレは音楽として好きなだけで信者じゃないって言いたかった

ここにいる人はとっくに知ってるかもしれないけど、こんなのあったのか
ttp://rssc.dokoda.jp/
dapperなんかいらんかったんや！

ここにいる人はとっくに知ってるかもしれないけど、こんなのあったのか
ttp://www.twitter-rss.com/

FC2ブログのRSSをYahooPipesで読み込もうとすると
エラー起きて読み込めなくないですか？
うちだけの環境なのかな・・・

いくつかFC2のやってみたけど問題ない

すいません、どなたかお助けください
http://******.blog.fc2.com/?xml
や
http://blog.livedoor.jp/*****/index.rdf
をFirefoxで開くと
http://my.yahoo.co.jp/p/1.html?mymsg=・・・
のページに飛ばされるようになってしまいました
（他のブラウザでは飛ばされません）
Firefoxでhttp://******.blog.fc2.com/?xml
のリンクをクリックすると
http://******.blog.fc2.com/?xmlを表示する設定へ
戻したいのですが、方法をご教示くださいませ

設定-アプリケーション-フィード？

Windowsなら　ツール　＞　オプション　＞　プログラム　＞　Ｗｅｂフィード

Ｍａｃなら　FireFox ＞　環境設定　＞　プログラム　＞　Ｗｅｂフィード

ぐぐるりーだーがアレなんで久しぶりに弄ったら、エディタ画面でfeedのitemが何件あろうと吐き出しは100件なんだね
昔からこんな仕様だったっけか

2.0に変わった時からかな

100件って多いようで少ないな、似たようなfeedをまとめると100件なんかすぐ超える

やっと規制とけたわ

>>243
fc2のRSSは短期間に何度もリクエストすると
一定時間アクセス拒否されるっぽい
（アクセス拒否と言ったけど、エラーメッセージまで確認してないので実際にどういう処置なのかは分からない）

これは普通に使ってる分には問題ないが、
fc2のRSSをフェッチするyahoo pipesを組み立ててるとあっという間に制限に達する

なので、fc2のオレオレRSSを作りたい場合は
・pipesが完成するまでは、RSSを別のサーバーにアップロードして、それを読み込むようにする
・RSSをフェッチするのをやめて、ブログのhtmlからpipesを作る
のどちらかでやるのがいい

Twitterの件で騒いでるやつがいるかと思ったら静かだな
みんな既に1.1対応pipesに移行してたか

Google Reader最終日

>>253
一応OPMLダウンロードしておいたけど、
feedlyからワンボタンで移行させたるわってメールが来てたわ

あ、googleに実名で登録してる人は
OPMLファイルにファーストネーム載っちゃってるから注意な

Dapperってサービス終わったの？？

Pipesで作ったRSS、Feedlyだとサムネ表示が上手く出来なくて
めっさ困る
GoogleReaderの時はちゃんと表示されてたのに…

>>256
表示される画像とされない画像があるよね
サイズが小さいと表示されない気がしてる

Feedlyはタイムスタンプ機能があるようで、これまでPipesやdlvr.itを通していたフィードが直接登録できて、こりゃ便利だわ。

質問なんですが
Uniqueの逆で重複したものだけ残すってできますか？

昨日から自分で作ったpipesのほとんどで999エラーが出るようになってしまいました。

Sorry, Unable to process request at this time -- error 999.

一時的なものかと思ったのですが、今のところ改善されていません。

原因や対処法などがわかる方はいらっしゃいますか？

今の状態ですが、確認した範囲では9割くらいのpipesがエラーになってしまいます。
infoとrunのページが999エラーになります。
作ったpipesの一覧は表示されます。editや一覧からのclone作成はできます。

昨日一斉にエラーで止まってしまったようです。

Why am I getting "999 Errors" from pipes.yahoo.com?
A 999 error implies you are over utilizing our service.
Please try throttling back the number of requests made to the Pipes site and within a few hours you should no longer be blocked.
The Pipes team puts these measures in place to protect the overall experience for its users.

What are the usage limits for Pipes?
200 runs (of a given Pipe) in 10 minutes
200 runs (of any Pipe) from an IP in 10 minutes
If you exceed the 200 runs in a 10 minute block, your Pipe will be 999'ed for a hour.
We currently are not raising rate limits. This may change in the future.

>>261
ありがとうございます。
アクセス制限の条件が厳しくなったのでしょうか...。
とりあえず、もう少し様子を見て、元に戻らなかったら、pipesを分散させてみます。
かなりの量があるので、気が遠くなりそうですが...。

999でまくり、もうやだ……

>>263

あ、仲間がいた。よかった〜☆

>>260-264
俺だけじゃなかったのかｗ

いやほんとにちょろっと動かしたらすぐ規制入る

全文表示RSSとかああいうアクセスが大量に発生するpipeじゃないの、俺の所は何ともない

一つのミニブログの最新記事だけを読みに行くだけだよ。さいきん使い始めたからタイムリーに999がでて泣ける。ツイッターでも愚痴ってるやつがちらほらいるな

http://t-proj.org/twitter/?q=yahoo+pipes+999
ほんとだ

有料でもいいから(金額にもよるけど)無制限にして欲しい。でも、英語わからん。

別アカにコピーしてみた。
ブラウザでは表示されるけど、twitterfeedに流すと999エラーが出る。多分、dlvrも同じだと思う。

コード書くのがめんどいから使ってたのに、ただでさえpipesはクセがあってやっと慣れてきたのに。色々めんどいなあ

アクセス数に関係なく、twitterfeed、dlvritからのアクセスは全部999ではじいてるっぽい。

多分時間あたりの実行回数は、ipアドレスごとに見てるんだろう
こういうやり方だとネットワークRSSリーダーや他のマッシュアップサービスが
あっという間に上限に達するから、
そいつらはホワイトリストで普段は弾いてる
（あるいは別の条件で判定してる）
けど、そのホワイトリストに何か異常があったとかじゃないかな

999で色々死亡。。。

はやく復活してください

http://japan.cnet.com/news/service/35034071/?ref=rss
こういうの見ると金玉ﾋｭﾝてなる
GR騒動はなんとかやり過ごしたけどpipes無くなったら死んじゃう

999の規制が解けないな
串経由なら使えたからIPアドレスで焼かれてるんだろうな

ところで、文字化けの問題って結局直ったの？
まだ放置？

不思議と類似サービスってでてこないよね。有料でも需要あると思うんだけど。git使えたらなあ

なおった？

今のところ正常っぽい？

なおって無い。。

なかった……

せめて一日一回でいいから使わせて欲しいわw

数日前からhttp999エラー出るんですけどもしかして個人的な問題ではないの・・・？

ネットからでは無理っぽいし、ローカルで行儀よく使うしかないのかな

サービス終了レベルで使えない。

2009年のエントリだけど原因はたぶん同じだろう
http://zawakei.blog23.fc2.com/blog-entry-243.html

>>289
今回は世界的に騒ぎになってるから
これとはまた別件だと思うよ

http://twitter.com/AtomiConsult/status/357929404556509185
イライラしてyahooの公式アカウントに凸ってる外人さん

>>291
それへのYahooからの返事がすがすがしいまでのテンプレ返事でワロタ

dlvritに流していたpipesが一瞬だけ復活してました。ずっと999だったのが、一度だけpostに成功してて、その後、また999...。
完全にブロックされてるのかと思ったけど、いちおう解除されることはあるようです。でも、解除されてもアクセス数が多いから、一瞬のうちに制限に引っ掛かり、滅多に自分のところには回ってこない。それで止まっているように見えたようです。

>>291
外人さんなのに、かちかち山...

>>291
激おこ

自分が一番使ってるpipeの場合だと、1つのpipeをパラメーター変えて40個登録して
それぞれ15分に1回のペースで取得してるけど、それでも999は出た事ない。
自分のIPで取得してるから？999出る人は別サービス経由？
それとももっとヘビーな使い方してるの？

エラーの内容なんかどうでもいいけどfeedlyがクロールしてくれない

Google Readerと一緒で、みんなで使う系のやつは登録者が多いの優先で取得するから
自分だけしか見てないようなフィードは一日一回とかになるんじゃないの

2-3日前からpipesのクロールが完全に止まってる

>>298
そんな気がする。パブリックのやつは999でてない。

パブリックにすれば出なくなるの？

あきらめて、phpでコード書いてます。php、ほぼ初心者なのに...。
現状回復まで半年くらいかかりそう。
pipesに依存し過ぎてるという不安はあったので、いつかはphpで書こうとは思っていたんだけど、サーバーの設定とかセキュリティとか、どうすればいいのか、全然わからないんだよね。
phpに移行したらしたで、また落とし穴がありそう。

すっごい不便・・・
PHPとか分からんし

９９９のせいでパブリックできません＞＜＞＜

串（死語）を刺そう

pipesの代わりのことしようと思えばどうすればいいんだ
php勉強すればいいのか？

サーバーサイド言語なら何でもいいんじゃね

いままで
Google news
Pipes
dlvr.it
だったのを
Google news
Pipes
feedburner
dlvr.it
間にfeedburnerを通したら投稿できだした

>>302
パースさえできればあとはどうにでもなりそう。問題は常時起動するためにレンタルサーバーを使う必要があること。設定もめんどくさそうだし。家のパソコン付けっ放しにも限界あるしなあ。

>>309
今ならpc使わなくても、使わなくなったスマホとかでもいい気がする

本当だ、間にfeedburner挟んだらfeedlyでも読めた

<?php
$rssurl = ($_GET['rssurl']);

//RSS取得
$dom = new DOMDocument('1.0', 'UTF-8');
$dom->preserveWhiteSpace = false;
$dom->formatOutput = true;
$dom->load($rssurl);

$content = $dom->saveXML();
header("Content-Type: text/xml; charset=utf-8");
echo $content;

?>

>>312

rssのurlを指定して、それをそのまま吐き出すphpプログラムを作ってみました。というか、パクってきました。ここまで、約10時間...。

これをrss.phpとか適当なファイル名で保存して、phpが使えるサーバーにアップロードします。

サーバーのアドレス/rss.php?rssurl=元のrssのurl(urlエンコードが必要)

urlエンコードはここを使いました。
http://home.kendomo.net/board/decode/decode.php
デコードではなくエンコードするにチェックを入れ、文字コードはUTF-8に。

ロリポップでは999が返ってきましたが、マイナーなサーバーでは使えました。人知れずこっそり使えば、なんとかなるかな？

>>313
はじめから整形されてるなら必要なくない？

>>314

自分でも何か方向性が間違ってるような気がしないでもないのは確かなんだけど...。
これでpipesの999エラー回避ができないかな、と思って。

>>311
やってみたけど途中でエラー吐くようになったわorz

>>316

みんな一斉にfeedburner挟むようになって、feedburnerもアクセス制限にひっかかるようになった感じでしょうか？

>>317
勘違いでしたわ。普通に通った。これからburner姉さん使わせてもらう

さっそく文字コードでつまづいてる...。
linkにUTF-8以外のurlエンコードされた文字が入ってると、dlvritでpostした時に、正常なリンクにならない。
php、簡単そうで、難しい...。

スレチなんでそろそろやめとき(´・ω・｀)

文字コードで躓くとか遙か昔の俺を見てるようで微笑ましい、まあム板でもマ板でも好きな所行ってやりな

もう、スレチ！？
ごめん、いちおう999回避の話だから、ここまではOKだと思ったのに。
自分ではわきまえているつもりだったけど、狭いですね。失礼しました！

KYほど捨て台詞を吐くなー

文字コードで詰まってる話し始めたらそりゃスレチもいいとこだわw狭いとか広いとか以前の問題。やんわり諭されたのに何をキレてんだか

https://twitter.com/twf_support/status/358136582697521153
twitterで見つけた情報、自分で見つけたわけではないのでちょっとアレなんだけど
yahooによるとあと数日で直すらしいよ

あ、勝手に数日とかいったけどそんなこと書いてないな
ただyahooは問題を認識していて、修正するつもりではあるらしい

おお直してくれるのはあいがたい

burnerかましてたけどpipes様がへそをお曲げになられたぞ

>>328
確かに土曜日ぐらいからまったく更新されなくなった。

pipes様が息をしていらっしゃらないのでfullrss.netに切り替える。登録メンドクセ

例えばマクドナルドのハンバーガーについて話すスレがあったとする
でもマクドナルドのハンバーガーがまずくなったから自分たちで作ろうという話題になる
そこで>>322がパンの原料になる小麦の育て方はどうするのがいいかという話題に長々と8レスを費やす
お前らはこれでも出てけと言うのか？思ってたより狭いな

まともな頭なら「ハンバーガーを自作するスレ」にでも行くだろ
しつこいな君は

fullrss.net (旧:まるごとRSS) というサービスのお行儀が悪い
http://blog.fkoji.com/2013/07210449.html

>>333
これはよくないな。てかアフィ違反でもあるな

全文化のスクリプトがあれば
自分とこでやるんだけどなあ

あるし組めるけど皆pipesが好きなんだよ

少なくとも文字コードで躓いて狭いとかほざくやつは使わないでほしい

ちょっとスレチだけど、全文化って異常だよな。
全文配信してくれりゃ良いだけの話で、googleカレントとかで米のコンテンツの充実ぶりを見ると、日本の事情は泣けてくる。

全文配信によって、ユーザーのもとに必要のない記事まで届けられる→サーバーコストの増大
読ませることができる広告が減る

というわけで、サイト側からすれば
全文化なんて百害あって一利なし
そもそもRSS使うようなユーザーはリテラシーが高く
広告なんか絶対に踏まないから
サイト側からみていい客ではないからな

RSSはあくまでお知らせだからね。ってかpipesほんと全滅だわ。feedburner挟んでたfeedlyのやつ全部配信止まってる。もうスクリプト組んで巡回させるわ

エラー出なくなったみたい。
ずっと拙いphpプログラムに置き換える作業をしていました。半分くらい置き換えたところなんだけど、このままphpに移行するか、pipesに戻るか、とても悩むところです。

ところでKY呼ばわりされたり、「ほざくやつ」とか言われてるけど、そんなに迷惑掛けましたか？

>>341
参考までにどうやってるのかソース欲しい。

みんなからクレクレして貰ってスカッとしたいんだろうけどいい加減しつけーよ

あれだけ警告しても改めないんだからあらしだよねもう

>>342
また、KYとか言っていじめられるから勘弁して下さい。(過去スレを参考に)
phpに詳しい、"まともな頭"の人がきっと「pipesをphpに置き換えるスレ」を立ててくれると思いますよ♪

>>343
全然そんな気ないですね。ご自身がそういうタイプの人間だからそういう発想が出るのかな？

>>344
全スレ読んで、スレチ、あらし狩りでもすれば？

プログラミング覚え立ての頃は意味もなく誇らしいんだよな
要望を見るとscriptを必死で作って、「簡単に作っただけだから出来が悪いけど」なんていいつつスレに晒したりして
よく考えると初心者の作った奴なんか出来が悪いし無駄な処理多いんだけど

>>320 >>321
善意の発言

>>322
このスレの許容量狭いな、と感じたけど、それをスルーできない自分の心も狭かった。

ということでいいかな？

これ以上やると本当に荒れちゃいそうだから。

Pipesの代わりになるwebサービスって無いのかね？
こんな時のために簡単に避難できると良いんだがな

あるよ
PHP書けよカス（笑）

>>348
ここに晒すとアクセス集中して使えなくなるから晒さない
TwitterRSSの悲劇を繰り返すわけにはいかないからね

レスが増えてるとpipesが鳴いたから見に来て見たら案の定、アホが荒らしててワロタw

在日が逆ギレしてるのか

とりあえずfeedlyでppesがクロールされるようになったな
あとプログラマーなんてこのスレでは珍しくもないだろたぶん
PHPが使えるようになって少しばかり誇らしげだけど

使えてなさそうだけどな。あんなクソコード晒せる神経は中学生までだわ

で、最近ちゃんと動いてる？

pipes→burner→dlvr4つあるんだけど1個ちゃんと動かなくなった
pipesを直接見に行くとViewResultsもRSSもちゃんと見れるんだけどburnerのRSSは更新されてない
これってburnerがpipesに999かなんか出されちゃってるのかな？

>>356
バーナー拒否だろ

初心者です。教えてください。
Feedlyクラウドを使用しています。

例えば下記のpodcastのフィードですが
http://www.daiwatv.jp/videopodcast/headline.xml

linkが同一でもtitleもしくはpubdateが更新されれば新着記事として認識されていたのですが、7/25より仕様が変更になったようで、linkが同一の場合、新着記事として認識されなくなりました。
このような場合、pipesでどのように対応したら良いでしょうか？

link + title+ pubdateのフィールドを作って
それをguidに指定する

「Creat RSS」を使って、Guidのところにitem.pubdateを指定すればいいのでしょうか？

>>360
実用上はそれで問題ないけど
pubdateが被る可能性を考えたらlinkやtitleも入れておいたほうがいいんじゃないの
ttp://pipes.yahoo.com/pipes/pipe.info?_id=f36a3748a6a249625cd594105f13a945

cloneいただきました。ありがとうございます。

UA変更させろ
スマホ専用サイトをRSSにさせろ

スマホでPipes作成させろ

pipeにへそ曲げられた・・・

dlvrまでへそ曲げてるし・・・

もう最近はPerlでRSSつくるようにした

そんなスキル無い！

もっと簡易なYahooPipesとRSSReaderが一体となったサービスやってほしいわ
手軽にFeedにフィルター設定できたり2つのFeedを1つにしたり出来る
RSSReaderならそこそこ人気も出そうだと思う

俺も諦めてラズベリーパイで巡回させてる。電気代もやすくて楽だわ

２つのサービスを一体にする必要性はなんなのか

>>371
誰かに使わせること考えると便利

そんなにお手軽にフィルターかけられるようになって
いいことは無い

>>369
はてなアンテナでいいじゃん

そんな重い猫だったのか…

<div class="pipesTitle"> 内の aタグが一括処理されるようになり、複数リンクを設定できなくなっちゃった…

先ほど見たら修正されたらしく元の仕様に戻ってました
良かった！

http://tr.twipple.jp/gazoumatome/neko.html
これどうすればフィード化できますか？

新しいのが1ページ目に来てるわけじゃないのね

>>378
全ページに毎回アクセスするような鬼畜な方法しか思いつかんな

http://album.twipple.jp/theme/%E7%8C%AB
これはRSS公開してるけどこれじゃダメなの？

>>380
こういう場合の取得の仕方も学びたいってのもあるんですよね。。

最近こういう口答えとか負け惜しみするゆとり多いな

>>381
こういう場合も何も、向こうが時間軸で並べてくれてない以上、
相手の迷惑顧みず毎回全ページfetchするか、
時間軸で並べてくれてるところ探すかの二択しかないと思うけど。

どういうプランを描いてたのか、逆にこっちが聞きたいわ

>>382が本人かはわからんけどfeedに画像付けたいな
文字だけならほぼ意味がないし

文字化け現象直った？

うちずっとTumblr見てるけど特に問題ないな

pipesのRSSがdlvrさんでHTTP 400いっぱい出るようになってしもた

>>387
もうdlvrに頼ったシステムは卒業しようぜ。

単純にRSSを全文化しただけなんだけど
画像が多いと最後の方の画像が取得できない。

11枚画像があったら10枚目まで表示される感じ。
テキストはその後も取得できてるんだけど、
なんか画像取得制限でもあるんですかね

pipesが画像を取得する？？

フィードのURLのエンコードする方法が知りたいです。
教えてくれたら裸うpします。

性別と年齢が書いてないぞ
やり直し

年齢認証が入るサイトからのRSSはどうやって取るんですか？

>>58　
うらやまし〜。ボッキした！
新婚一ヶ月で他の男とハメするって
いけない奥さんですね。
知り合った経緯、容姿など教えて下さい。

久しぶりに更新されたかと思ったらこれかよw

>>394
どこの誤爆だよｗ

　∩　.∩
　.い_cノ　　／￣＞Ｏ
.c/･ ･っ　(ニニﾆ)△△
.（"●" )　.(･ω･`)[‖]　　ここも悪い子ばかりだな
Ｏ┳Ｏﾉ)=[￣てﾉ￣￣]　　　　　　ルドルフ！次行こう！
◎┻し◎　◎――◎=3
／ﾗｼﾞｬｰ＼

検索してみたらこのスレに。>>68 ってやっぱり出来ないんですかね。

XPath Fetch Page で //div[@class="main"] して取ってきたのをRegexしたいんだけど 17500オーバーで駄目。

それで //div[@class="main"]/p でパラグラフ毎に分割して取ってきたら今度は Regex は出来るが
description 以下に 0, 1, 2, ... と分割して格納されてしまう。
（10以上に分割されてて且つ上限は不定なので LoopでString builderも出来ない）

どうにもなりませんか……？

>>398
そういうのはYQLで
http://pipes.yahoo.com/pipes/pipe.info?_id=56e9808d63b33aefaa715fa90cfec63b
http://pastebin.com/N8apn4k6

>>399
おー、これです！　YQLで出来るんですね。
サンプルもわざわざありがとうございます。多謝。


YQLはさっぱりですが……；；

store://〜 以下の文字列が何かのテーブル（？）に対応してるのかな。
ttp://www.datatables.org/　← このサイトには無いですよね。

どこで探せばいいのか教えてくれませんか？

>>401
YahooにログインしてるとYQLの自分のスペースに自作テーブルを保存できる。
そのテーブルの中身が二番目のURLで、store:// はそれを呼び出してる。

>>402
ありがとうございます。正月にゆっくり勉強します。

とりあえず >>399 さんのをcloneしてテーブルを自分のYQLに保存して実行までは出来た。
チュートリアルを見つつYQLコンソールを弄り中。先は長いな……

urlの日付からpubDateを作りたいのですが

http://www.hogehoge.co.jp/news/local/20140107/news20140107427.html

regexで/(\d{8})/　\1で日付を抽出

20140107を取り出したあとpubDateにどう変換すればいいのでしょうか教えてください。

>>405
01/07/2014 みたいな形式で抽出して Date Formatter に突っ込む。
Format: は %a, %d %b ... でチマチマ指定するか %K で大まかに指定するか。TimezoneはUTC, JSTお好きなように。

後はモジュールのヘルプを見れば分かるのでは。

>>406
ありがとうございます。
無事できました。

リンクの数字からpubDate作成

http://www.hogehoge.co.jp/news/local/20140107/news20140107427.html

Regex
in: item.pubDate
replace: .*/(\d{4})(\d{2})(\d{2})/.*
with: $3 $2 $1

Loop
For each: item.pubDate

Loop　-　Date Formatter
Format: %K
Timezone: JST
assign results to: item.pubDate

>>408
日付のフォーマットは月２桁/日２桁/西暦４桁の方がいいようです。

Regex
in: item.pubDate
replace: .*/(\d{4})(\d{2})(\d{2})/.*
with: $2/$3/$1

Loop
For each: item.pubDate

Loop　-　Date Formatter
Format: %K
Timezone: JST
assign results to: item.pubDate

ここの%Kは出力のフォーマットなんですね
気づくのに時間かかりました。

http://real.pipes.yahoo.com/pipes/
これでも繋がるんだな

xpath fetch pageで取得した複数要素をまとめる方法を教えてください。

例えば、//div/imgで複数の画像を取得してitem.descriptionにassign allした場合、item.descriptionの下に子要素として分割されてしまいますが、これを一つのdescriptionアイテムにしたいです。下の例でいうと、img1とimg2をひとくくりで取得したいです。

div1
div2a
img1
div2a
div2b
img2
div2b
div2c
text
div2c
div1

xpathで取得する時点で、最上位のdiv1を指定して一つの要素として取得するしかないでしょうか？

>>411
item.description.hogeにassignすればいい話のように見えるけども。
string状態で1itemにしたいってことならYQLじゃないと無理っぽい。

>>412
YQLの select * from htmlstring を使ってstring状態で1itemにできました。
ありがとうございました。

タイトルだけあって本文の無い記事をブロックしたいんだけど
フィルターの設定どうすればいいかな

>>414
おいらはitem.descriptionをMatches regexで.+のみAllowしてる。
もっと良い方法があったら知りたい。

質問させてください

RSSフィードのlink urlを抽出してそのページを入力ソースにしたいのですが、
Fetch FeedからSub-elementでitem.linkを取ってXPath Fetch Pageに繋げようとしても
パイプが繋がってくれません

URL Builderも同様にBaseにはitem.linkを選択したSub-elementのアウトプットからは
インプットできません

どうすれば良いでしょうか？

>>416
Sub-elementで取り出したい理由がわかりませんが、もし元のRSSフィードのitem.linkをソースにしたいだけなら、Fetch Feed -> Loop(XPath Fetch Page) -> Pipe Outputでいけますよ。

>>417
ご回答ありがとうございます！
色々調べてはいるのですが、どうにもわからなくて質問させていただいてます、すみません

LoopにXPath Fetch Pageを入れるんですね！ちゃんとitem.linkが出てきました！

本当にありがとうございます、すごく助かりました

>>417
たびたびの質問すみません

Fetch Feed -> Loop{ XPath Fetch Page(item.link) }.emit all results
までは繋げられたのですが、それで吐き出されている（と思われる）ページから
必要な情報のみを抽出して新しいRSSフィードを作りたいのです

http://jutememo.blogspot.jp/2012/06/yahoo-pipes-xpath-fetch-page-rss.html
などを参考にして作ろうとしているのですが、

Loop内に設置したXPath Fetch PageのExtract using XPathに
Chromeのデベロッパーツールの機能を使って該当ページ(item.link)の該当箇所から取得したXPathを
入れてもうまく動作してくれません

何かやり方が間違っているのでしょうか？

>>419に補足ですが、具体的には
//*[@id="contents"]/table/tbody/tr[2]/td[1]/ul/li[1]/text()[1]
というXPathが出てきましたのでそちらをExtract using XPathに入力しました

http://jutememo.blogspot.jp/2012/07/yahoo-pipes-xpath-text-content.html
を見ると、text()が使えないということでしたので、このサイトの説明通り
Sub-elementのitem.contentを使おうとしたのですがそもそもSub-elementに
item.contentが選択肢として出てこないのです

何度もすみません…Sub-elementのitem.contentは手入力でいけました
しかしSub-elementからOutputに繋げてDebuggerを見てみても内容が一切ありません

また訂正があるので連続書き込みすみません、ちょっと控えます

>>421の状態でDebuggerが動作しました
しかし内容は大元のソースとなるFetch Feedがそのまま出てきてしまっています

Fetch Feedのitem.linkのページの内容からRSSを構成したいのです
これではそのまま繋げたのと同じです

連続書き込みに関しては本当に申し訳ありません

どなたかアドバイスいただけたら嬉しいです
よろしくお願いいたします

そこまで具体的な話なら、実際のURLがわからないと
アドバイスも難しいんじゃないか

>>423
レスありがとうございます！
気になる物件情報の詳細ページから必要な箇所のみ抜き出そうとしているのです

RSS Feedは
http://suumo.jp/jj/chintai/ichiran/FR301FC001/?shkr1=03&cb=0.0&shkr3=03&shkr2=03&mt=9999999&sc=13113&ar=030&bs=040&shkr4=03&ct=9999999&cn=9999999&ta=13&mb=0&fw2=&et=9999999&rssFlg=1

で、このRSSの各item.linkが物件詳細ページとなっています
たとえば
https://suumo.jp/chintai/tokyo/sc_shibuya/bc_100009628160/
などです

そしてこの詳細ページの必要な情報の一つ目、↑のページでいえば「京王新線/幡ヶ谷」のXPathが
//*[@id="contents"]/table/tbody/tr[2]/td[1]/ul/li[1]/text()[1]
なのです

>>424
http://pipes.yahoo.com/pipes/pipe.info?_id=26cdd3f9e8124e1e00b11c55dca63de8
テーブルは抜き出すの面倒だから、そのまま残すってのはどうか

>>425
おおお！こういうことだったんですね！
ありがとうございます！仕組みもわかりました！

tableからは文字情報を抜き出さなければいけないんですが、
ここからは自力でやってみます、本当にありがとうございます！

Refleshがfailedになるんだが…
SaveもOops. System error: badly formed responseが出てできない

item.descriptionで得られた文字列と、他から取ってきたitem.descriptionで得られた文字列を連結したい場合、
どのモジュールが使えるのでしょうか？
Unionだとうまくいかず、String Builderにはパイプがつながりません

Loopにいれろ

>>429
ありがとうございます、試してみます

>>429
LoopにString Builderを入れてemit resultsしたのですが、
結局LoopからのパイプはString Builderに繋げられないので
同じことになってしまいます

すみませんがもう少し詳しく教えていただけないでしょうか？

すまん。条件読み違えてたわ。
YQLならできそうだけど、、、
役に立てなくてごめん。

>>428
例えば、それぞれのitem.descriptionを、Renameモジュールを使ってRenameなりCopy Asなりでitem.description_aとかitem.description_bとかに割り当てて、後続Loop内のString Builderで連結するっていうのじゃダメですか？

>>433
String BuilderにRenameが繋がらないのでダメですね…

>>434
えーと、例えば、Fetch FeedとかのSources系モジュールで取得したitem.descriptionがあったとして、それをまず、RenameなりCopyなりで別の要素にした上で、その後にLoopの中のString Builderで連結するという意味です。

Fetch Feed -> Rename -> Loop(String Builder)

Renameを繋げるのはLoopですね。Loopの中のString Builderで、先にitem_description_a等に変換しておいた要素を並べて、改めてitem.descriptionにassignするということです。

それとも、やりたいことは複数のソースから取得したitem.descriptionを連結したいってことなんですかね？

レスありがとうございます

> それとも、やりたいことは複数のソースから取得したitem.descriptionを連結したいってことなんですかね？

まさにこれがやりたいことです
何か方法はあるでしょうか？

>>436
Pipeを入れ子にするやり方があります。考え方としては下記が参考になります。
http://stackoverflow.com/questions/338912/yahoo-pipes-any-way-to-combine-items

ただし、上記で示されているArendさんのPipeは使われているモジュールとかが古くて動作しないので、改修版のサンプルを作ってみました。出力としては不完全ですが、複数のソースを一つの出力にまとめる部分までは再現できていると思います。
http://pipes.yahoo.com/pipes/pipe.edit?_id=d0416bba32ff379d32a6fb9d2a146dc6

ただ、無理にPipesだけでやろうとするよりは、>>432さんもおっしゃっているように、YQLで取得することを考えた方がはやい場合も多いです。

>>437
大変参考になりました。ありがとうございます
こんなに複雑にせざるを得ないとは…ｗ

もしうまくいかなかったらYQLの勉強をしてみます

>>438
stackoverflowのサンプルに最低限の改造を施しただけなので、ちょっとゴチャゴチャしています。
複数ソースを結合する部分だけでいえば、
(1)各ソースの出力用Pipeを個別に作成する
(2)数列から空のフィードを作って(1)の個別出力Pipesを割り当てる
という流れになります。

なお、>>437のPipeはそのうち消してしまうので、もし必要であればCloneしてください。

https://amaten.jp/exhibitions/indexのrssを生成しようと思ってるんだけどpipesで取得エラーが出るから
Yahoo!PipesでFetch FeedできないURLをPipesで取得する方法
http://vwxyz.hateblo.jp/entry/20080319/1205908631

上の方法で出来るかなと思ったけどopen.dapper.netが不安定で駄目みたいだし困ってる

作ったpipesが勝手に消されてる事ってある？

>>441
確実なことは言えないけど
100程度作って一年以上放置してるのもあるけど消えたことは無いんじゃないかなぁ

Pipeを間違えて覚えてて辿りつけないとかじゃないよな？

>>442
何か分からんが復活してた
こんな事初めてだ

Pipesで吐いた新着RSS(Loop + Xpath Fetch Page利用)を、IFTTTでツイートとデバッグ用にメールさせてるんだが
更新されてもツイートもメールもされなくなった
ちなみにRSSリーダーには新着が届いてる

毎回エラーになるものが一つあるけど、多分だけどそれは関係無いっぽい↓

This Pipe ran successfully but encountered some problems:

warning Error fetching http://xxx : Results may be truncated because the run exceeded the allowed max response timeout of 30000ms.


こういう問題なのかな？↓
http://jarp.does.notwork.org/diary/201312a.html#20131210

でもPipesのURL末尾に単純に&_render=rss?rss%F-%Hみたいな感じにしてもIFTTがfeed urlと認識してくれなくてよくわからない


曖昧な質問ですが、何かヒントいただけたら助かります

申し訳ないです、
http://jarp.does.notwork.org/diary/201312a.html#20131210
をちゃんと読んでみたら?rss%F-%HはPipes内部でitem.linkにつけるとかいう話だったのね

しかしそれでは私のPipesには使えない（item.linkはパラメータを足すとエラーになるサイト）

困った

hash(#)でやったら？

>>446
ありがとうございます、試してみます

Xpath fetch pageって何個も繋げたらその都度引っ張りに行って遅くなるの？

>>448
試したみたけどどうも遅くなるっぽい

YQLを勉強するしかなさそうだけど、YQLのスレが無いのでもし良かったら誰か教えて


あるページから

1. xpathで指定した箇所の文字列
2. 指定したファイル名と一致するurl

を同時に取り出したいときはどういう構文にすれば良いの？


1.に関しては

select * from html
　where url="http://....." and xpath="//*[@id='.....']"

という感じで取れることはコンソールでチェックしてわかったんだけど、
2.も一緒に取り出す方法がわからない

>>446
いけました！ありがとうございます

hashの方がサーバ側に情報がいかないし、アクセス解析でなんだこれって思われないからいいよ
というか記事を区別してるのはGUIDだから、それをURL以外のユニークもの(例えばタイトルとか)にするってのもいいと思うけど

GUID基礎すぎるせいなのか、どこの解説も触れないんだよな最近知ったわ

>>451
最後にRSS Feed化するのにLoopの中にRSS Item Builderを入れているのですが、
そこのGUIDに任意の値（それこそ日時など）を入れておけばハッシュをつける必要が無いということでしょうか？

YQLモジュールについてわからないところがあるので教えてください

select * from html where url="○○" xpath="//*[@class='hoge0']" or url="○○" xpath="//*[@class='hoge1']"

という構文を作りコンソールで確認したところ、

<results>
<p class="hoge0">テキスト</p>
<p class="hoge1"><img src="image.jpg" /></p>
</results>

とちゃんと両方取れていました

ですがpipesのデバッガ上で出力結果を見てみると、
hoge0の中身は空になっておりましたが、hoge1の方はimg -> srcという階層構造で取得されていました

これはもしかして<p class="hoge0">の中にhtmlタグが無いと内容を取れないというYQLモジュールの仕様なのでしょうか？

解決策をどなたかご教示ください。よろしくお願いします

>>454ですが、失礼しました。xpathの仕様だったのですね
http://jutememo.blogspot.jp/2012/07/yahoo-pipes-xpath-text-content.html

しかしこのSub-elementを使う方法では、一つのYQLモジュールで2種類の情報を取得するという私のやりたいことができません
http://i.imgur.com/eGPzDZo.png

どうすればよいでしょうか？

>>455
htmlstringじゃダメですか？

RSSを元にitem.linkから情報引っ張ってきてRSS作ってるんだけど、重複しまくって配信される
uniqueは最後にかましてるんだけど・・・

>>457
item.linkのURLがwww有りとwww無しで2つ配信されてるところとかあるよね。
ttp://web-tan.forum.impressrd.jp/e/2012/02/13/12027

配信側の問題だとすると、item.titleとかでuniqueにするとかぐらいしか方法なさそうな気がする。

>>458
ありがとう。原因究明できたら報告します

XPath Fetch Pageなどではrobots.txtではじかれるようなサイトでも、YQLのdata.headersを使うことでheaderとcontentを取得することができるようです。
select content from data.headers where url=
このひとかたまりで取得できたページ全体のcontentから、タグやxpathなどで特定の要素を抽出して、個別のitemに分解するにはどうすればよいでしょうか？

test

最近人いないのかここ

・google readerが終った
・yahooがいろいろなサービス中止していて将来的にはpipesも危なそう
・去年pipesが不具合を起こしたまま長時間放置された

の三連発で一気に過疎った

やっぱ危なそうって思うよね…

kimonoがいい感じ。
ttps://www.kimonolabs.com

やはりハードルが高い
画像まとめサイトやDanbooru系サイトのRSS利用して
画像だけ流れてくるフィードのお気に入り画像だけにスター付けて
スター付けた画像をローカルやネットストレージに保存しておきたい！
とかはあるんだけど、それは可能ってだけで実現は出来てない

最近はHuginnに移行しようと頑張ってる
自由度は高いけど、まだ慣れないし理解できてない部分も多い

(´･ω･`) Yahoo! Will be right back... Thank you for your patience. Our engineers are working quickly to resolve the issue.

ううむ

>>467
huginn日本語だと解説してるサイト全然無いね。
使ってる動画とか見るとイイ感じなんだけど敷居高そう。

知らなかった

Googleの画像検索で一週間以内とか期間を指定した検索結果をRSSに送ること出来ませんか？
下の二つで「tbs」「qdr:」と書かれてる箇所を移植したり素人なりにいろいろ試してみたけどダメだった

http://pipes.yahoo.com/pipes/pipe.info?_id=af4f432b197c2bf9218c98e1b25d81db
http://pipes.yahoo.com/pipes/pipe.info?_id=1d68daf09e921b25e2d335c0e1a1e4e5

えっちな人か

正攻法でいったほうがいいんじゃないか
ttp://ryutamaki.hatenablog.com/entry/2014/01/18/171640
https://developers.google.com/custom-search/json-api/v1/reference/cse/list?hl=ja

なるほど

>>474
Jsonで取得とかになると難しくて素人の手には負えないです＞＜

>>476
>>474の手順通りにやればできるよ。がんばれ！
「検索を行いJSONを取得する」のURLをFetch Dataモジュールにいれて、RenameモジュールなりRss Item BuilderモジュールなりでRSSフォーマットにしてやるだけだよ。

>>477 ありがとう
ちょっとやってみます

今までGoogleアカウントでログインしてたんだけど
Sorry, there was an error.
Please sign in again with the same account or a different one.
と出て急に出来なくなった
対処法無いですかね

>>479
Flickr、FacebookおよびGoogleアカウントでのログインを6月30日で終了 - ITmedia ニュース
http://www.itmedia.co.jp/news/articles/1406/09/news042.html

警告出てたと思うが

http://gigazine.net/news/20140306-yahoo-stop-user-access-facebook-google/

なるほど

マジか
あぁ…orz

つんだ？

RSSリーダーとかに登録してるのを辿って
新垢でCloneすれば多少はサルベージ出来るんじゃね

とりあえず今回は生き残ったか

アカウント移行みたいなの出来るっぽいけどこんなん出てアカウント作れない
Sorry, we encountered an unexpected error. Please try again.

あっちが予期していないのならこっちだって予期できないな

pipesはん、くっそ重い

楽天ランキングを常に1位から順に表示させたいんだけど
ランキングが更新される度に順がばらばらになる
rssの仕様上仕方無いんだろうけどなんか良い方法ないだろうか？

その楽天ランキングとやらを俺たちが検索して見つけないといけないの？

申し訳ありません。
下記URLになります。宜しくお願いします。

http://ranking.rakuten.co.jp/rss/daily/gender=male/

どういう仕様のリーダーに読ませてるかによるけど、
item.guidを更新のたびに変わるように(現在日時+順位とか)しておけば良いような気がする。

一度受信した商品は次回更新時にランクが変わっても受信対象にならない
でも次回更新時のランクで受信したいってことだよね？

次回更新時に初回受信情報を全クリアすれば可能と思うけどやり方はわからんw

492じゃないけど作ってみた
item.y:id.value書き換えないとfeedのguid変わらないのは俺のやり方が悪いからなのか？
こうした方がいいとかあったら教えて欲しい
http://pipes.yahoo.com/pipes/pipe.info?_id=e7b65741a14c71ab742fe8e65bbd4e6d

>>495
item.yはYahoo!Pipes自体が使用する要素で、item.y:id.valueを指定すると、Pipesが実行時に自動的にその値をフィードのguidにコピーしてくれるんだったはず。
だからitem.y:id.valueだけ指定すればOKかと。

item.yにguidとかpubDateとかが上書きされて悩んだことあるわ

say moveの新着動画のpipesが正常に動作していないのですが。。
仕様が変わったとかですか？

http://pipes.yahoo.com/xulapp/saymove で動いていたのですが。。もし違うものがあれば教えて下さい

>>498
xpathを書き換えれば動くよ。
" and xpath="/html/body/div[@id='main_contents']/table/tr/td[@class='mov_info_right_gen']/p[1]"
を↓に変更。
" and xpath="/html/body/div[@id='main_contents']/div[@class='wrap_comesearch']/table/tr/td[@class='mov_info_right_gen']/p[1]"

div[@id='main_contents']の下に直接tableがあるのではなくて、div[@class='wrap_comesearch']の下にあるので、読み込めなくなっているのでしょう。

シンプルにするなら、最後のp[1]該当要素だけを直接指定してあげてもOKです。
" and xpath="//p[@class='movtitle']"

>>499
。。無知すぎてさっぱりです。。
もしよろしければ修正版を作っていただけるとありがたいのですが。。

>>500
簡単だから、これを機に作ってみたら？
>>498 のパイプをコピーして、 >>499 の部分を修正するだけです。
米国YahooのIDがなくても、GoogleかFacebookのアカウントがあれば作れるから。

簡単な手順を書いてみたけど、エラーになって書き込めない。

書き込めるかな？全角英字は半角に読み替えてね。
1. >>498 のパイプを開いて「Ｖiew Ｓource」を押せばログイン画面になるので、「Ｓign in with Ｆacebook or Ｇoogle」からログイン
(ＧoogleかＦacebookにログインして、Ａccept)
2. もしログインした後に自動でエディタが開かずpipesのトップに戻ってしまったら、 再度 >>498 のパイプを開いて「Ｖiew Ｓource」を押す
今度はエディタが開くので、上から5番目の、左上に「Ｌoop」と書かれている箱の、その内側に「Ｓtring Ｂuilder」って書かれているところを見つける
その中の3番目の文字列を書き換える (>> 499)
3. 画面の右上にある「Ｓave a copy」を押せば、自分のパイプとして使えるから、後は今まで通りに使えばOK.

>>502
文字列を見つけるところまで入ったのですが、499の内容にコピペして内容が変わってることを確認してから
save as copyして、再度ソースを見ると変更前の文字列になっています

直接打ち込まないとダメなのでしょうか？

>>503
もしかして修正した後に、>>498 (ttp://pipes.yahoo.com/xulapp/saymove )を開いているんじゃないでしょうか？

「Save a copy」で >>498 のパイプを複製したら、新しい「自分の」パイプができているので、My Pipes ( ttp://pipes.yahoo.com/pipes/person.info ) の一覧に出てくるようになると思います。
My Pipes の一覧から選んで、ソースを見たら変更が反映されていると思います。

Save a copy: 既存のパイプを新しいパイプとして複製 (名前を付けて保存)
Save: 上書き (自分のパイプしか保存できない。人のパイプを変更したい時は Save a copy して自分のところにコピーしてから修正)

500、503です
皆様のアドバイスで無事動作するようになりました。ありがとうございました
ただ、saymove→新着動画→すべてのカテゴリだけ微妙にアドレスが違うのでうまく動作しませんでした
（他のカテゴリすべて動作するのでいらないといえばいらないのですが。。）

ふむ

Yahoo Pipesと直接関係ないんですが
いつものようにYahoo Pipesを使おうと思って
https://pipes.yahoo.com/pipes/からサインインしようとしたら
急に起こったことでびっくりしてはっきりと覚えていないんですが
たぶんIDとパスワードを入力する画面をすっとばして

（ここはあやふやでいつもはFirefoxのアドオンのSecure Loginという
ボタンを押しただけでサインインできるのを使ってるので
ひょっとしたら無意識でボタンを押してサインインしてるかもしれません）

全く知らない別のアカウントにサインインした状態で
yahoo.comのメール画面に飛ばされたんですが
同じような経験した人いますかね
今日だけで２回同じ現象が起こってかなり怖いです

(((( ；ﾟДﾟ)))

publishしてないパイプって巡回してくれないけど
こいつのRSSフィードを、例えば外部リーダーから定期的に読みに行かせたら
そのたんびに更新してくれる？それとも前回runした時のまま？

>>509
publishしてるかどうかは、検索に引っかかるかどうかだけじゃないの？
自分用に作ったパイプはpublishしてないけど、RSSフィードは更新されてるよ。

あれじゃあ何かカン違いの解説見たかな
自分でも確認した、ありがとう

全文配信フィードのcontent:encodeを削除する方法ない？
17500字以上だかで長すぎるとregexがエラー吐くんだよね
別に加工とかじゃなくて丸ごと切り捨てたいんだけど

ふむ

>>512
regexでなくrenameでcontent:encodeに何かを上書きしてやればいい

なるほど

おおナイス
かしこい

めっちゃパフォーマンス良くなってるわありがとう

わざわざCreate RSSなんてコマンド用意するなら、
要らんモン消す機能でもつけといてくれたらいいのにね

>>517
Create RSSでも消せない？
残したい要素だけ割り当てたら他の要素消えなかったっけ？もちろんRenameでも良いけど。

Yahoo!ニュース取得できなくなってないか？
Response: Bad Request (400)なんて初めて出た。

気軽に聞かせて
あのHTMLにXPathかけるのをオフラインでもやりたいんだが
(ダウソ済のhtmlファイルに何度でも試行かけてオンラインに反映)
何使ったらできる？コマンドラインOK ちょっと何か書くくらいOK
とりあえずMSXMLでは、参照と評価できる部分があるとそこでとまっちゃうみたいだ

rubyとか、pythonとかweb系に強いスクリプト言語ならどれでもxpath使えるライブラリがあるよ。rubyならnokogiriってやつ。
もちろんperlでもok。

javascriptの方が良いか。何かインストールしなくても最初から使えるから。

FirefoxかChromeでXPathを掛けたいページを開いて、
開発ツールのコンソールから$x関数を呼び出すのがおすすめ

https://developer.chrome.com/devtools/docs/console
https://developer.chrome.com/devtools/docs/commandline-api#xpath

ふむ

まずおまいらありがとう

>>523
へぇそんな便利なものが…と思ったら、SafariWinにもありました

> $x('/html/body/script');

これ通った！まずそっからやってみます

>>521-522
他のパーサならひっかからずにすっといくってことかな
XMLはちゃんと勉強できてないから、、 これ気に留めておきます

これは便利だ。

あけましておめでとう

Pipes等を使って、数値参照を普通の文字に戻すことってできますか？

Facebookのフィードは↓こういう感じでタイトルが数値参照化されているんですが、そのままだと読めない環境があるのでどうにかしたいです。
http://www.facebook.com/feeds/page.php?id=250294998403591&format=atom10

http://www.durarara.com/news/
このページの画像のURLが超長いせいで情報取得できないみたいなんだが
回避手段無いかな？

ﾜﾛﾀ
chrome一瞬フリーズしたぞｗ

529だが今見たら直ってたわ
フリーズしかけた人は変なもん踏ませてすまんかった

どうあがいてもループモジュールに他のモジュール入れられなくて詰んでる…

>>532
左の一覧？からドラッグして直接ループに重ねるんだ

バグで重なってくれないことが時々ある
保存して閉じて開き直すと重なる

>>533
で、できたー！(感動)
ありがとう！

>>534
むしろ「重ねたLoopに入らず、別のLoopに入ってしまう(既存を置き換えてしまう)」不具合はどうにかならんのかと思う。

ドロップする前にLoop周辺でマウス動かしてたら
ちょっとはずれたとこでLoopにフォーカスあたらない？
そこでドロップしたらちゃんと入る

あるある

だがそれでも別のとこに入ることがあって何このトラップってなる

publishしようとすると、下記の文と送信ボタンのみが出てきてpublishできない…なんですかこれ…

Pipes requires CAPTCHA to publish this Pipe.
Enter the code below to publicly list it on pipes.yahoo.com.

肝心の文字が出てこないってこと？

>>540
そうです。言葉足らずで申し訳ない
今のところは個人で使うだけだから出来なくても支障はないんですけど気になって

ふむ

Pipesだけで、fetch feedで得られた任意のタイミングで結果を反映させることはできますか？
例えば、元のフィードに記述されたpubDateの時間の10時間後に自動的にPipesのrssへ反映させるといったような…

×fetch feedで得られた任意のタイミングで結果を反映
○fetch feedで得られた結果を任意のタイミングで反映

>>543
Pipesのクローリングのタイミングを制御することはできないと思うけど、PubDateを変更するんじゃダメなの？

>>543
>>495のやつみたいにtoday追加して
Filterで特定の時間だけ出力させる事なら出来そう
流速の速いfeedだと抜けが出ちゃうだろうけど

>>545-546
あー！
書き換えたpubDateとtodayが一致したときに反映を許可すればいい感じになりそうですね！
助言ありがとうございます！

良スレ

モジュール内の一覧(RegexとかStringBuilderの)の上下入れ替えられたら便利なのになあ

あれどういう順番なんだろうね