【RSS】　Yahoo! Pipes　【スクレイピング】

http://pipes.yahoo.com/pipes/pipes.popular

この糞スレッドは終了しました！

文字化けをなんとかしろ

読売が全文取れなくなってる
Fetchがうまくいってない？

<a href=だと拾わないみたい

朝日が文字化けしなくなったな。

画像が見れないのが増えたな
なぜだ

http://d.hatena.ne.jp/dacs/searchdiary?word=*[Pipes]

相対パスの画像が表示されないって、ずっと前からですか？

>>9
たぶん先週の月曜か火曜頃に相対パスへの挙動がかわったと思う

レスありがとうございます。
これですね。
http://discuss.pipes.yahoo.com/Message_Boards_for_Pipes/threadview?m=te&bn=pip-DeveloperHelp&tid=6435&mid=-1&tof=30&rt=2&frt=2&off=1#-1

http://myremix.jp/

>>12
俺ならもっとうまく作れるぜとかと思うとパクリみたいになるのか。

そこって垢取らないと中身見れないのかよ

>>11
相対パスが消えちゃう症状、治ったみたいだね

http://pipes.yahoo.com/pipes/pipes.popular
popularじゃなくて新着順のURLは無いの？

検索で日本語通るようになった？

pipesの実行結果の欄にlistとかMapと出てるけど、MapってRSSリーダーで読むの？

はてなブックマークのRSS→Yahoo! Pipes→livedoorReaderで呼んでたヤツが
何日か前からldRとYPsの間が不調になってて読めなくなってるっぽい

時間指定のモジュールがあったらいいな。

gooの画像付き地震速報の奴、見てますよ。

毎日画像を山ほど配信するfeedを教えてｸﾚｸﾚ

ｷﾀ━━━━(°Д°)━━━━!!!!

「Tarpipe」なら複数のソーシャルサイトをメールで一括操作
http://www.lifehacker.jp/2008/12/tarpipe.html

tarpipe
http://tarpipe.com/

>>17
通るよ
http://pipes.yahoo.com/pipes/search?q=%E6%96%B0%E8%81%9E&x=0&y=0

>>24
いや、そうじゃなくて、パイプの中でフィードを検索する時の話を……。

>>22
ＢＢＣの奴がいいんじゃないかな。

RSSを全文取得した場合、
元の記事自体が複数ページに分割されてると1ページ目しか読めないわけですが
このような時、2ページ目3ページ目を取得するには
どのような処理をしたらいいのでしょうか？

>>27
それはスクリプト組まないとできない。
つまりパイプじゃ無理

>>28
ありが?ｫ。
じゃ俺には無理だな

新年あげ。

pubDateの日付フォーマットで
特定日時をフィルタするってどうすればいいかな？

こんなサービスが


RSSフィードを全文配信で読むなら まるごとRSS
http://mrss.dokoda.jp/

>>32
いいねコレ
即ブックマークした

Pipes Blog ≫ Blog Archive ≫ Yahoo! Pipes, our 2nd Birthday.
http://blog.pipes.yahoo.net/2009/02/06/yahoo-pipes-our-2nd-birthday/

省庁のサイトをpipesでRSS化してる方がいますね
良いことです

http://twitter.1x1.jp/search/?source=&keyword=pipes&lang=&text=1
http://labs.ceek.jp/wassr/?k=pipes
http://b.hatena.ne.jp/t?tag=pipes&sort=eid

mixiのマイミク最新日記をフィードにしてサーバ型RSSリーダー（LDR）で読みたいんだけど、これ使えば出来るのかな。
mixiが公式に吐いているやつは、ログインした状態でローカルのリーダー使わないと読めないし、フィードに含まれるのは日時とタイトルだけで、誰が書いたのか分からない。
代理ログイン、スクレイピングするの自作しかないか。

>>37
以前、mixi全文をRSS化したらアク禁くらったぞｗ
mixiは連続でアクセスしたら駄目っぽい

ついでに、ちょっと聞きたいのだけども、1日分のRSSを1つのRSSにまとめる、みたいなことって可能？
どうやったもんだろうか

何やりたいかと言うと、twitterの発言なんかをmixiに流したいんだけど、
そのままRSS入れたら頻度が多すぎて多分うざい。
そこで、twitterの1日分を1エントリーとしてまとめられないかな？と
1日分にまとめたRSSにできたら、thumblrにつっこめば自動エントリー化してRSSも吐いてくれるからいけるかな、と。

使ったこと無いけど、こういうのがある

DailyFeed - デイリーフィード | サイトの更新を翌日まとめてRSSでお届け
http://dailyfeed.jp/

>>40
うーん。タイトルしかまとまってくれない・・・。
しかし、何故、はてなブックマークのエントリーみたいな余計なものつけるんだろ。
そういうのはGreaseMonkeyとかに任せておけばいいのに・・・

>>38
全文は要らないので、日時とタイトルと書いた人の名前をフィードにしたい。
でも、うまくスクレイピングできない。
XPATHがよく分からないんだよなあ。

足あと一覧も、マイミクのマイミクまでは横にマークがつくけど、あの画像込みでフィードにしたい。

>>42
つ WWW::Mixi::Scraper

>>40-41
せっかく紹介してくれたのに文句だけ言ってスマソ
気をわるくしないでくれ・・・

関連コピペ

RSS生成

My RSS - あらゆるサイトのRSSを配信 -
http://myrss.jp/
RSSクリエイター RSS未対応サイトのRSS作成
http://rssc.dokoda.jp/
RSS フィード 自動作成 - goo フィードメーカー
http://fm.goo.ne.jp/
Page2RSS - Create an RSS feed for any web page
http://page2rss.com/
なんでもRSS 0.1b
http://blogwatcher.pi.titech.ac.jp/nandemorss/index.cgi?url=
はてなアンテナ
http://a.hatena.ne.jp/

まとめて配信する

feedremix
http://www.feedremix.jp/
feedremix
http://www.feedremix.jp/
MixFeed | ホーム : RSS配信・リミックスウェブ・WEB2.0
http://www.mixfeed.jp/
The Search RSS Mix
http://rssmix.the-search.jp/
DailyFeed - デイリーフィード | サイトの更新を翌日まとめてRSSでお届け
http://dailyfeed.jp/

動画サイトのファイルをiTunesにPodcast形式でダウンロードさせるパイプがすげー便利

URLもはらずに書き込みでごじゃるか？

iTunesにドラッグ＆ドロップでYoutubeの動画ファイルがぶっこ抜ける

Browse Pipes: Pipes Search: podcast youtube (21 results)
http://pipes.yahoo.com/pipes/search?q=podcast+youtube&x=0&y=0


Pipes: My YouTube Subscriptions 2 iTunes Podcast
http://pipes.yahoo.com/pipes/pipe.info?_id=53721391a93317e2d20fa3c122066e27

Pipes: YouTubeUserPodcast
http://pipes.yahoo.com/pipes/pipe.info?_id=16281a7d9abd5af267df91b0550c06ac

Pipes: YouTubeDailyTopRatedPodcast
http://pipes.yahoo.com/pipes/pipe.info?_id=a656fe2a050d22783afbcd5031cd0082

Pipes: YouTube Playlist to Videocast
http://pipes.yahoo.com/pipes/pipe.info?_id=f88216ad6fb36d73e091a3468ad5b8b6

Pipes: YouTubeDailyTopFavouritesPodcast
http://pipes.yahoo.com/pipes/pipe.info?_id=af214f3ddded6cb3a82cfbe7a611c7f8

でも結局なんだかんだでこのサービスが便利

ListPod - YouTube動画のマイリストを作ってPodcastで見よう！
http://listpod.tv/

わざわざpipesを使う意味が分からないんだがw>youtube動画

>>50
iTunesでダウンロードと動画の管理が出来て、iPodと簡単に連携出来るのが魅力
これらのソフトとハードを持ってて、そういうスタイルで利用してないと理解しにくいかな
もちろんmp4とPodcastが使えるソフト/ハードなら応用できるし

例えば２chのYoutubeのおすすめ動画を紹介してあるスレなんかから
勝手にリストを作ってそれをそのままポッドキャストにできる。
iPodに同期させて通勤時間なんかにまとめてチェックするとか。

グリースモンキーあたりを使って単独ダウンロードを繰り返すのより簡単だし、
他人に紹介しやすくなる。リンクをiTunesにドラッグドロップするだけで
リストの動画がすべてぶっこ抜ける。

ようわからんけど、Podcast=RSS？なのか
YoutubeのリストをRSS化すればiTunesなどで見られる？
動画の物故抜きまで、Yahoo Pipesでやっとるのん？

動画サイトの糞画質でよく満足できるな。
てかそこまでして見たいものないし

HD画質であがってる動画はその解像度で落ちてくるよ
ニュースや人気動画の動向は知っておきたいし
シリーズモノや購読してるユーザーを追いかけるのにも便利

>>53
RSS化も自動でやってくれるんだって
形式変換やダウンロードには外部のサービスも通ってるかもしれない

実際にやってみればわかるかな。
他人のリストで申し訳ないけど、
このリストをiTunesに登録してみて。

http://listpod.tv/list/14892/rss
iTunesのメニュー・詳細→Podcastを登録で貼り付けると確実かな

フィードの宣伝をフィルタリングするために使ってるんだけども、Pipesを通すと
FaviconがPipesのものになっちゃうのがちと不便
元のFaviconを表示させる方法はないかなあ…

pipes調子悪くない？
昼頃からMy pipes行こうとするとタイムアウトするんだが

>>56
iTunesないんで試せないけど、
すげーmp4がそのままついてるんだ

>>57
xml内のlinkをオリジナルの物からYahoo Pipesに書き換えてるからfavicon変わるのかねえ
最終的にRSSを吐き出すときに書き換えてるから対処のしようが無いんじゃ
Pipesの中の人にxmlのlink弄るなハゲと一生懸命文句言うしか無い様な

>>58
時々そういうことありますよ。

>>58
いつものことです。

mixiのRSSを全文配信する方法ってないもんですかね？
アクセス規制されない方法で。

これをpipesで見れるように作ってくださいお願いします
http://kanpou.npb.go.jp/

>>64
ttp://kanpou.npb.go.jp/html/contents.html このページを
ttp://page2rss.com/　に登録すればおk

インプレスがpipesからのアクセスを遮断した？
WatchのRSSから全文取得とか窓の杜のRSS自体とか、インプレス鯖アクセスさせるとエラー403で取ってこられないｗｗ

今月の１５日あたりから取ってこれてなかったっぽいんだけど気がついてなかったorz

確かにRSS自体は生きてるけどPIPESで引っ張れないな。
しかしその割にはMETAタグでクロール拒否してる訳じゃ無し。いったい何がしたいのかね。

>>66
2週間も気付かないようなフィードは登録解除しておk

CNETも対策したっぽい＞全文配信化

この流れでITMediaもとかならんよな。feedをまとめてるだけなんだから勘弁してくれよ。

pipesにあったねたミシュランの画像のみってやつも
15日で取得できなくなってた。更新されないなーって思ってたよ。

>>68
fastladderで読んでたから、てっきりクローが遅れてるんだと思い込んでたｗ
っていうか、結構いろんな所で対策始めたんだなあ


サイトで全文読ませたってADはどうせ全部カットしちゃうから
RSSで読んでも同じなんだけどなあ

RSS使う奴が広告クリックするとおもっているんだろうかｗ

adsenseのフィード広告やってるけど
クリックする人結構いるよ

http://mrss.dokoda.jp/a/http/feeds.japan.cnet.com/cnet/rss

ｷﾀ━━━━━━（ﾟ∀ﾟ）ﾉ━━━━━━ !!!!!

インプレスはセコいんだよな。

Pipes経由してるfeedの更新をGoogle Readerが拾ってくれない。更新は間違いなく来てるのに。
調子が悪いだけだよなきっとそうだ。まさかGoogleに蹴られてるって事はないよな。

>>78
ＧＲが遅れてる＋pipesが重いせいっぽい
ﾓﾚも自作pipesけっこうGRに突っ込んでるけど
いくつかが2日くらい拾ってくれてないし、
GRの更新押すと解析エラーとかでるのがある。
で、
firefoxなりIEなりでpipesにアクセスしてキャッシュさせてからGRの更新押すと
結構拾ってくれるww

ちょっとキャッシュさせる作業してくる

どうやんのよ

作ったpipesは何で見てるの？
グーグルリーダーとかFireFoxのとか？

おれはgoogle readerで見てるよ
１エントリーに巨大画像どっさりのフィード（ボストングローブのbig picture）とか途中で表示されなくなるけど
あとは不満無く使えてる

やっぱグーグルか。携帯だといいのはあるだろうか

feedの解析見るとしょっちゅう
“誰かがあなたのフィードを再配布したことを意味します”
って出てるんだけどここのやつらのせい？

>>85
Yahoo!Pipes以外でもいくらでもあるだろ、RSS使ったサービスは。

pipesの中でURLエンコードってできますか？
例えばtitleのデータをURLエンコードするとか。
正規表現でPerlの関数が使えないみたいで、ネットで調べた正規表現で変換する方法はダメでした。

俺も一時期頑張った事有るけどそのときは断念した。
Yahoo Pipesでicalデータ扱えるんだな。どうも文字化けして使えないぽいけど。

Pipesってなんか変わった？
久々に行ったら、前と雰囲気違う気がするんだが

いつから見てないのか知らんが最近では
・fetch pageでの文字化けが直った
・YQLモジュールが追加された
ぐらいかな

>>88
やっぱ非アスキー圏では必須だよな。
自分で作ったほかのpipes（パラメータあり）を呼び出してるんだが、
パラメータに引き渡すデータがアルファベットのやつしかうまくいかない。
もうちょいがんばってみるわ。

RSSフィード内にあるtarget="_blank"を消そうと思ったんだが、Regex使っても消せねぇ・・。

記事の中にあるリンクまでは置換してくれないのか。。。

消えないんじゃなくて、最終的に自動でくっつけられるんだと思うよ
おれリンクタグを中で生成してるけど、書いた覚えもない「target="_blank"」がついてくるもん。
割と余計な親切があるんだよなあ。

マジでか！！
コレで5,6時間無駄にしてるぞ、俺。

iPhoneだから、RSSリーダー内臓のブラウザで新規ウィンドウ開けないんだよな。毎回safari立ち上げないといけないのか。。。

何か代替のサイトとかないもんかねぇorz

日本でどっかが始めてたよ。知らない会社。
どこで見つけたんだっけなあ。このスレのどこかかも。

やっぱURLエンコード望んでる人いるんだな。
自分もいろいろやってみたけど、結局諦めて外部鯖にスクリプト設置して呼び出してるよ。

モジュール追加きたけど・・、これ今までも別のモジュールでできてたことじゃん。
もっと役に立ちそうなのを追加してほしいなぁ。

URLエンコードモジュール追加の要望を出そう！



・・・でも英語で書けねえ

Please, URL encode module. It's very very important for non ascii world !

こんな感じでいいか？

ニュアンスが通じればいいんでないかい。
外人が書いた怪しい日本語でも何となく意図は通じるじゃん。

RSS item Builderとやらは今まであったitem Builderと何か違うんだろうか。
これをわざわざ追加した意図が分からん。

URLエンコードの要望出すなら、ちゃんと文字コードを指定できるようにってのも書かないと。
書かなかったら、UTF-8固定のを追加されて終わりってことになりかねない。
UTF-8ならURLBuilder経由で今でもできない事もないんだから。

>>100

URL Builderでやるやり方しってたの？
要望を出そうと思ったけど過去ログみたいの見ないとと思って、
フォーラムを調べたら引っかかった。

ここに書こうと思ったけど、
Loopの中にURL Builderを入れて、
取得したXMLの値を渡してもうまくいかなくて格闘中。

おれはUTF-8でエンコードされればまあ満足だからやめとくよ。
ローカルな文字コードまでサポートするとは思えないし。

>>101
Loop内のモジュールにitem.title等の変数で日本語を渡すと、日本語が無視されることがある。
この場合、元データの取得を例のxmliconv経由でやってやるとうまくいく。

格闘してる内容がこれかどうかわからないけど、一応アドバイス。

あ、あとURLBuilderで出来るのは知ってた。
でも自分が欲しかったのはEUC-JPだったから、外部にphpスクリプトを書いて
テキストと文字コードをGETで送ってURLエンコードしたのを取得ってやってる。

>>102-103

サンクス、でもダメポ。
URL Builderは前にも試したはずだが、同じようにうまくいかないんだと思う。

Fetch Dataを使ってitemリストを生成するわけだけど、
itemの中だとなんかいろいろ制約があるんじゃないだろうか。
title以外の適当な名前をつけても全然だめ。

ほかのやつらも同じようにやったんだろうけど、おれもあきらめモード。
やっぱ要望出すか。。。

objectタグが勝手にiframeタグに変換されるみたいなんだが
なんか回避する方法ないかな

GIGAZINEがrobots.txtでPipesのFetch Pageを弾くようになったみたいだ。
これはうざいな・・・

robots.txtの中身見たけどひょっとしてこれか
User-agent: *

GIGAZINEが・・
誰かなんとかしてくれ

串使え。自分で設置すると軽い。

おまえら負荷かけまくりとかじゃないだろうな。最低限のモラルは守ってくれよ

手遅れくさいが

Pipes Search: gigazine (109 results)
http://pipes.yahoo.com/pipes/search?q=gigazine&x=0&y=0

ついにGoogleNEWSもfetchPage蹴られるようになりますた・・・だったらfeed設置しろやハゲ

次々と大手サイトから閉め出され始めたな

そろそろPlaggerに切り替えるか
文字コードやエンコード、余計な親切に対処するのも疲れたし

google mobile proxyも蹴られてる？

・plagger自体出来が良いとは言い難い
・関連ドキュメントの散逸っぷりが凄い
・結局Perl書けないとお話になんない
以前挑戦したけど諦めたわ

そろそろUAモジュール出ないかな。
出してくれないかな。

Perl書けないやつが出来に関して云々していいのか？
作ったやつは日本のPerl界では大御所だぞ。
おれはPerl知らんからRubyでやるけど。

http://myremix.jp/
ここに移ろうかと思ってるがmodul多いわ分かり難いわで難航中

>106
7/2からpheedoで経由のfeedはlすべて蹴られるようになったんだけど，pheedo:origLinkのURIを使ったらFetchPageできていた．
でも，GIGAZINEは両方だめなんで泣きそう．

まぁでもProxy的なWebサービス通せばなんとかなるか

めんどくさいから
ttp://mrss.dokoda.jp/a/http/www.pheedo.jp/f/gigazine_2

まるごとRSSって、何日かエントリー溜め込んでからまとめて配信するようになってね？

ﾃﾞﾀ━━━━━━━━m9( ﾟ∀ﾟ)人(ﾟ∀ﾟ )9m━━━━━━━━!!

http://pipes.yahoo.com/nitoyon/gigazine

>>123
どこかの鯖を経由してpage fetchしているのかと思ったら
以前使えていたpheedo:origLinkからのpage fetchなんだな。
GIGAZINE、鯖の設定をまた変えたのかな？

文字コードがヘッダで明示されてないutf-8だと文字化けするっぽい？
ページ変換系の使えそうな串はないだろうか

自己解決
http://www.google.com/gwt/n でいけた

まぐまぐが７月からpipes規制してるみたいだ。

オワタあんてな全文取得してくれねーかな

誰かpixivのランキングpipe作って

ユーザー名入力無しでどうやってランキングを取得するのか教えてくれれば幾らでも作ってやる

>>119と組み合わせればいいじゃん

>>119でやっつけた
ttp://up2.viploader.net/upphp/src/vlphp263375.jpg
ttp://up2.viploader.net/upphp/src/vlphp263376.jpg
ttp://up2.viploader.net/upphp/src/vlphp263377.jpg

MyRemixオンリーでやったのん？参考にしたいからpipeのURL教えて。関連ドキュメント少なくて苦戦中。

公開しといた
Recently Publishedに出てると思う

cloneできない・・・orz

できるようにしといた

ありがとー、やっぱマイリミとあほーは一長一短なんだねー
リスト関数とかIF moduleとか使いこなせればまた違うのかもしれんけど

普通の正規表現チェックサイトだとうまく動作するんだがyahoo pipesの正規表現でうまくマッチしてくれない
なんか使えない表現とかある？

正規表現なんて完全に統一されてるわけじゃないんだから
その情報量で分かるわけないだろ
ちなみにPipesはPerlライクな

うちはパールライス

うむむ・・・久々に使ってみたら重い・・・・
フィードの元のサーバはすぐにレスポンス返してるんだけど。
同様のサービスってほかにどんなのがある？
あれこれ試して比較してみたい。

ちなみに今まで Google App Engine で遊んでたけど、
Pipes みたなののほうがお手軽だしいちいちコード
書かなくていいし、便利だなぁ

2つ質問があります
PixivやMixiのようなログインしないと必要なデータを取得することができないサイトのページをFetchすることは可能でしょうか？
Pipesでできない場合、Plaggerなどを使えば可能でしょうか？
どうかご教示頂きたく…

>>119
ここ使えばできる。Pixivは誰かエロイ人が作ってくれてる。検索したら出てくる。
mixiはapiが用意されてる。PixivのPipesを参考にまあがんがれ。

知ってると思うけどmixiには非公開RSSがあるよ。

ありがとうございます。調べてみますね

PipesでGet as RSSしたものがうまく取り込めないのですが、なにか対処法ありますか？

cnnが急に復活した。

RSS引っ張ってこれないのは鯖が重いだけ。いつもの事。

重い

ヤフったが出てこない

もう使うのやめてしまった

pipesの新作順にソートしたrssきぼん

こんにちわ

これってフィード内に別サイトから取り込んだフィードを組み込んで
一つの記事にする事って出来ないの？

やってみたらitemの中にデータは入るけど取り出せなかった

YouTube Playlist to Videocastって
動画を25個しか取得できないんですけど
取得数を増やす方法ありませんか?

相変わらず過疎ってるな。ちょっと凝った事すると重くなって動かなくなるんだよな。
Google Readerとかタイムアウトしてしまう。

かなり久しぶりに試してみたが、マルチバイト文字の扱いが改善されてないか？
また使ってみようかと思った。
前は別のpipesの呼び出し時にマルチバイト文字を引き渡すことができなかったのだが。

MyRemix死んだ？

まじだ、つながんねー
pixivチェックするのに重宝してたからなくなると困るわ

MyRemixだめっぽいな
他に代理ログインできるこういうサービスってない？

いつのまにかmyremix復活
DNSでも切れてたんかな

myremix使ったこと無い
日本語だから良いのか？

xpatchが使えるのと文字化けしないぐらいか

上で言ってる代理ログイン出来るのが一番の強みかな
mixiとかpixivにログインしてスクレイピングできる

MyRemixでpixiv用のパイプ更新＆作成した
しかし微妙に使い勝手が悪い
細かいスクレイピングができないから
ランキングとかの本文を取ってこようとすると2重で同じURLを取ってきて
最終的にタイムアウトしてしまう
ここはもう更新しないんかな・・・

MyRemixかどっかで、mixiのダイアリーの全文RSS作れるところってないですかね？
前にMyRemixだったかでやってみたら、一発で連続アクセス規制くらったんですよね・・・

つmechanize

自分のDeluciousブックマークにサムネイルを付けてpipesから吐かせてるんだけど、どうやったらdescriptionの中にdeliciousのタグを追加できます？（出来ればそのタグのリストへのリンク付きで）

こういうことにはド素人だから、他の人が作ったpipeを参考に何とかサムネイルだけは取得できたんだけど。item.category.contentにタグの情報があることは分かるんだけど、それをどうやったらdescriptionの中にリンク付きで持って来れるかが知りたい、です。

>>169
どんな構造かわからんからあれだが
item.category.content　ってのはツリーで見ると
item
　category
　　　　　0
　　　　　　content
のように間に数字が入ってたりしないか？
ドロップダウンだと何故かその数字が省略されてるので、手動で付ければ奥の階層から引っ張ってこれるよ
上の例だと　item.category.0.content　って感じ

あとはそれをLoopOperatorsにStringBuilderをハメて
item.description
item.category.0.content
とやれば合体できる
出力先はitem.descriptionにすればよい

>>170
ありがとう、ございます！3回くらい読んでやっと理解できた。確かに複数タグがあるとcategoryとcontentの間に0から数字が入って来てる。

でもこれって、もしタグが10個あるとしたら0から9まで別に入れないとならないのかな？とりあえずいじってくる！

携帯でチマチマ書いたから文章めちゃくちゃですまんｗ
自分がそれハマったんでつい書きたくなってしまったのよ
とりあえずデータ引っ張れればなんとかなるだろう
健闘を祈る

>>171
＞もしタグが10個あるとしたら0から9まで別に入れないとならないのかな
そうなってるならそうする必要があるね
もし無くてもエラーとか出ないし、データも空のままだから気にせず指定しておけばいいかと

>>172-173
できたーー！サンクスでした。
ちなみに3回も読んだのはHTMLもよく分かってない俺のせいwww

これ使って登録したFeedってデフォルト名がパイプ名になったり
アイテムURLがパイプ先になったりするんですがこれってパイプソース云々というより仕様なんですか？

はい

そうですか
どうも^^

ttp://zonwari.com/tokka10.htm
これ商品単位にばらせます？
ジャンル分けみたいなのをどう処理したらいいのかわからん

>>178
目的がわからんが、無理
dapperかませばいけそうだけど、重くなりそう
あまとも使った方がいいんじゃない？

Fetch Pageの容量制限はYQLで回避できる。
YQLモジュールで
select * from html where url="http://zonwari.com/tokka10.htm" and xpath='//div[@class="im"]'
こんな感じ。
あとは必要な要素を抜きだしていく。

YQLのhtmlテーブルで取得したデータはarrayになるが、YQLの自作テーブルを外部に用意するなら
executeでJSON.stringifyを通す事でテキストに変換できる。私は普段はこれを使ってる。

>>179
あまともだと3000円の商品が1円下がったとかどうでもいい情報まで来るからこっちを見たかったんだが

保存ｼﾊﾟｰｲしたよとエラーが出るものの、実はちゃんと保存されてるというのがまた最近多くなった。
一時期まともだったのに、また鯖が重いのか。

>>178
yqlでカー＆バイク用品等のジャンルで分割する。商品単位にバラすのは後。
後でstring tokenizerで商品単位に分割する事を考えて、@等の適当な記号で商品の区切りを入れておく。タグを置換すると良い。
商品単位にバラしたときジャンルが取り出せるように、区切り記号にジャンルをくっつけておく。「@カー＆バイク用品」とこんな感じ。
string tokenizerで商品単位にバラす。
という感じでいけるけど、項目数が多すぎて何したってたぶんタイムアウトする。特定のジャンルだけしかいらないのならいけるかも。

LOOPモジュールの中にMypipes入れられるのって前からだっけ？

むしろ入れることができなかった時があったのか？

Pipesの中で別のPipes呼び出すとどうしても重くなるんだよね。悪くするとタイムアウトする。

Pipes Blog ≫ Blog Archive ≫ YQL execute to power the Pipes webservice module update.
http://blog.pipes.yahoo.net/2010/04/13/yql-execute-to-power-the-pipes-webservice-module-update/

>>187
これは要するにどういう事なんだ。だれか説明してくれ。

以前からYQLはpipesに足りない機能を補えるものとして使えたわけ。
それに加えてJavascriptの知識とXMLを置く場所があれば
ほぼなんでも出来る無敵の環境にすることができた。
なぜかこのスレではYQLの話題は少ないが。

で、今回のアップデート>>187でYQLのテーブルを自分で作る際に書くJavascriptを
ちょっと簡略化できるようになりましたよっていう話。
前から使ってなかった人にはあまり関係ないかな。

>>189
ありがとう。
YQLはXpathの使えるfetch page位にしか分からない俺には、あんまり関係なさそうだ。
YQL moduleは結果をtextで返してくれればいいのに。何で配列で返すんだよ。外部鯖とかわかんねーし。

http://www1.voanews.com/templates/Articles.rss?sectionPath=/
learningenglish/home

fetch feedで取得できないけど．．
fetcｈ feed 以外でのどのソースを使用すべきなんでしょうか？

fetch feedで取得できるが

自己解決しました。
一時的に上手くつながらなかっただけの様でした。

Yahoo! Pipes V2 engine
http://blog.pipes.yahoo.net/2010/06/09/yahoo-pipes-v2-engine/
エンジンがアップグレード。各パイプの編集画面の左のほうから。

Filterに日本語が使えるかどうか試してみた。
結論から言うと無理。ただ、たとえば

[Permit] items that match [any] of the following
　　item.title Contains yahoo
　　item.title Contains google
　　item.title Contains あああ

とかやると、以前は無条件で結果が0件になっていたものが、
今はちゃんと他のルールがちゃんと有効に動作して結果が出てくる。
ただ単純に日本語にマッチしないだけで。

色々と挙動が違うな。うかつにVerうｐしたらえらい目にあいそうだこれ。

通常のwebページをrss化したのがほとんどまともに動かねー
ページ自体取得できないのもあるし…

クロール蹴られてんだろそれ

Ver2なかなか早いな
けど正規表現の解釈とかかなり違う感じ
専用で作らないときついねこれは

http://newsweekjapan.jp/story/rss.xml

ニューズウィークのRSS全文とれますか？

これは、ぼちぼちV2に作り替えていく方が良いのか
それともまたマイナーうｐだてが来るだろうからそれ待ってた方が良いのか。

V2は時々記号が文字化けするけど化ける条件が分からない、なんだこれ。

V2ってのがが良さそうなら移行したいが良いかどうか分からない
だれか何がどう違うのかを3行で説明してくれ

フィルターかけて出力したいだけなんですが、
pubdateのタイムゾーンが+9から-7になって出力されてしまいます。
何か対処方法ってありませんか？

元の時間に戻すだけならLoopにSimple Math放り込んでy:published.utimeを調整

時刻関連は自動で調節されるからなー、元の時刻に戻すの毎回面倒。

また最近鯖が重たいな

そういやいまpipesのエンジンはV1とV2があるわけだが、V1を使い続けて良いのか。
どう考えてもV1は切られるよな。

切られるよ。だから2でおかしい事があったら報告しろと言っている。

うんこ

今日使ってたら急にError999みたくなって繋がらなくなった。
なんかアク禁っぽいんだけど。。。

なにやったんだよｗ

串さして無事動くようならアク禁だな

V1で動いているfetch pageがV2では動かないすなあ。理由が等全く分からないので報告のしようがない。

複数アイテムのを結合して1つのアイテムにする方法ってある？

例えば、item.description=a, item.description=b, item.description=c の
3つのアイテムがあるフィードを結合して、item.description=abc の
アイテムが1つだけあるフィードを作りたいんだけど。

feedの複数アイテムをマージするって事か。
それが出来れば夢が広がりんぐだがたぶん出来ん。

YQL executeを使えばいけるはずだけど

>>216
ttp://hapdaniel.wordpress.com/2009/05/20/concatenating-items-in-a-feed/
これ見ながらやったら出来たわ。
Auto Pagerize みたいなことも出来るけど、MSN産経の全ニュースを
全文配信しようと思ったら重くて Error 999 喰らったわｗ

>>217
thx
YQL を使った方法は調べてみます。

同じブログにあった
ttp://hapdaniel.wordpress.com/2009/06/05/concatenation-revisited/

このブログは色々面白そうだな。でかしたぞ。帰ったら熟読するわ。

礼にはおよばねぇ

これ見てるときは「うはｗｗｗ夢がひろがりんぐｗｗｗ」とか思ってたけど
色々弄ってみると最初の準備が全てなんだな。
feedを読み込む時点でstuff下にitem置かないといかんのか。
なんとかoutputの直前でこの処理出来んもんかな。

MyRemixにつながんねぇ
死なないでくれ・・・

ずっと繋がらんね

myremix死んじゃったか
ログインできるのってこれぐらいしか知らんからすげぇ困る
なんか別の知らない？

おい大変だ
はてブ棚卸しがお亡くなりになった
なんとかしてくれ

あほ

ttp://pipes.yahoo.com/pipes/pipe.info?_id=4f3e5bcb3d348cbf8f31135eb0912ab2

これか？
試した限りは動いてるが…。

いつかV2強制移行とかなるんかいな

これ、title中の&をRSSでは強制的に「&」に置き換えちゃうっぽいんだよなあ。

Fetch元で既に「＆#x3020;」みたいな数値参照になってる場合、
「＆amp;#x3020;」みたいになってしまって読めなくなってｲﾔﾝ

OtherってとこにOutputがあったから興味本位でクリックしたらOutputが2つに増えてしまった…消し方が分からんｗ

>>230
\nとか使いたいけど同じ事になっていやん

エスケープ文字逆置換オペレータ…は出なそうだしな…

楽しいよね

やっぱYQLの方が処理が速いな。fetch pageはタグ消したり色々しなきゃならんからな。
htmlのタグ構成がしっかりしてないと大変だけど。

あいうえお/アイウエオ
かきくけこ/カキクケコ
さしすせそ/サシスセソ
たちつてと/タチツテト
なにぬねの/ナニヌネノ
・
・
・

みたいなのを

アイウエオ/あいうえお
カキクケコ/かきくけこ
サシスセソ/さしすせそ
・
・
・

みたいに前後を差し替えたいんだけど、いい方法ないかな？
Regexでgにチェックして(.*)\/(.*)→$2/$1すると、
最初に覚えた「あいうえお」と「アイウエオ」がずっと適用され続けて

アイウエオ/あいうえお
アイウエオ/あいうえお
アイウエオ/あいうえお
・
・
・

が出来上がっちゃう。

v2エンジンでfixされてると思う

その現象直ってたのか。
ところでV2になって確かにpipeの編集は楽になったけど、readerからの呼び出しが遅くなった気がするんだけど。
あと挙動が不安定。No pipe resultsになったり結果が帰ってきたり一体どっちだよ。

V2っていろいろ改良されてそうだけど今後どんどん挙動が変わっていくと今動いてるPipeがある日突然動かなくなりそうで手が出せない

>>238
まだv2用の鯖を増強していない予感

あと一歩進めばいいサービスなんだけどなこれ。ほんと。

ローカルでpipesみたいな鯖をたてることってできる？
いろんな制約がうっとおしくなってきた

plagger?

>>242
PipesをPythonスクリプトへ変換
http://github.com/ggaughan/pipe2py

plaggerは面倒すぎて投げた覚えしかない。

Pipesは結構いい立ち位置だよな。

ぷらがーはまとめサイト的な物が全くないからなと書こうとしたところで、あほーぱいぷすにも無い事に気づいた。
初心者が同じ所で同じ時間だけ躓いてるのって不毛だよな時間の無駄。
テクニックをまとめたwikiみたいなのを誰か優しいお人が作ってくれんかな。

あと>>244を用いてPipeをGoogle App Engine上で動かそうという試み
http://www.wordloosed.com/running-yahoo-pipes-on-google-app-engine

Plaggerはインストールで3回で挫折したわー
解説サイトみたいのは総じて古い情報しかないから全く歯が立たないんだよな

Pipesは大きな変更とかないから
最低限のプログラミング的な知識があれば解説サイト見ればどうにかなる

yahoopipesがmyremixみたいにログインできるようになってほしいわ
myremixが死んでからmixiもpixivも面倒で見なくなった

しょうがないからChromeのPage Monitor

ｷﾀ━━━━━m9( ﾟ∀ﾟ)━━━━━ｯ!!

これは凄い！Yahoo! Pipesを解析&変換「pipe2py」
http://www.moongift.jp/2010/11/2010110912/

>>252
>>244

パイプを作成して初めてSaveするとき、
ちょっとサーバー側の反応が遅いなと思ったら大抵、増殖してるから困る。

たった今も、7個も同じパイプが出来上がってたわ…。

結果が帰ってこないと思ったらYQLが死んでるのかよ。メンテか何かか？

と思ったら動いた。何だったんだ。YQLの鯖も限界が来始めてるのか。

Pipesって一体何で収益上げてるの？

Firefox/WinXPで編集画面でパイプいじってたら、
ときどき無限リロードみたいな状態になって文字入力もままならなくなる。
何か俺変な操作してるんだろうか…。

ファビコン変わった？

時々思い出したように定期的に変わってるな

紫先生になったな

Google NewsをRSSにした時LINKのアドレスが

http://news.google.com/news/url?sa=t&fd=R&usg=ｙｙｙｙｙｙｙｙ&url=xxxxxxxx.html

になっているのですがurl=の後ろのアドレスを抽出するにはどうのようにすればいいのでしょうか？

前から85文字削るとurl=のあとになるのですが

それはそのまま弄らん方が良いよ。オリジナルURLの記号部分がエンコされてるパターンとかある。

>>263

そうなんですか
でも抽出のやりかたあれば教えて欲しいです。
パラメーターの抽出方法がわかれば他にも応用できそうなので
よろしくお願いします。

Regexで
item.link　.*?&url=　(空白)
これで抽出。
URLエンコードを戻してやるために、右上でurldecodeで検索すると1件ヒットするから
それをLoopに入れてitem.linkに適用。assign first results to item.linkで。
整えるためにRenameでitem.link.title (rename) link

urldecodeって何してるのかと思ったら力業か。全itemにこの処理するとか重たそう。

そ、そんな便利なものがあったのか＞urldecode

2ちゃんねる情報ニュース速報ナビ
http://www.2nn.jp/latest/

このアドレスをRSSに入れるだけで2ch掲示板の新着ニュースが次々入ってくる。
2ch ニュース速報を覗くと時事ニュースがとんでもなく面白く読める。

RSSにニュースタイトルがでる。難しそうだが気になるタイトルに飛んでみると記事に対する2ちゃんねらー達の面白い書き込みによってニュースの内容があっという間に理解出来る様になる。

おれは今まで半ば義務感でニュースをサイトなどに目を通していただけなのだが、RSSの2ch速報のお陰で仲間の誰よりも時事問題の先端を行く様になってしまった。もはや中毒気味になる位にニュースが楽しくて仕方ない。

このRSSを知るまでツイッターにイマイチ魅力を感じなかったがこれらを組み込むことによってRSSが生活のメインになってしまった。
2ちゃんねる掲示板に行ってニューススレをを巡回するのも見るのも悪くない。しかし絶え間なく立てられる新着スレが次々とRSSに届く。
これは掲示板巡回するだけでは出来ない。まさにRSSならではの便利さ。

>>265
さっそく試してみます
ありがとうございます。

重てえー
単なるDate builderなのにPreview failedってなにやってんの
今すぐ作りたいこの気持ちのやり場がないよ

重たいときに初回保存をやると、
なんか同じパイプが5個も6個も保存されててうげーってなる。

タイムアウトしますた！と中の人から怒られたと思ったら、保存されてたりするんだよなこれが。
別タブで編集画面開いて見てみるといい。

>180を参考にして、長めのページを引っぱってきてみたけどその先がわからない。
item.titleとitem.linkはRenameで作れたんだけれど、肝心のitem.descriptionを作れない。
配列をテキストに変換するのってどうやるの?

>>273
いまはちょっと便利になって、配列じゃなくテキストがほしければ
select * from htmlstring where url='http://www.yahoo.com/' and xpath='//a'
のようにhtmlじゃなくてhtmlstringを使うといいよ

Community Tablesなんか今まで見た事も使った事も無かったけど便利そうだな。
dataカテゴリ以外のはよく分からんものばっかりだが。

>>274
おおー！できました。聞いてみるもんです
ありがとうございました

feedの分割ってできないかなー
特定のタグで別々のfeedに分けるようなの

分割した後にそれぞれのラインをフィルタリングすればいいんじゃないの

Pipesはヤフー仕分けに入らなかったようでなにより

でもこういうことがあるってことは安心できないよね

そうだね。
del.icio.usは絶対残ると踏んでただけに今回はショックだったわ。

デリよりずっと負荷でかそうだしなあ。

pipesを生かすために犠牲になったのだ・・・

ソーシャルブックマークは競合ライバル多い
pipesはライバル少ない、ていうかいない
結論は言うまでも無かろう？

全ユーザー1億、競合サービス100社と
全ユーザー1万、競合サービス0社だとしたらどっちがいいんだろう

pipesって広告で収益あげるのには向いてないよね。

一度パイプ作ったら当分ブラウザアクセスなんてしてもらえないし
作成したフィードに広告挟みこむようにしたら非難轟々だろうし
(何しろ既存RSSから広告削りの目的で使われることも多いんだから)

なんで仕分けられなかったのかが不思議なぐらい。
オンリーワンのサービスに夢を託したのかな？

維持するのにもそこまでコストがかからないってことじゃないのかな。
ファビコンが適当に変わったりするところからしても、
なんか少人数のチームで好き勝手にやってるようなイメージがある。
（一部のユーザーに対してでも）その程度の支出で
ブランド価値をキープできるのであれば……、みたいな。
いや根拠なんかなくてただの妄想なんだけど。

そういえばファビコン、赤い昔ながらのに戻った？

YahooPipes＋GoogleReaderの組み合わせだと
YPで各PipesをViewResult→GRで各feedを更新
の流れにどうしてもなるわけだが、何とかこれを自動化できんもんかな。

なんでViewResultが必要なのか分からないのだが

スレッドフロート型掲示板から各スレッドのレスを個別に抽出したいんですが
┌─────────┐
│スレッド1のタイトル
│┌───────┐
││>>1レス目
│└───────┘
│┌───────┐
││>>2レス目
│└───────┘
│┌───────┐
││>>3レス目
│└───────┘
└─────────┘
┌─────────┐
│スレッド2のタイトル
│┌───────┐
││>>1レス目
│└───────┘
└─────────┘
┌─────────┐
│スレッド3のタイトル
│┌───────┐
││>>1レス目
│└───────┘
│┌───────┐
││>>2レス目
│└───────┘
└─────────┘
各レスを個別に分けつつ、それぞれのタイトルにスレタイを当ててあげる方法ってありますか？
「スレタイ1-001」「スレタイ3-002」のような形にしたいのですが…。
各スレッドのレス数は一定していません。

まず1つのスレッドのhtmlを解析してレス単位に分けるサブパイプを作る。
このサブパイプのInputでスレタイ欄を作っておく。
次にページ全体をスレッド単位に分ける別のパイプを作る。同時に各スレタイを抽出する。
そこに最初に作ったサブパイプをLoopで適用させる。

方法はいくつかあるけど、どっちにしたって各スレ全部スクレイプするんだろ？
そんな事したら板内のスレ数にもよるけど、アクセス過多でBANされるんじゃ。

GAEあたりでキャッシュ機能つき簡易プロクシみたいなものを自前で用意するといいかも

>>291-293
ありがとうございます。
291さんのやり方でいけそうです。

ちなみに、ターゲットは毎日のレス数が少な目の掲示板なので、
個別にアクセスしなくてもメインページからの抽出だけで一通り拾えるようです。

>>247>>249
Pipesは提供されているサンプルを見れば、よっぽど複雑なものでなければ
なんとかなる。不安定だけど、独特の息遣いが分かるようになれば
どうってことない。

Plaggerはオレも無理だったわ。
バージョン管理がめちゃめちゃなのか、意味が分からん。
あれは他人に使わせようという気がないよね。

またぷらがーの話か。YQLも出来たし以前ほどそれプラに惹かれる事は無くなったな。
YQLの文字化け率の改善と、ログインモジュールのリリースさえしてくれれば言う事は何も無いが。

今のところmixiとかpixivが取得できるのはplaggerだけなん？
分かりづらくて導入する気にならないんだが

pixivも検索なら取れるらしい
お気にとかランキングはログイン必須でダメだとか

filter moduleに日付が使えるんだな。before→3 days ago
こんな事が出来るなら早く言えよ。

その、良くも悪くも大手感のないあたりもまた良さだ。

複数パイプでの共通処理をサブパイプ化したら、編集しやすくはあるけどやっぱ重いな。
処理時間が倍じゃ利かない。

カレンダーデータを生成するpipeを作ってて気づいたんだけど、UTCからのシフト量が日時によって違うな。
例えばDate Inputに2010/11/08を入れると+8時間されるが、2010/11/07だと+7時間となる。
日本時間に調整するのに混乱するだろふざけんなコロコロ変えてんじゃねーぞ。

アメリカに夏時間・冬時間があるなんて株やFXトレーダーにとっては基本だぞ
なんでそんなものがあるのかというと、それはあいつらがバカだからだ

ああなるほど、ぐぐってやっと理解したわ。と言う事はこの1時間の差分が毎年発生するのか。
この違いをpipeに取り込まんと、忘れた頃に「1時間ずれてるじゃん何でなの？」と言う事になるのか。
すざけんな面倒な事しやがって畜生。

すざけんな

Daylightで検索するとみんな苦労してるんだな。
俺も試しに一つ作ったけど7or8の判定をさせるだけなのに重たすぎ。
日付入力で3月第二日曜という入力が出来ればちょっと軽くなるのに。

め、面倒だな…

ちらっと見たけど要するに入力値と出力値を比べればいいんだろ。
夏時間に入ってるかどうかの判定は鯖側が勝手にやってくれるんだから。
難しい事は何も必要ないように思えるけど。

どういうこと(´･ω･`)？

例えば、2010/11/07 02:00:00と入力すると2010/11/07 10:00:00が返ってくる。
この時間部分の02と10の差分を取れば良いだけじゃないの？
ようはこんな感じ。
ttp://pipes.yahoo.com/pipes/pipe.info?_id=f0020f667245d9bad118bc38803cbfbe

Pipesは不安定なので、自前でPipesのようなものを作ることにしました。

作ってみて分かったのは、ヨソのサイトからデータを取得したとき
データの有効期限を設定したり、ディスクにキャッシュしたりしなければ
安定して動作させるのは難しいということ。

データの取得元が複数あると、サーバが落ちていたり、データ転送が
遅延してタイムアウトしたりしますので、これらの例外処理を
細かくやらないと思ったようには動きませんでした。

それは要するにぷらがー何じゃないの？
それとも、GUI付きの分かり安い奴を作ろうと思ったのか。

良いもの、または良くなる可能性のあるものならどんどん作ってほしい
発明された後でも技術は洗練されていく

それPlaggerで、とか返されるやつ？
最近のPlaggerはどうなってる？何か進化してる？

y!pipes を python かなんかに変換するツールがあった気がス。

いわれてみればなんかそういうのがあったような気がしなくもない

入力の言語判定する方法ってある？フィードから英語と日本語以外のページは
無視する、みたいなことやりたいんだけど。

>>317
http://pipes.yahoo.com/pipes/pipe.info?_id=8578578f132b1d8ae829ef1d1855c72f

>>318
をぉ。thx!

すばらしい

そろそろ安定したかと思ってV2エンジン試してみたら相変わらず動かねえんでやんの。
中の人はもう諦めたか？

V2のいい所って日本語が文字化けしない所だけで他全部劣化してるよな

初心者な質問ですが、値が無いときに別の値をいれる方法ってどのようにすればよいかご教授ください
例えばtitleが何も無いときにリンクのアドレスを入れておくなど
Regexを使おうと思ったのですが、replaceの値をどうすれば良いのかわかりませんでした。

タイトルが入ってる場合と入ってない場合があるのなら、splitで分岐させるしかない罠。
pipesにif関数なんか実装されてないし。

うむむ単純操作じゃできないのか・・・

それか
string builderで「[email protected]」とtitleに出力する。@は単に区切り文字なんで何でもよし。
タイトルが無い場合は@一文字を消す
タイトルがある場合は普通に@linkを消す

思いついたのはこんな感じか。

>>326
それでできました。ありがとうございます。

値が無いと判定させるにはreplaceに(?!.+)
別の値をいれる（今回はリンク）場合はwithに${link}

${link}でlinkを引っ張れるのか。良い事を教わった。

>>329
それわかると幅が広がるよね

その記法、昔超ググったけど言及してるブログはほとんどなかった

本当は公式にもっと書いておいてほしいのだが

>>329
便利すぎﾜﾛｽ。loop＋string builderに比べて処理時間が大幅に減った。

言語の解説で難しいところよね＞${…}
それぞれのモジュールの説明は列挙していけばいいけど
変数の扱いみたいなのは使い始めて少ししてから知りたくなる

ううむ

splitで分岐なんかしなくても否定先読みでいいのか

?

シェルスクリプトの勉強してたら変数を${…}で呼び出すとあって元ネタはここか？と思った

Perlをご存じない？

ふむ

rssに書き出すのが遅くね？エラーとか1度出ると止まっちゃうのかな？

リアルタイムに新しいのを吐き出してくれないよね

キャッシュは30分で更新ってどこかに書いてあったはずだが

なんかのきっかけで半日とか丸１日ぐらい更新されてない時がある。
ソースいじると直るんだが…。

キャッシュは10分で更新だ

引数にランダムな数字を付け足すと、即時更新してくれるぞ

ふむそれｈa

記事の頭に文字を追加するにはどうやればいい？
複数のブログをまとめるとどのブログだか分からなくなる・・・

title を replace するだけでしょ

引数にランダムな数字を付け足すってどうやるの？

YQLでfeedのtitleとitem以下を取得。
するとfeedのtitleがitem以下に入ってるのでitemのtitleにくっつけろ。

難しい技術的なことは全くわからんがCORS supportとやらのおかげなのか
YQLでscrapeできなかったサイトが一部できるようになってるな。

パスワード保護されたフィードをGoogle Readerからアクセスする方法 : ライフハッカー［日本版］ : http://www.lifehacker.jp/2010/01/20100104google_reader.html

上記の記事のように設定をしたところ、feedburnerではうまくいくのですが、Yahoo!pipesではできません。解説記事があったら教えてください。

パスワードでロックされてるfeedなんか知らないから検証しようが無いな

まさかそれをmixiとかで使おうとしるんじゃないだろうな。
そこに書いてあるのはBASIC認証っていう認証方式だけで有効なんだよ。
BASIC認証で検索すればわかるけど、わかりやすくいうとブラウザ独自の入力画面がでるやつ。
mixiなんかは無理だよ。

pipesからのアクセス弾いてるだけとか

>>355

>そこに書いてあるのはBASIC認証っていう認証方式だけで有効なんだよ。

知ってるよ。ばーか。Gmailで使いたいだけだよ。

この前Fetch Pageでいろいろやってるときに見つけたんだけど
Sequence generatorってやつはいろんな事に使えるな

そんなものがあるのか

Yahoo! Pipesは難しいよ、おまいら天才だな

いやあそれほどでも

Sequence generatorってこれの事を言ってんのかな。
http://www.random.org/

>>252
Pythonもプログラミングもよくわからんのだが、これって一度変換してしまえば
もしPipesがサービス終了してもPythonで実行できるってこと？

ふむ

>>362
Pipes内で検索したら出てくるやつ

>>362
こっちの方が楽そうだ。
ランダムとはいえシークエンス作ってくれるんだろ。sortすれば良いだけだし。

>>125
これまだ治ってないんですかね。
先週ぐらいまで動いてたPipesがリニューアル後に急に文字化けしはじめて、
どうもこれに該当するっぽい。

自分で文字コードをヘッダに付け足すスクリプトでも書くしかないのか…。

fetchPageで文字化けはもう見ないな。YQL使ったらかなりの高確率で文字化けするが。

YQLのhtmlテーブルなら一応charsetを指定できるけども
http://developer.yahoo.com/yql/console/#h=desc%20html

shift_jisで書かれたページをscrapeできるようになったよ。
まじめに眺めるといろんなパラが指定できるんだな。xmlにもitempathとかあるし。

browserってkeyも指定できるな。userAgentの事かなこれ。

ふむ

文字化けするようになったと思ったら直ったりする
同じpipeで別々のRSSを読ませていると、ひとつだけ数日間文字化けしたりもする

よくわからんね

色々ありがとう。結局、個人鯖に Content-Type の charset を付け足す
プロキシを置いて対処しました。

YQLを組み合わせる方法は今度試してみたいと思います。

つーか、V2がまともに使えるようになれば…。

V2ってどうなってるんだろう

Yahoo!Pipesに興味がありとりあえず実用的なものをと考え
東急電鉄の運行情報をホームページより取得しようとしたんですが
FetchPageのURLに http://www.tokyu.co.jp/ を指定しても
結果が返ってきません。基本的に使うモジュールを間違ってるのでしょうか？
また、ブラウザでソースをみて運行情報の部分は
http://www.tokyu.co.jp/unten2.cgi　から取ってきているようですが
これもFetchPageでは結果が得られずブラウザのみOK。
こんな感じのホームページからソースを取得するには別モジュールを利用しなければならない？

FetchPageでscrapeは一応出来るな。ソースコードに無いものはどうしようも無い。

>376
y! pipesが扱うのは基本RSSだから、まずはRSS化サービスを通してみては
今は「なんでもRSS」以外にもいろいろありそう

pipesは30分くらい更新が遅れたりするから、あんまり速報性をもとめられるような情報は意味無いかもな

なんでもRSSはずいぶん前から機能してないよね

エンジンをV1にしたら取得で来ました。
お騒がせいたしました。

V2ってどうなってんのかね。事実上放棄？

気になるよね

俺だけかも知れんがChromeだとLoop内に入れたSimple Mathにitemを指定できない
もしかしてと思ってIEで試して時間を無駄にしてたと自覚したわ

おいぽまいら、要望を出そうと思うんだけど英語はこんな感じで良いのかな。
要望はDiscussのDeveloper Helpにポストしとけば良いんだろうか。
Please add httpheader charset to a header of ical
Please change "text/calendar" for "text/calendar; charset=UTF-8".
I can't see 2byte character in google calendar.

文字コードくっつけるだけだろと思って、PHPで4日ほど頑張ったけど俺には無理だった。

>>385
それはGoogleかAppleに言った方がいいんじゃね？

RSSクリエイター RSS未対応サイトのRSS作成
http://rssc.dokoda.jp/

氏んだ？

>>386
言い方が不味かったかな。icalじゃなくてicsと言えば良かったのか。
GoogleCalendarで読み込めるカレンダーデータがpipeで作れるんだけど、
charsetが付いてないから文字化けするんだ。
なんかGoogle様にいうよりpipes運営にいうほうが速そうじゃね？
Google様は腰が重いし。

もうポストしてきちゃった、てへ。ひょっとしたらポストするスレ違うかもしれないけど良いよね。

愛してるって伝えたくて

Firefox4.0でpipesで取ってきた画像が見れなくなったのですが、同じ症状の人いませんか
Google Chrome 12.0.712.0 devだとちゃんと見ることが出来るのですが

Fx4はベータの頃からリザルトページが表示されない。サイト側の対応待ち

Pipes側の問題なの？

dlvr.itのタイムスタンプ機能と同様の機能はPipesでできますか？

そのタイムスタンプ機能とやらをまず説明しろよ

Fx4に対応したね

そういう情報ってどこに書いてあるの？

公式フォーラム

こういうところとか
http://discuss.pipes.yahoo.com/Message_Boards_for_Pipes/threadview?m=te&bn=pip-genDiscuss&tid=4333&mid=-1&tof=3&rt=2&frt=2&off=1#-1

なるほど勉強になる

fetch pageから「2011.04.09」みたいなのを抜き出してdate builderにぶち込んでるんだが
最初の1件だけdeteを吐かないんだけどなんでだろ。

処理前に一件ダミーを追加して、あとでその一件を削除すればいいんでは

何でだろって、抽出は上手くいってるのならdate builderが理解できる形式じゃ無いんだろ。

401だが解決した。お騒がせして申し訳ない。

最近YQLで500 Internal Server Errorが頻発

作成したFeedが中身無しになるんだが、誰か同じ症状の人いない？
Listには表示されるのにRSSとして表示すると中身が出てこない。

V2からV1に戻したら解決した。
処理が速くなったら使ってみたけど、まだまだとんでもない地雷あるな。

V2エンジンはもう無かった事になりそうな勢い

いったい何が起きているんだ・・・

風前の

2chのスレってFetch pageで取れなくなった？

クロールしすぎでバーボン逝きになってるだけじゃね？

ttp://info.2ch.net/wiki/index.php?%A4%C8%A4%AB%A4%B2%A4%CE%BF%AC%C8%F8%C0%DA%A4%EA%2F%A5%D0%A1%BC%A5%DC%A5%F3%A5%CF%A5%A6%A5%B9#content_2_19
クロール用のアドレスはあるけど、最近は重いらしい

>>412 , 413
thx

スグレイピング

最近google readerの共有記事のrssをpipesが拾ってくれない……

最近GoogleNewsが重いなーPipesこり過ぎたかなーって思ってたら、feed自体が503返してやがる。
feedはユーザーがうるさいから用意しただけで、まともに使わせる気無いみたいだな。

Yahoo! Pipes勉強すれば「いくつもある2chまとめサイトのRSSを統合して画像スレだけを抽出、画像をRSSのサムネで吐き出す」的なことも出来るの？

勉強するまでもないけど

勉強するまでもないよね

勉強す(ry
でもどうかな。最後の「imgタグで画像を吐き出す」には、gオプション＋$1のバグが立ちはだかるだろ。

同じの吐き出す問題？

Pipesなんて使わんでもできるやろ？(´･_･`)

アニメイト、音泉、響とかの声優ネットラジオをPipes利用してPodcast化、更新されたらiTunesで毎週受け取るようにとか出来るんかな？
んなことしたらサイト側から規制される？
サッとググッて見たけど更新状況を通知してくれるRSSはあっても音源を取って来るトコまではしてくれない。勝手にポッドキャストは意味がわからん。
>>45-50辺りでyoutubeを取って来るPipesはあるみたいだし、それらの応用か？

音源のURLを生成出来れば出来る。

確かそこら辺のネットラジオはそのURLが難しいんじゃなかったっけ

Pipesで自分のGoogleリーダーのスター付きアイテムを読み込んでくるみたいな事って可能？
出先で画像流すRSSをサムネ見ながら気に入ったものだけさーっと星付けして
帰宅してPipesで自分の星付けたアイテムのサムネを元画像に変換してツールで全部保存
みたいな事を考えてるんだが

Googleリーダーのスター付きアイテムは、パブリック設定ならフィード出力できるから可能なはず

スター付きをパブリックにするのは前提として、
最終的にツールで保存するのが目的なら、Pipesではなくて
シェルスクリプトとかを組んだほうがいいんじゃないの

decooのpipesある？

最近GoogleNEWSのRSSが酷い。503しか返さない。
まあfeedのURL自体非公開なんだから推して知るべしといえばそれまでだけど。
RSS配信に積極的なのは結局朝日しか無いんだな。

産経をAutoPagerizeして全文配信で読んでるけど、たまに真っ白のエントリとかが混ざり込むなぁ。
試しにPipe Runから処理したらちゃんと動くし、負荷かバグだと思うんだが。

AutoPagerizeなんてあるのか・・

>>433
http://sankei.jp.msn.com/affairs/news/110522/crm11052218000007-n1.htm
こんな感じで複数ページに渡ってる記事の各URLを抜き出して1個のRSSにして、
この方法で1個のItemにしちゃえば簡単に出来るよ。
http://hapdaniel.wordpress.com/2009/05/20/concatenating-items-in-a-feed/

超面倒臭いけど。

>>434
そのブログは「何がお前をそこまで駆り立てるんだ」ってくらい面倒な物ばっかり作ってるよな。

ttp://www.nhk.or.jp/worldwave/abc/index.html
で（動的に10個くらい）表示される
javascript:openWinABC('******');
って形の文字列をpipesでいじりたいんだけど、
Fetch Pageしてもその文字列が取れないんだわ。

賢い人、うまい方法教えてください。

>>436
Fetch Feedでこっちをとったほうがいい
http://www.nhk.or.jp/worldwave/xml/abc_news.xml

>>437
お〜、ありがと。ばっちりできたわ。
xmlが用意されてるなんて、気づかなかったわ。
ソースにも載ってないのに、よく見つけるね。

Yahoo! PipesのDanbooru FullFeedを利用させてもらってんだけど
サムネ画像が一辺1000px超えてるのがずらっと並んでスクロールするの大変。
画像サイズを　width="200" height="200" で指定すれば小さくなるかと思ってやってみたが
縦横比が崩れてサムネの意味が無い。　2chブラウザのように200*200内に収まるように縦横比維持してサムネ表示
みたいな事するにはどこをどーすればいい？　教えてパイプえもン

<img src="$1$2" />
これを
<img style="max-width: 200px; max-height: 200px;" src="$1$2" />
こうすればいいんじゃない？

>>440
パイプえもンSUGEEEEE!!
希望通りの動作になりそうです、ありがとうございました。

>>436-438 ブラウザが検知してくれないxmlファイルってどうやって見つけるの？

Firebugsでも使えばそのXMLへのリクエストが飛んでることは一発で分かる。
Chromeでも「開発者ツール」とか使えば出るんじゃないかな。
というか、ブラウザは読み込んだ自分が読み込んだデータしか処理できないんだから
「検知しない」ってことは原理的にあり得ない。
ちなみにXHR飛ばしてるのは↓のコードのの154行目。
http://www.nhk.or.jp/worldwave/common/js/abcxml.js

何でそんなに誤字が多いんだ…

自分でも分からん。。
頭動いてると思ってたけど寝たほうがいいなこれ。

Pipesで生成されるフィードとおなじタイトルを記事中にいれこむことはどうすればいいのでしょうか？

>446
>>329

意味がよくわからんがfeed自体のタイトルをということかな。
select channel.title,channel.item from xml where url="http://www.nicovideo.jp/ranking/fav/daily/game?rss=2.0"
例はニコ動だけどfeedデータをxmlで取得してる。channel.titleがfeedのtitleでchannel.itemがfeedのitem
あとは適当に加工。

はてブ→まるごとRss→yahoo pipes→Evernote
って感じで記事を保存しているんだけど、はてブした際の自分のコメントを保存するようにできないでしょうか？
ttp://iup.2ch-library.com/i/i0326871-1306919467.jpg

まるごとRSSを通してもタイトルはそのまま残るっぽいから、そこにくっつければいいんじゃないの
はてブ→pipes(あとで分離しやすい書式で自分のコメントをタイトルにくっつける)
→まるごとRSS(全文化)→pipes(タイトルのコメントを戻す)→Evernote

どんだけややこしいんだよｗ

Regexって上から順に処理されてくって理解でいい？
例えば、item.linkの値を置換した後、次の行でまたitem.linkの値呼んだら
前の行で処理した値が呼ばれるんだよね？

Debuggerでは順次処理されてるんだが、Publishすると最初の処理しか反映されてないっぽい

更新したら再Publishしないと、最新の状態は適用されなかったと思うけど、そこは大丈夫？

>>453
半日放置したら反映されてた
即時反映したいときは再Publishしないと駄目なのね
覚えておきます
ありがとね

全体的に、タイムラグがあちこちにあるのが困り物だなあ

ほったらかしてたサブ垢が死んでた。長期間ログインしないと垢ごと消されるのか。

PipeのPublishってあれ検索用のフラグだろ？使ったことないわ。

>>456
そんなことってあるのか？？？

pixivにログインできないのでplaggerを入れてみようと思う
→perlインスコするもppmがGUIでうまくplaggerをインスコできない
→調べるとppmがGUIになる前のバージョンのperlがオススメらしい
→古いperlを探すけど見つからない
→もうシラネ俺の5時間返せ

pipeの動作確認にgoogleリーダー使っちゃ駄目だね
出力失敗したフィードもキャッシュしてゴミが溜まりまくる
最初キャッシュされてるの気が付かなくて悩んだわ

http://scraperwiki.com/
PHP Python Ruby でスクレイピングして CSV 取れるらしい。

URLのリンクだけを取得したいのですが

href="(.*?)" >
$1

だとできないのですが

ﾆﾀﾞｰ系の顔文字に見えた

っ \

Pipeを編集してるとアクセスしすぎで一時的にBANされるサイトがたまにあるな。
feedの内容なんかそんなに短時間で変わらないんだから
編集中は鯖側にデータを保持してくれたらいいのに。

おい待てなんて酷いこと言ってやがる。

We'll soon be upgrading all Pipes to the V2 engine.
We recommend upgrading your Pipes and trying out V2 before the switch.

ソースはこれなんですが

xxxx年xx月xx日
<dd>
<a rel="nofollow" target="_blank" href="http://aaa.com/bbb.html">○○○○○</a>

リンクを抽出したいのですが改行があるとだめなのでしょうか？

.*href="(.*?)".* → $1
regexの右の方にsのチェックボックスがあるだろ？
あれオンにすると . が改行にもマッチするから

V2エンジン強制移行の話はこの辺りだが何日の何時に移行とは書いてない。
V2 will be mandatory shortly.と言ってるだけ。
http://discuss.pipes.yahoo.com/Message_Boards_for_Pipes/threadview?m=tm&bn=pip-genDiscuss&tid=4378&mid=4378&tof=-1&rt=2&frt=2&off=1

だいぶ前から書いてあったよね。

>>465
こんなメッセージいつから出てた？
知らなかったけどまあどうせまた無かったことになるんだろ？

>>467
リンクが抽出できましたありがとうございます。

http://blog.pipes.yahoo.net/2011/06/10/pipes-v2-engine-timeline/
6/28から 新しいPipeはすべてV2になる　古いのはV1のまま使える
8/1から すべてのPipeがV2になる

以前V2にしたら動作しなくなったんだよな。
造り直さないといけないのか。めんどくせー。

X-DAYは8/1か・・・

ちゃんと互換性つけてくれよ・・・

ちょっとやったらたいてい問題なく動くが、url builderでUTF-8にエンコードができない。
元々ループ内で使えなかったりと微妙な応用方法だったけど、それでも地味に痛い。
あと大きいPipeはV1で動いててもV2ではタイムアウトする。
何でだ。V1とV2の鯖を分けてるのか。

twitter apiもv1鯖しかホワイトリストに入れていない気がする

V1とV2でpubDateの処理が変わるのか。

V1:<pubDate>Sat, 11 Jun 2011 06:35:36 -0700</pubDate>
V2:<pubDate>Fri, 10 Jun 2011 21:35:36 -0700</pubDate>

V1:<pubDate>Sat, 11 Jun 2011 06:48:41 -0700</pubDate>
V2:<pubDate>Fri, 10 Jun 2011 21:48:41 -0700</pubDate>

V1:<pubDate>Tue, 10 Aug 2010 10:35:45 -0700</pubDate>
V2:<pubDate>Tue, 10 Aug 2010 10:35:45 -0700</pubDate>

V1:<pubDate>Tue, 23 Nov 2010 15:09:35 -0800</pubDate>
V2:<pubDate>Tue, 23 Nov 2010 15:09:35 -0800</pubDate>

V1:<pubDate>Thu, 09 Jun 2011 14:47:50 -0700</pubDate>
V2:<pubDate>Thu, 09 Jun 2011 05:47:50 -0700</pubDate>

でもこんな感じで、同一フィード内でも変わってたり変わってなかったり。
あと、これまで連続する改行コードが1つに省略されてたみたいだけど、それが省略されなくなったみたい。

元のフィード:2011-06-11T13:35:36+09:00
V1:<pubDate>Sat, 11 Jun 2011 06:35:36 -0700</pubDate>
V2:<pubDate>Fri, 10 Jun 2011 21:35:36 -0700</pubDate>

>>479
要するに表記方法で言うと今までが間違ってたんだな。

V2、YQLにちょっと重たいデータを流すとまともに動かないな。これは困った

たしか正規表現の解釈も違ってたような
ほんと誰得のバージョンアップだよ……

V2動かなかった
つか鯖からレスポンスが返って来ない
軽い時間帯っていつ頃？

V2で動くことを確認したらV1に戻してほっとけば？V1鯖がV2鯖になるはずだし。

タイムスタンプ機能（日付の変更や修正をチェックする。タイトルとリンク先が同一でも日付が修正された場合は新規の投稿として認識する。）はあるのでしょうか？
また、そのやり方を教えてください。

俺もそれ困ってるんだよな
とりあえずURLに#日付追加して対処してるけどWiki系の対処しりたい

RSSで記事が同一か別かを区別するのはguidって要素で、
pipesの場合はy:id.valueに入れれば自動でguidになる
なのでy:id.valueを日付修正前と修正後で変えてやればいい

通常のRSSはdlvr.itのタイムスタンプ機能で日付の修正があった場合、新規の投稿として認識させています。

問題はDapperでスクレイピングして生成したRSSです。
dateの箇所が更新された場合、これまでdlvr.itのタイムスタンプ機能が正常に認識していました。
しかし、今月から仕様変更があったのか分かりませんが、dateの箇所が更新されていないにもかかわらず、読み込むたびに新規の投稿として認識してしまいます。
この問題の解決方法がありましたら教えてください。

user agentって偽装できるの？

>>489
うん

それはない

UAが偽装できたって役に立たないじゃん。むしろリファラーが偽装できるようになれ。

url builderがかましてあるからV2では動かないはずなのに結果だけ見ると動いてる。
キャッシュが効いてて一時的に見えてるだけなのかどうかすら、V2鯖が重すぎて確認できん。
Pipeの編集くらいまともにできるようにしてくれよ。

産経は印刷用ページを利用すると良いね
http://sankei.jp.msn.com/affairs/news/110620/crm11062018020025-n1.htm
http://sankei.jp.msn.com/affairs/print/110620/crm11062018020025-c.htm

news→print
-n1→-c

>>493
モジュールの互換性ってどこで確認するの？
何が動いて何が動かないかの一覧みたいなのが欲しい
つかアップグレードしたら「このモジュール動かないよ」ぐらい教えて欲しいわ

url builderで検索クエリ作成ができなくなったので
GoogleSpreadsheetにデータを置いてscriptでUTF-8エンコード
それをPipeからCSVで読み込むという変態チックな方法で凌ぐ事に。
エンコードModuleができれば万事解決なのに。

>>472
http://blog.pipes.yahoo.net/2011/06/27/phase-1-starting-for-v2-on-june-29th/
> V2 engine migration this Wednesday June 29th.
一日延びた悪寒

V1のpipeをコピーしたら29日以降でもV1で使えるのかな

明日からcloneもv2強制でござる

V1とV2って何が違うのさ?

根本的なことをいえば、スパゲティ化したソースを書き直したんだっけか

昔作った古いPipeが大量に復活してる。ほっといたら勝手に消えるかな。
変に消したら今使ってるのまで消しそうなんだけど。

gigazinの全文取得が駄目になったな

v2のWeb Serviceモジュールが動かない
日本語が含まれているとこんなJSONデータを送ってきやがる
{"items":[null,null,null,null,null,null, ... ]}

今なら報告すれば早急に対応してくれるんじゃね

>>504だけどWeb Serviceを使っていたpipeが勝手にv1に戻っていた
フォーラムにもnullになる報告が上がっていたのでそのうち直るんじゃないかな

お前ら結局urlencodeはどうしてるの。
俺は検索クエリ作成くらいしか使ってなかったから、致命的に困ってる訳じゃ無いけど。

いやURL Moduleでエンコード出来るようになってるじゃん

http://tu.178.com/
中華のサイトなんだけど、このサイトで画像追加されたら
RSSのサムネで表示して通知ってできるかな？

YQLモジュールで
select * from html where url="http://tu.178.com/" and xpath='//div[@class="a-img"]/a'
あとは好きなように編集

どうも一部のフィードだけ化けるようになってしまった…。
どういじれば直るんだろ。

鯖が重いせいなのかうまく動いたり動かなかったりするな。
V1がポイ捨てされるまで我慢するしか無いのか。

>>509
できたら公開頼むわー

>>511
前からたまになってたから、今回もふと直ると思ってる

俺も文字化け発生。文字コードは別に問題ないようだ。そのうち直るだろう。

文字化けしまくってる

今朝8時から動いてないんだけどどういうこと？

普通に動いてる
文字化けもしたことない

日本語が全部?になる

http://search.twitter.com/search?q=yahoo+pipes+%E6%96%87%E5%AD%97%E5%8C%96%E3%81%91

みんなで大騒ぎしてるだけじゃん。ここと全く変わりない。
UTF-8で書かれたHTMLをUTF-8指定でYQLにかけても文字化けするから、手の打ちようがない。

UTF-8のrssをfetch feedにそのまま入れたんですけど、
v1のままだったのはちゃんと日本語表示される。

v2にしてたのは今朝から???の嵐…

誰か英語がわかる人、ディスカッションに日本語のエラーを報告しておいてよ。

すでにある。
http://discuss.pipes.yahoo.com/Message_Boards_for_Pipes/threadview?m=tm&bn=pip-DeveloperHelp&tid=22286774&mid=22286774&tof=1&frt=2

ヘブライ語とロシア語もエラー出てるんだ…

やっと直ったのか

V2からV1に変更って何処で出来る？

もう戻せない。諦めろ。

復旧してから重くなったね

Dapperだとpixivの代理ログインできるね
ログイン後のtag検索結果も取得できた

でもURLに日本語が含まれてたら化ける
重いし

日本語はどこにいってもつらいなあ

「Looks like you don't have any Pipes」って何？
俺の作ったパイプはどこに行ってしまったん？

>>532
同じ現象おきてる…参った。
待てば直るんだろうか…

pipeから出力されたフィードは残ってるんだけど、サイトの変更に合わせて手直ししようとしてたのに…
困った…

今見たら直ってた
とりあえず一安心

>>532
他の人の作ったpipesを自分のpipesの垢で整形しようとするとなる時があるよね

Problem saving
Server Hangup

鯖ピンチだな

V2の制限
http://blog.pipes.yahoo.net/2011/07/21/the-pipes-v2-engine-limits-and-more/
・Subpipeは3階層まで。pipe -> subpipe1 -> subpipe2が限界
・Input Moduleは10個まで
・30秒でタイムアウト
・フィードのサイズは1.5MBまで

30秒でタイムアウトは今まで通りだからいいが、1.5Mってどのくらいだろ。

よく読んだら違うじゃん。fetchできるサイズが1.5Mなんじゃん。俺って馬鹿。

Date Builderの仕様がちょっと変わったな。見慣れない項目が増えた。
month_nameとday_nameはそのまんまで分かるとして、day_cardinal_suffixって何だ。

あと「2011-7-22 23:00 JST」こういうのを理解してくれなくなった。
以前はこれで理解してくれてたのに。時刻は00：00から23：59までしか理解しないみたい。

間違えた「2011-7-22 26:00 JST」こういうのをだ。

>>538
subpipeは入れ子じゃなくて、1つのpipe内で外部pipeを呼び出せる数じゃないの？

subpipeの件は深さについての話に読めるけども。
subpipe自体は何個でも置いていいけど、メインpipeの中のsubpipeの中のsubpipeの中に
さらにsubpipeを置いても認識されないという

Date Builderの仕様が安定しないな

前回見たときエラー扱いだった「2011.07.26」が理解できるようになってる。

デリミタや記述差によって解釈の違いがあるな
10/01/2011 00:00 UTC (2011年1月10日) dd/mm/yyyy
10/01/2011 00:00　　　 (2011年10月1日) mm/dd/yyyy
10/01/2011　　　　　　　（2011年10月1日) mm/dd/yyyy
10.01.2011　　　　　　　　 解釈できない

2011.01.10 　　　　　　　(2011年1月10日) yyyy/mm/dd
2011.01.10 00:00　 　　(2011年1月10日) yyyy/mm/dd
2011.01.10 00:00 UTC (2011年1月10日) yyyy/mm/dd
2011/10/01 　　　　　　解釈できない

自分で作ったpipesが他人に乗っ取られて編集できなくなってるんだけど、
そういう人ほかにもいる？

アカウント自体乗っ取られたんじゃなくてか

>550
そのpipesだけ編集できないのです。
My Pipesの一覧にも表示されてるし、
ログアウトしてBrowseで検索したら自分が作ったことになっている。
しかし、編集画面にいけず、Viewでみると他人が作ったことになってるｗ
v2の対策できんなぁ。

結果が1itemしか得られないんだが、みんなどう？

>>552だけど、たまたま生成に失敗してただけだったらしい。
今見たら1回目はConection Timeoutになって、2回目に正常表示された。

うーん、やっぱりv2になってから不安定だ。
今週に強制切替されるらしいから、なおさら不安定になりそうだ。

Pixivやらかしちゃってオワコンらしいけど代替えサイトの
TINAMIやPiXAのランキングのRSS配信Pipesってまだ無いよね
自分で作るしか無いのか…
会ったらいいなって思うPipesがいっぱいあるけどいかんせん創りだす技術がない。

ユーザ登録しないとデータ引っ張れないところは、Pipesだけじゃ手の打ちようが無い。
外部鯖にクロールさせりゃいいだけ何だけど面倒くさい。

>>555
dotCloud辺りで頑張れ

>>556
これ面白いな。

>>556
これは俺には無理だな

その中で分かるのがJavaしかない。
これは「Pythonくらい覚えろやチンカス」っていう神様の思し召しか。

V2になってからDate Formatterの%wがうまく動いてないみたいなんだけど曜日抜き出す時ってどうしてるの？

また文字化けか

バグった？

うん、俺の頭がな

また壊れてるな
タイトルだけになってる

DATEをうまく生成できてないみたいね

GUIDが変わった？
既読にした記事が復活した

v1表記のままv2に切り替わってないか？

同じPipeなのにV1で動作してる時とV2で動作してる時がある感じ。

Twitter中毒なので、Googleカレンダーに記入したスケジュールの1時間前になったらRSSを吐き出すパイプを作ったけど、
RSSをTwitterにPOSTするサービスがYahoo! Pipesと相性が悪いのばかりで、うまくツイートされない…

item中の「>」を消したいのですがv2になってからうまく消えないです。
regexで「>」を空白で置き換えるようにしていたのですが1文字ずつ試した所、おそらく「&」がうまく消えなくて無視されてると思います。
これは自分だけでしょうか？対処法はありませんかね？

すみません
>は＆gt;です

http://blog.pipes.yahoo.net/2011/08/05/full-v2-rollout-update/
v1のpipeに&_v2=trueをつけると一時的にv2になるらしい

Pipeは基本web上え使う事が想定されてるので、その手のエスケープ文字はうまく扱えない。

>>570
>>230
要するにこういう事か

>>569
リマインダーメールを「メールでツイート」に送りつければいいじゃん
既存のサービスをうまく組み合わせることから考えような？

自分の作ったPipesがGoogleReaderに読み込まれない、エラーが出る
そこらのRSSなら読み込む、他人のPipesも読み込む、GR以外なら読み込む
なんぞこれ。

よく分からんが >>460 かな？
guid変えれば良いと思う。
クローン作るのが手っ取り早い。

RSS 1.0 の時刻の形式がきちんと読み込めるようになってるな。下記みたいなの。
2011-08-09T21:40:11+09:00

以前は「+09:00」を反映してくれなくて時刻が9時間ずれてて修正が必要だった。

>>575
思いつかなかった！

ようやく文字化け直った

いつの間にかStringBuilderの入力欄が10個までになってた。

Dapperがフィードを配信しない。

String BuilderだけじゃなくてRegexとかも全部だな。
10個以上はModule分けた方が内部効率良いんだろうな。

【探しているアプリ】web ページが更新されたら通知してくれるアプリ(iPhone
【予算】なし
【検索したキーワード】wed、notice
【気になっている有料アプリ】なし
【既に試したアプリ・それでは駄目な理由】なし

RSSリーダで良いんじゃね？
RSS吐いてないHPの場合はYahoo!pipesとかを使えばいいよ

【探しているアプリ】web ページが更新されたら通知してくれるアプリ(iPhone
【予算】なし
【検索したキーワード】wed、notice
【気になっている有料アプリ】なし
【既に試したアプリ・それでは駄目な理由】なし

はてなアンテナで氏ね

fetch feed で入力する RSS の URL にクエリつけると無視される…

えらいことになった

具体的に言わんと分からん

Yahoo! Pipesがえらいことになった

えらいぞ！

えへんぷい

V2への完全移行はどうなった？とっくに8月第一週はすぎてるが

手持ちのいくつかがv2になってる。

順調に文字化けしてる

結構前のことなんだけど、8月12日の朝に受信したフィードはみんな変だった。

Fetch Pageで獲ってきた内容をRename->Copyでtitleやらlinkやらguidやらに御裾分けして、
あとはそれぞれをRegexで目的にあわせた形態に切り出し・書き換える、という割とフツーのパイプがたくさんあるんだけど、
あの日の朝にThunderbirdが受信してきたフィードはtitleとかにページ全部のHTMLが丸ごと入ってる素敵な状態だった。

手持ちのパイプはその数日前に全部V2化してちゃんと動作してたので、
12日のタイミングでV2への切り替えが行われたとかじゃないんだけど…。
一時的にRegexだけ動かなくなってたりしたのかな。

>>597
あ、同じ症状出た。
RSSビューワーで見たらそういう素敵な状態だったので慌ててPipe見たら正常に動いてた。
そのまま無視してたらその内直ってた。

強制的に移行するかとおもってたが、あいかわらずV1のまま動いてる

以前Pixivのデイリーランキング垂れ流し　みたいなPipes見た気がするんだけど
仕様変更とかで無くなったんかな？　クローンしておけばよかった、失敗したー

強制V2移行きましたよ

作り直しめんどくせー

作り直したら直したで文字化け・・・

どなたかDateFomatterでの数値表現であらわした曜日(0から6)って何なのかわかりませんか？
%wだと第◯週の数字しか出てきません。

移行期間があったのになんで今更作り直しとか逝ってる奴がいるのか

>>604
http://jp2.php.net/strftime
%W：その年の週番号の数値表現。最初の月曜日を最初の週の初日とする
%w：数値表現であらわした曜日(0 (日曜日) から 6 (土曜日))

逝ってるとかかなり久しぶりに見たｗ

逝ってよし

>>605
うん。その%wがうまく動かなくて困ってるんです。

やってみたら確かに出てこないな。%wはその月における週番号が出てるのか。
%uは未実装だし。%aは動くみたいだが。単純にバグだろうから報告すれば直してくれるだろ。

もう試してるような気もするけど
DateFormatter単独でなくてもいいなら
%aを指定しておいてStringReplaceとかで置き換える方法もあるかな

v2でもちゃんと動いている気が・・・する
というか文字化けしてた部分が直ってるわw

warning Max regex input length of 17500 exceeded
のエラーが出まくる、まぁPipes自体は特に問題なくフィード吐いてくれてるからシカトしてるんだけど…
.*の正規表現使ったら出るよね？

大きいのを処理しようとすると出るっていうなら仕様だけど。
loopのなかにsub stringをいれて必要な部分を抜き出して小さくしてからRegexをかけるといい。

URL Builderに日本語を入れたら正常にエンコードしてくれないな
v1の初期もこんな感じだったからいずれ改善されるといいのだが……

うーん、V2強制のあたりからguidがうまく設定できなくなった…。

item.linkをguidにコピーして、
プレビュー画面ではちゃんとguidとして表示されてるのに
実際に出力されたRSSには

<guid isPermaLink="false"></guid>

だけが入っててguidそのものが見当たらない。新着が取ってこれないよう…

俺のも上手く逝ってなかったわ。探したらこんな感じで出来るようだな。
http://pipes.yahoo.com/pipes/pipe.info?_id=Iq4alPIO3RGgAbcrw5tC8g

y:id.value を guid の代わりに使うには、
y:id.isPermaLink の true/false を手作業で指定してやらなきゃいけない？
なんだかどえりゃあ不便になった気が……。

何を面倒がってるのか知らんけどRegex Moduleで
y:id.value (?!^.+$) ${link}
y:id.isPermaLink (?!^.+$) true
とやればいいだけじゃない。項目が一つ増えただけジャン。

今までYahoo!pipesで作ったRSSがなかなか登録できなかったdlvrに、一度も引っかかることなく登録できた
改善されたのか、運がよかっただけなのか…

自動ツイートが遅いのは相変わらずだけど

公式フォーラム読めよ情弱

情強様が解説して下さるぞ

マジかよ助かるZE

Yahoo!Pipesの使用制限は1IPあたり200回/10分で、
Dlvr.itはこの10分で200回までの制限に引っかかってNGになる。
Dlvr.itはこれまで何度もYahoo!Pipesのホワイトリスト(使用制限を緩くするIPリスト)への追加申請をしているが、
Yahoo!Pipesはそれを一向に受け入れてくれない。

200回/10分に到達する前に作業をすれば引っかかることなく登録できる。
登録できても実行するタイミングでこの制限に到達していたらYahoo!Pipesを読み込めないからツイートされない。

運がよかったのね
ありが�d

このところちっともうまく動いてくれない
いつものように、そのうち直ると信じよう

同じ状況だ

ワークフローが崩れて結構大混乱したんだが、
おかげでPipesに依存しすぎてた自分に気付いたよ。

こっちはV2移行中になってからずっとリンクや配信時期がぶっ壊れてたpipeが
今日いつの間にか元に戻ってた
徐々に直りつつあるんじゃないか？

今日の昼、>>597みたいな現象が起きてた。今は直ってる。

V2、BASIC認証のページを取得するときに
http://username:[email protected]/
って書いてもダメになっちゃったのね・・

ｍｊｄ？それは大きくないか？

そこでYQLですよ
あるかは分からんけど

RSSを全文取得しようとすると
直リン画像がきちんと表示されないっていうのは
Pipesの問題じゃなくてサイト側が直リン禁止措置か何かやってるのかな？
shuushuu FullFeedとかサムネ画像が表示されない
でかいサムネ習得できるような
何か方法ありますか？

fc2なんかはリファラ見てるよね
Firefoxだとrefcontrolで対処できる

Googleリーダなら
https://www.google.com/reader/
で繋いでればリファラ空っぽだから見れそう

いや、FC2は自IPからのアクセスでないと画像が表示されない
画像置き場対策とは思うがせちがらい

自IPというのは違うか
FC2のページからのリクエストでないと画像が表示されないのよ

fc2とdtiblogなんかはrefererがそのドメインか空白なら見れたハズ

どっちにしろrefererの問題はPipe側ではどうにもならんな。ブラウザ側で処理する話。

試した感じ、FullFeedで習得出来なかった
hijiribe.donmai.usとe-shuushuu.netはFireFoxのrefcontrolで
リファラの送信阻止することで直リン画像表示できるようになりました。
Chromeでもhttps://www.google.com/reader/でアクセスすれば直リン画像を問題なく表示出来てます
問題解決しました、アドバイスありがとうございました。

danbooru.donmai.usで特定キーワードのブロックに使っているんだが、いつの間にかサムネイルが取得できなくなってるな。
試しにPipes通さない素通しのRSS見たらちゃんとサムネイル配信してた。
FilterのBloｃkしか通してないのに、なんでだろ。

feedのtitle部分にtitle + descriptionのように表示することって可能？

可能

リファラ偽装して読みに行けばいいよ

pipes自体にPubdateを吐かせず、
個別のエントリ毎のdc:dateを殺さないfeedを作りたいんです。

皆さんならどんな方法を考えますか？

自動で生成されるfeed自体のpubdateを殺したいと申すか。無理なんじゃないの。

Pipeを間違えて消しても見えなくなるだけで、実体は残ってるのかなひょっとして。
無いはずのPipeが動いてるというオカルト。いつ消したのか知らんけど。

違うブラウザにしたら見えるんじゃないかな

アドレス叩いても出てこないから無理。V1→V2のゴタゴタのせいかしらん。
昔はこんな事無かったような。

>>639
俺もそれなったわ。
仕方ないからフィルタリングだけの単純な奴はFeed Rinse に移行したよ。
こっちならサムネ表示されるよ。

>>645
自分で作ったPipeが自分のPipes一覧に載らない事がたまにある。
消したつもりがないなら多分それは消してなくて、一覧に表示されてないだけ。

>>639
descriptionを
<a href="${link}"><img src="http://danbooru.donmai.us${content.div.a.img.src}"></a>
に置換して表示してる

雨風呂の画像弾かれてる？

今日になってV2完全移行で動かなくなってたpipeが全部動き出した

うちは動かないからほったらかしのがいくつかある

Fetch Feedで1モジュールあたりに登録できるRSSが10個までになったね

Yahoo身売りの話題が出る度に、PipesとDapperのサービス停止が心配。

YahooPipesはやっぱり偉大だね。scriptで似たような事やろうとしたら面倒臭い事この上ない。

久しぶりに弄ってて気づいたがSplit Moduleが5分岐になってるわｗ

くっつけるほうが前から5つだったから、まあ理解はできる

　　　　　　　　　　　　　　　 ／　　　 　 ／,_ｭ_＞､　　　　　＼
　　　　　　　　　　　　　 ／　　　　　　 | ヽ　　ﾝ'　|　　　 　 　 ＼
　　　　　　　　 　 　 　 l　　　 　 ,. ､ -‐l ﾟi（○）i!ﾟ l- ､,,_　　 　 　 ヽ
　　　　　　　　　　　　　＼　 ／　 　 　 ヽ､`'''ﾞ ノﾉ　　　｀'ヽ､　 　 /
　　　　　　　　　　　　　 　 ｀| __,.. 　 -_‐ ニニﾆ ‐_-　､ _　　l ,.-'ﾞ
　　　　　　 　 　 　 　 　 　 〈.r '' ´　　　　　　　　　　｀ '' -={}
　　　　　　　　　　 　 　 　 /:::!`ァ- ､..,,＿＿＿＿,,,.. -､,''ﾞｿ:::ﾍ
　　　　　　　　　　　　　　/:::::l　ﾞ　,.r＝　 `　 ´　ｧ'-､　`　l::::_ｨ
　　　　　 　 　 　 　 　 　 〈ヽ|　　'ﾞ　　ノ　 i　　丶 　 　 　 l/,' |
.　　　, ‐　、　　　　　　 　 | 〉!　　　　　　 l　 　 　 　 　 　 l | ﾘ　　ａｇｅましょう
.　　　ヽ. 　 ヽ　　 　 　 　 ヽ`|　　　　　　l 　 _　　 　 　 　 ｋ/
.　 　 　 ヽ 　 ヽ　　　　　　　l｣　　　, 　　 ｀　　　　ヽ　　　l-ﾞ
　 　 　 　 ヽ.　 ', 　 　 /￣〉　ﾍ　　'　､ー――一ァ　　　/
　　　　　 　 ', 　 '、, べ、 ｌ　　 ヽ　　　ヽニニニｼ　　　/
　　　　　　　 ﾞ,　／　 _　ヽ!　　　 lヽ　　　-―-　　　／l
.　　　　 　 　 У_. イ　ヽ　 〉　　_,|　｀　､ 　 　 　 ／　 l_
　　　　 　 　 ﾉ ´_,.　‐ ヽヽ/;　 / ヽ　　　 ;￣￣　　 ,.イ l
　 　 　 　 　 |　　 　 　 ヽ | Lノ　　 ＼_　 ヽ　 _,.ィ´　　　L_
　　　　　　　 |　　 `´〉　 /　 ! l　　　 　 ﾌー／　　　　　/　｀〈_｀ ' ‐ ､
　　　　　 　 _｣　　　 ゝ,l_|　　l　ヽ 　 　 /￣￣ﾍ　　　 /　　　　｀ ' - ､｀tｫ､,_
　　　　 ,.ィ｢|,,.ゝ、　　　 ヽ.　 ｌ　 ヽ　　∧　　　ﾊ　　 /　　　　 　 　 　 ｀' -､ /ｽ､
.　 　 ／Yﾞ´　　 ヽ　　　　 l　 ｌ　　ヽ. /　〉t‐ 〈　ヽ／　　 　 　 　 　 　 　 　 ｀ - ト､
　　 /　　|　 　 　 |　　　　 |　l　　　 `　 l　|　 |　　　　　　　　　　　　　　　　 　 |　　i

なんか自分のpipeが全部消えてんだけどなにこれ

「このパイプは削除されているか非公開です」

存在するはずのパイプの管理画面や結果ページでこういうメッセージが英語で表示されたら
ブラウザのキャッシュ削除して数十分後に再度アクセスしてみ。回復してるから。

pipeが全部消える
↓
キャッシュ消してほっとけば良いらしい
↓
ほっといたけど直らない
↓
Readerに記事が来てはいるから編集できないだけで動いてはいるらしい←今ココ

>>662
同じく

他にもいるな
http://discuss.pipes.yahoo.com/Message_Boards_for_Pipes/forumview?bn=pip-DeveloperHelp

reader側に表示されるpipesの名前が全部pipes outputになったよ＼(^o^)／

適当にググったけど、同内容の報告が上がってなかったので
積んだと思ってたが、他にもいたんだな。ほっとした

Pipes TeamのPaulがいうには
「不具合は確認した。だが安心してくれ。」
何を安心しろと・・仕事で編集しなければならないのに・・

まだ消えたままですわー

／(＾o＾)＼

治った！

ほんとだ、直ってる

＼(^o^)／

回復した模様
http://discuss.pipes.yahoo.com/Message_Boards_for_Pipes/threadview?m=te&bn=pip-DeveloperHelp&tid=91473406&mid=91473406&tof=5&frt=2#91473406

完成したpipesをRSSに登録しようとRunpipeを押したら、別のpipesの結果を取ってくるんだが…
最近使い始めたばかりなんだが、よくあることですか？

キャッシュが効いてるんだとエスパー。しばらく待つかpipeをクローンしてみ？

>>674
クローンしても効果はありませんでしたが、しばらく経つと元に戻ってました
ありがとうございました

公式の右上でpipeをキーワード検索できると思うのですが、
その結果をcloneが多い順や、更新日時順に並べ替えることは出来るでしょうか？
どなたかご存知のかた教えて頂けると嬉しいです _ _

パイプ一覧画面系は全体的に閲覧性が悪いよね

編集画面がかっこよすぎだからしょうがないよ
一覧画面に使う金がなかったんだよ

WebServiceモジュールが安定しないからdotCloudで書き直した

dotCloudも垢だけ取って放置してるわ。ちょっと触ってみようかな。

facebook にリンクを貼った時のように、URL 情報だけ渡すと適当に画像と
description ぐらいを取ってきてくれるような使い方ってできます？

facebookを使った事無いから何の画像でどんなdescriptionなのか知らないが
fetch feedでもYQLでも使って何とでも出来る気はする。

>>677
せめてフォルダ分けくらいしたいねー

漏れら極悪非道のageブラザーズ！
今日もネタもないのにageてやるからな！
￣￣∨￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣
　 ∧＿∧ 　 ∧＿∧ 　　　age
　（・∀・∩）（∩・∀・）　　　　age
　（つ　　丿 （ 　　⊂）　age
　 （　ヽノ　　 ヽ/　　）　　　age
　 し（＿）　　 （＿）Ｊ

別に非道だとも思わなくなった

ageたところで誰も見向きもしないのな。
Pipesってそんなマイナーなのか？

・使うには多少知識がいる
・scriptの知識があるなら無料レン鯖借りてそっち使う。

同じ事をscriptのみでやろうと思ったらスゲエ大変だけどな。
クッキー認証を何とかしようと思ってpipesと同じ物をscriptで作ろうと思ったけど、1週間で辞めた。

確かにね

こういうYahoo!Pipesで吐いたのをメールで整形して送りたいときってどうするのがいいかな

Pipesで作ったのを携帯メールで見たいって知り合いがいて
mailpiaを使ってみたんだけどどうもRSS利用者向けというか、書式が知っている人向けと言うか・・・
Pipesのアドレスが出てしまったり、内容とタイトルが重複するんでタイトルのみにすると今度は改行が多くなったり、
日付が英語だったり

それPla？というのを使うといいと聞いたことがあるのですが、サーバー設置型ですよね・・・

うーん？

plaggerは鯖にも置けるはずだけど、基本はクライアントで動かすんじゃないの。
昔ちょろっと触っただけだけどさ。理解出来るならこれが一番早いよな。

String Builderのインプットの追加が
＋を押してもできないときがあるんだけど、
なんでかな？

>>538に引っかかってるんだとエスパー

filterで10個以上指定する場合どうすればいいですか？
縦にフィルターを2連結とかするとitem.summaryが消えてたりするから10個以上指定できなくて困ってます

ドロップダウンからは選べないけど直接入力したらいけました

>>693
そのとおりでした
お騒がせしました

V1の頃ってpipeをつなげると、item.hogeってのがあったらドロップダウンにでて選択できたのに
V2になってからtitleとかlinkとか基本的なものしかでてこないんだけど

really?

みなさんFocusHTMLの代替手段ってどうします？

せめてpipeのソートが出来るようにならんもんかね。
作ったpipeが増えてくると何がなにやらもうね。

Yahoo!がどっかに買収されるかもという話を聞いて、今後が心配になりつつある

Pipesとか確実に儲けらしいモンなんて出てないだろうし
他所のモンになったら素早くサービス停止か以後一切の更新停止とかかね
RSSを取り巻く環境はAppleやGoogleがそれなりに重用するから
昔からある割に近年妙に地位向上してる感があるから
Pipesにも残って欲しいねぇ

記事の取得数？が１５件なようなのですが
これを増やす方法はありますか？

Google買収後のfeedburner、Twitter買収後のfriendfeedのようになるかと…

同じつくりのページなのに、文字化けするページとしないページの違いはなんなんだろう…

毎年年末に各ユーザーが自作したPipesを持ち寄って
利便性や汎用性を評価して競いあう
YahooPipesコンテストとかどっかやらねーかな？
完全自分用に幾つか作って不満が残りつつ放置とか
Pipesの知名度も上がんないし自分の技術も上がんないし
イイトコ無しのまんまは勿体無い

yahoo pipesみたいなサービスでログインまで出来るものってない？
去年あたりに死んだmy remixが理想なんだけど・・・
plaggerっていうのにトライしてみたけど俺には敷居が高すぎた

敷居(しきい)が高(たか)・い
不義理や面目のないことがあって、その人の家へ行きにくい。

◆文化庁が発表した平成20年度「国語に関する世論調査」では、「あそこは敷居が高い」を、本来の意味である
「相手に不義理などをしてしまい、行きにくい」で使う人が42.1パーセント、間違った意味「高級すぎたり、
上品すぎたりして、入りにくい」で使う人が45.6パーセントという逆転した結果が出ている。
辞書：大辞泉

つまり、実際に行きにくかったんだろう

Fetch Feed で取得したフィードの各アイテムをランダムでシャッフル（並び替え）させることってできない？

>>703
それ、pipesじゃなくてリーダー側の設定でしょ。

編集できん…

俺も作ってたの保存されてなかった

以前の鯖劇重状態が復活したのかな。ほっとけばいい。
うかつに保存ボタン連打すると、同じpipeが量産されるぞ。

あー、みんなそうなのか

保存できねえ

直ったかどうか確認するために1時間おきにクローン押してるから、直ったときに同じパイプが大量にできてそうだ

急に人が増えてﾜﾗﾀ

ﾏﾀﾞｰ?

そうこうしているうちにスレが移転してわけがわからなくなった

Pipes is currently under maintenance. Creating or editing Pipes is disabled.

Oh mai gaa ('A`)

メンテナンス中で出来ないのか　いつまでかかるんだろ

(*´･д･)(･д･｀*)ｴｰ

http://pipes.yqlblog.net/2011/12/13/pipes-db-write-outage/
作ったり変更したりは出来ないけど、出力はURL直指定でできるよという話

何故作れないのか、いつまで作れないのかを説明してくれてないのか。。。

DapperとPipesが死んだらまじで困る。

このまま終わってしまうん？

思い知ったかね？

　こ れ が V 2 だ

本当にサイトの運営自体ヤバイならアナウンスがあるだろ。鯖が逝かれたんじゃないの。

anago.pipes.comとかに移転か

復活したらV3になってたっりとか

>>727
たしかに

Dapper、Pipes、dlvr.it
Googleリーダーインプット三種の神器がなくなると俺のフィード生活が破綻する。

俺の平穏無事なルーティーンも崩壊する

なおった？

やっといじれるな

YahooPipesって実はGoogleReaderとの相性悪いよね。NG Filterで大部分は事足りる。
最近はもうカレンダーファイル作成専用みたいになってる。

それはpipesをその程度にしか使ってないからだろう

たぶんクロール間隔の事を言ってるんじゃないかな。
確かにダルいがまあしょうがない。

更新多いやつだときついかもな

ニュース系だと1回のクロールで新着200とか逝くが解決のしようが無い

Fetch Feedの件数制限されてる？
なんか追加できなくなってる。１個減らしても駄目だ。

Googleリーダーの共有アイテムが廃止になった時のように、どうやって他のSNSやSBM、Evernoteに連携させるかというGoogleリーダーからのアウトプットは話題になるのに、肝心のPipes、Dapper、dlvr.itを使ったGoogleリーダーへのインプットの方は話題にならないね。

個人的にはdlvrへの制限さえなくなれば完璧なんだけどなあ

Dapper死亡中。このまま生き返らないと俺が死ぬ。

なんてこった、PipesだけじゃなくDapperまで弱ってきたのか。

このままDapperが生き返らなければ、Pipesでスクレイピングしなおしてフィード作成。
ああ気が遠くなる。

Dapper復活してる！（感涙）

とりあえず復活したが、すごい重い。
マウスでポチるだけでスクレイピングできてRSSフィードを作成できる素晴らしいwebサービス。

Dapperログインはできるが、RSSフィードを配信しない。
死んだ。

'`,､(；∀；) '`,､

Dapperが停止しているのに、全然話題にならないね。俺死にそうなんだけど。
Yahoo!Pipesでスクレイピングするのに、これを読んでみた。

Yahoo! Pipes の Page Fetch モジュールでスクレイピングし放題 - てっく煮ブログ
http://d.hatena.ne.jp/nitoyon/20071212/pipes_page_fetch

Yahoo Pipesでスクレイピング　ポイントはRenameとRegex: Non-engineer's PAPA-tronix !
http://weed.cocolog-nifty.com/wzero3es/2009/06/yahoo-pipesrena.html

Yahoo Pipes 使い方Tips 1 ？ TECH Matari
http://tech.ironhearts.com/blog/archives/388

100以上のページをスクレイピングするのに涙目になった。

むしろここ最近Dapperの話題しか書かれてないんだけど。

fetch pageよりYQL使う方が速いだろたぶん

YQLって正直使い方がわからない

まともに解説してるところって無いからな。
charsetが指定できたりxpathが使えたり色々便利。基本はSQLの文法だから覚えといて損は無い。

YQLわからないよね

うん

regexでいらない所を削ることしかできない…
不要な文字が正規表現使っても消えない事があってずっと悩んでたけど、最近になって見えないだけで</div>とかが残ってるせいで、うまく消えないって気がついた

fetch pageすると毎回引っかかるのが見えてないスペースが大量にある事。
regexで\s→/とかすると分かりやすい。

そう、それすごく困る。

がんばって全文配信するようにしても、結局記事内で複数ページに別れてたりして「続きを読む」が表示されるとイラッとくる。
ITMediaとかだね。こういうのどうしてる？
AutoPagerizeみたいなスクリプトを間にかませることが出来ればいけそうな気がするけど…。

今日も重たいですなあ

そうですなあ

Fatch pageで文字化けサイトにPage2Feed APIを使ったらいい塩梅だったけど、
Page2Feed APIがまともなフィードを吐き出す事がまれだから、もっと確実な方法があればいいなあ

やりまんalice_in_love_0318がチャットしてるよ〜
踏んじゃってｗ

…(´･ω･｀)

【カナダ人のちんぽを語るやりまんalice_in_love_0318】
negi_house79: 外人ふにゃなんでそ？ありsw
alice_in_love_0318: いやいや
alice_in_love_0318: 柔らかいのw
alice_in_love_0318: ふにゃじゃないw
oriental_shizuka: へぇーーーーｗ
alice_in_love_0318: 柔軟？
negi_house79: ほぉ
alice_in_love_0318: 日本人はすごい硬いよw
jun1202jun: なにの周囲に脂肪がついてるかんじ？
alice_in_love_0318: いや
negi_house79: 実がつまってるねw
alice_in_love_0318: なんだろ
alice_in_love_0318: ゴムみたいなw
jun1202jun: ああｗ
alice_in_love_0318: うんw
jun1202jun: なるほどｗ
alice_in_love_0318: 中でしなるよw
oriental_shizuka: ふむふむｗ
alice_in_love_0318: w
jun1202jun: 私はふにゃで良いｗ
alice_in_love_0318: www
negi_house79: しなる。。。りあるw
alice_in_love_0318: 黒人は硬いらしいよw
oriental_shizuka: ジャストフィットがいいｗ
alice_in_love_0318: ごめんw

…(´；ω；｀)

？

☆やりまん情報☆　韓流好き　富山在住　oriental_shizuka　広島在住　３５歳　不倫経験あり主婦jun1202jun　　神奈川在住　看護師３２歳　alice_in_love_0318　夜な夜な男アサリのチャットしてるよ〜ｗ　ふんでみてｗ

どうすんのこれ

dapperで新規作成できない。
久しぶりにRSSクリエイターのお世話になる。

はてなグループで更新された日記をRSSで読みたいんですが、何らかのウェブサービスを使えば可能でしょうか？

例 http://manabiai.g.hatena.ne.jp/
・ほとんどの日記はグループモード（一般には公開してない）
　　はてなにログインした状態でないといけない

・ほとんどの日記は下げ進行で書く人が多い
　　たとえば最新日記一覧のページ http://manabiai.g.hatena.ne.jp/diarylist を見ても
　　上がってないので更新されてるのかどうか分からない

公開されてないのでpipesでページを取得するのは無理。

Dapperなら代理ログインしてスクレイピングできると聞いたのですがどうでしょうか？
（いまサービス止まってますかね？　解説サイトを参考にしながら進めても途中で
「作成できない」とか言われるんですが……）

Dapper動かないね。
買収先が見つかるまで放置か？

え、だっぱーって死んでるの？

はてなからDapperのようなスクレイピングRSS生成サービスを出してほしない。

どういうこちゃ？

さあね

数日前からRSSに"No such pipe, or this pipe has been deleted"ってitemが出てくる
そのまましばらくしたら元に戻るからいいんだけど気になる

>>781
ほんとださっき確認した

RSS吐いてるんだけどエラーが出るサイトがあるんだよな
何とか扱えるようにならんかな。
IEやクロームでも見れないんだけどサファリだと見れる。
フェッチフィードにぶち込むと
Error: Invalid XML document. Root cause: org.xml.sax.SAXParseException: The processing instruction target matching "[xX][mM][lL]" is not allowed.
と出る。

だういうこっちゃ？

冒頭に改行が入ってたりして認識してくれないんでしょ

783だがfetch dataに突っ込んだら扱えるようだ。

暇だったからPipesとYQLでeucでURLエンコードするサンプル解説。途中から面倒になって説明手抜きだが察してくれ。
ログインして http://developer.yahoo.com/yql/console/ ここの右上MY YQLのとこで
Newをクリックしてファイルを作る。作るファイルは3つ。まずSave as Jabascript fileで2つ。
ttp://www.drk7.jp/MT/archives/001324.html これの elc と
https://raw.github.com/douglascrockford/JSON-js/master/json2.js これの json2。コピペで。
最後3つ目は Save as YQL table で内容はこんな感じ。http://pastebin.com/YeCiHV6J
hoge,fugaは右のさっき作ったjsのアイコンドラッグ&ドロップで。tableの名前はunkoとでもする。
yql/consoleに戻ってMY YQLのunkoクリックで use "store://___" as unko; desc unkoとかでるから
use "store://___" as unko; select * from unko where data=@data にして TEST クリック。
下の方の THE REST QUERY の値をコピー。ここから Pipes。
Fetch feedで なにか取得してそこから Web Service につないで そこにさっきのをペースト。
これでTitleの値がEUCにURLエンコードされるはず。
tableいじればsjisにしたりいろいろできるからお好みで。
あくまでサンプル。これでYQL(+js)でいろいろできることが伝わればいいが。

う、うんこペーストだと・・・？

いや、参考になった

fetch pageなくなってね？

それはDeprecatedに入って、新しくXPath Fetch Pageができてる

何が変わったん？

xpathわかってればこっちのほうがずっと使いやすいと思う
Emit items as string使うとFetch Pageぽくなる
HTMLの構造がはっきりしてるならas string使わずに抜き出す方が便利かもしれないけど
たとえば＜p＞1＜span＞2＜/span＞3＜/p＞みたいな構造のときに1が消えるのは注意だな

pipesでrss作ってpublishもしてるのに、yahoo pipesの検索でひっかからないのはなんか設定おかしいの？
3週かんくらい前に作って、もちろん普通に使えてる

Fetch Pageは6月末で使えなくなるんだって
それまでにXPATH Fetch Pageに書き換えろと
メインでたくさん使ってると大変だな

>>795
工エｴェｪ(´д｀)ｪェｴエ工
マジかそれ
なんか泣きそうだ

誰か6月までに解説記事書いて

//bodyでregexとloop-tokenizerをつなげたsubpipeつくれば
一応旧fetch pageみたいなのもできるけど
xpath覚えた方がいいんじゃないか

xpathはよくわからないんだよなー
勉強できるところないかな？

というかxpath自体が何なのかよく理解できない。

pipeｓ歴一週間にXpathなんたらなんてきついお
http://pipes.yahoo.com/pipes/pipe.info?_id=519f2d40866db3de55dd13edc751833a

yql使うためにxpathは覚えたいと思っていたから、ちょうどいい機会だと思うことにした

GWがxpath化修正で飛ぶ＼(＾o＾)／

大体修正終わった。
ただfetch pageだとリダイレクトされてるページも取り込めたけど、
xpathだと追えないみたいで困ってる。

xPathに限らず、リダイレクトに遭遇したときはマジで困る

ううむ

Pipesで取得したRSSフィードに元ページのファビコンを表示させる方法はありますか？

とりあえずここからがんばるメモ
ttp://ejohn.org/blog/xpath-css-selectors/
Goal CSS 3 XPath
All Elements * //*
All P Elements p //p
All Child Elements p > * //p/*
Element By ID #foo //*[@id='foo']
Element By Class .foo //*[contains(@class,'foo')] 1
Element With Attribute *[title] //*[@title]
First Child of All P p > *:first-child //p/*[0]
All P with an A child Not possible //p[a]
Next Element p + * //p/following-sibling::*[0]

いかん全然理解できない

多分一度わかれば今までよりずっと簡単なんだろうけど

XPathモジュール、idがclassみたいに複数使われてしまってる(不正な)ページだと
同一idのエレメントは何が何でも最初の1つしか取ってきてくれないっぽい。

まいった…。

Loopモジュール ２つまでしか使えなくなってない？

えっそれってどうするの

さて

誰か、fetch pageと同じ機能のpipes作ってよ

そんなのは作れるのか？

feed43

そういえばそういうのもあったな

いかんエックスパスわからん('A`)

>>797,801のおかげでfetch pageとほぼ同じ事ができるようになったけど、loop使えないのは困るなあ

dapperが不調なのでRSSクリエイターに移行したら、こちらも先週から不調。
XPath勉強しないとダメなのか…。

RSSクリエイターなんてものがあるのか

スレ違いだが
friendfeedの「仮想の友達」っていつのまにか、なくなってるんだね。

久しぶりに弄ったらXPath Fetch Pageなんてもんが増えてるし。
これでYQLからおさらば出来るのかな？

YQLの存在意義ははまだcharsetがあったわ。
Fetch Pageでcharsetを指定できればもう完璧だったんだけどな。

むしろなんでcharset指定できないんだろう

XPathに//*を指定して結果をstringで返せばfetch pageと同じ事が出来る・・・はずなのにねえ
なんか挙動がおかしいねこれ

誰かDapperに代わるスクレイピングRSSフィード生成サービス作ってくれないかな。

なんとかXPathFetchPageで欲しいデータを抜き出せるようになったんだけど...。
titleにデータが3件入っちゃってて、3件めのデータだけ表示したいんだけど、その方法がわかりません。
pipesの画面下のプレビューにはこんな感じで表示されます。

title
0 投稿日
1 投稿者
2 内容

実際にRSS表示をさせるとこんな感じになります。

投稿日,投稿者,内容

最後の内容だけを表示するにはどのようにすればいいのでしょうか？

がんばって調べてますが、もしわかる方、いましたら教えて下さい！

うーん、XPathモジュールが良くわからん。

サイト側のフィードには最新10件のアイテムが載っていて、
それをPipes上にFetch FeedやFind First Site Feedで持ってきてもちゃんと10件ある。

ところが、XPath Fetch Pageを載せたLoopとパイプで繋げた途端に何故か2件に減ってしまう。
それもXPathモジュールの段で10件から2件に減るというわけではなくて、
源流側のFetch FeedやFind First Site Feedをクリックしてみると、
不思議なことにその段で既に2件に減ってしまってるんだ。
Feed系モジュールをXPathモジュールから切り離したら普通に10件に戻る。どういうこっちゃ…。


>>828
普通にRenameモジュールで

item.title.2 [Rename] title

でよいのでは？

>>828
要するにXPATHをどう指定すれば良いのかという質問だと解釈した上での超エスパー回答
//table/tbody/tr/td[position()=3]
みたいな感じで逝けるんじゃないかな？実際のタグがどんな構成になってるのか知らんけど。
[position()=3]つーのは3番目のtd要素という意味。

このスレは暫くXPath質問スレになりそうやね。

ありがとうございました。

>>829
.2の使い方を間違ってたみたいです。

>>830
それも使えそうですね。

ありがとうございました!!

XPathわからないので、

//body

で下にプレビュー表示されるitemをひたすら開いて、目的の文字列を探して、その場所にたどり着くようにXPathを記述してます。
でも、全部開いても、出てこない文字列があるんですよね。
それで、ソースを見て、だいたいこのへんかな、っていうところのitem名に.contentを付けてみたら、その文字列が出てきたんだけど、同じ階層に違うデータがあって、それが1,2,3に別れちゃってて、3だけを指定する方法がわかりませんでした。

先にそれを書けって話ですが...。すみません。

こんなレベルで申し訳ないです！

//a/@href で href属性のURLが取得できなかったり、

//hoge/*[3] で hoge下の 3番目の子要素が取れないとか。

XPathの機能が完全に実装されてない感じ。


それとスレタイ検索で探したけど XPath専用スレが無いのは意外。

YXPと命名しよう

　　　　 )､.＿人＿人__,.イ.､.＿人＿人＿人
　　　＜´　文 字 化 け　直 し て っ ！　＞
　　　　⌒ v'⌒ヽr -､＿　 ,r v'⌒ヽr ' ⌒
// // //／::　<　　 ＿,ノ｀' 、ヽ､＿　ノ 　;;;ヽ　 //
///// /::::　　　（y○'）｀ヽ) ( ´（y○'）　 　　;;|　　/
// //,|:::　　　　　（ (　/　　　　ヽ) ）+　　　 　;| /
/ // |:::　 　　　+　 ) ）|~￣￣~.|（ (　　 　 　 ;;;|// ////
/// :|::　　　　 　　（ (||||! i: |||! !| |) ）　 　 　 ;;;|// ///
////|::::　　　　+　　 U | |||| !! !!||| :U　　　;;; ;;;|　///
////|:::::　　　　　　　| |!!||l ll|| !! !!| | 　　　;;;;;;|　////
// / ヽ:::::　　 　 　　| !　|| |　||!!|　　　　;;;;;;/// //
// // ゝ::::::::　:　　　| ｀ー----−'　|＿_／///

YQLでcharset指定すればいい。

文字列は String Tokenizer で複数のアイテムに分割できますが、逆に複数のアイテムを単一の文字列にすることは出来るでしょうか？

String Builderでちまちま集めるの。

わかってくるとこれ便利だな
楽しいし

YQLがわからない
とっかかりさえつかめない

･ﾟ･(ﾉД`)･ﾟ･

見に行ったらほんとになくなったのね・・・
おつかれさまでした

>>837
遅れてすみません、ありがとうございます。
（String Builder を使う方法もよく分からないのですが・・・）

たとえば簡単な例で言うと
アイテム１には title だけあって、アイテム２には description だけ入ってるとして、

これらからそれぞれ title と description を引っ張ってきて１つにする事は出来ますか？

あ、description の中には複数のアイテムに分割した結果も格納できるのかー。

ところで >>840-841 は何の事？

何だろう？

複数itemをmergeは何をどうやっても力業になるな。
>>218とか>>219とかが以前に出たけど、前準備がかなり面倒臭い。

で？何がなくなったの？

>>795

使ってないから分からないんだけど
すでに組み込まれてるのも機能しなくなったの？

過去に使ってる見に行ったら残ってたわ
新規に使えなくなっただけかな

deprecatedってのに分類されてた
さわいですみませんでした

いえいえ、めっそうもない

>>845
ここの過去ログまだ見てなかった (^_^;

しかしYQLか・・・

自分で作ったパイプでも数ヶ月たつと意味不明になる。。。
コメント機能があればいいのに、なんでないんだろう。もしかしてある？

pipe自体にdescriptionがつけれるじゃない。改行が入れれないからちょっと使い辛いけど。

仕方ないから途中に無意味なRegexモジュールとかをいくつかはさんで、メモ欄にしてる

pipesで乱数を使いたいんだけど、utimeの上7桁を下3桁で割ったら、いい感じの乱数になるかな？他にいい方法とか、あったら教えて下さい。

下三桁がゼロだったらどーすんの

下3桁に1000足しても、結果はそんなに変わらない？わからない...

無駄に乱数発行してくれるだけのフィードとかないかな

もう何がしたいのかわからない

855です。
なんか、割る意味がないような気がしてきた...。
単純にutimeから余りを出したほうがいいのかな？

>>858
phpで乱数を1個表示するページを作っておいて、そこをLoopで読み込ませるという荒技は使ったことがあります。データ数が多いと、サーバーにすごい負荷がかかりそうですが...。

このスレで以前にも出たけど
http://www.random.org/
適当にがんがれ

Pipes編集画面でよく遭遇する不具合

Loopモジュールがすでに使われているパイプで
新たにLoopを出してきて、その上に何かモジュールを載せようとすると、
なぜか、ドロップしたLoopではなく既存の別のLoop上のモジュールを置き換えてしまうことがある。
ちゃんとターゲットに赤い輪郭が付いたことを確認してても起きるときは起きるからｲﾔﾝ

>>862
あるある。

Loopモジュールを3個以上出すとなるような。

簡単なアンドゥ機能があるだけでずいぶん勝手が違いそうだよな

俺はloop出す前に必ずセーブするクセがついたよ

同じくｗ

ttp://www.webtopi.net/2012/06/yahoopipesxpath-fetch-page.html

これ書いてくれた人このスレの住人ですか？
かなり助かりました、ありがとう

おお

xpath部分の挙動が色々おかしいから修正入るだろたぶん。
まあxpathのお勉強と思えばいいのか。

修正が入った結果、
現状動いているのが動かなくなるのが悪夢

linkをもっているAというRSSと、titleを持っているBというRSSがあるとして
この2つのRSSから、linkとtitleを一対一で対応させたCというRSSを作るにはどうしたらいいですか?

対応する項目に共通の要素があるならuniteしてuniqueでいけるんじゃないかな
なければどうにかして作ってやれば・・・

>>871
YQLを使うらしいよ。 >>842-845

YQL講座誰か書いてくれないかなぁ。

なんで他人頼りなのか。自分で頑張るって選択肢はないのかよ。

Xpath Fetch Pageにfeedurlを突っ込んでも一応動くんだな。
意図した動き方なのかどうか分からんけど。

解説なんて検索すれば出てくるじゃん
作りましたーとか言って宣伝したいのか？

ふむ。

RSSフィードを生成後、元ページのファビコンを表示させる方法はありますか？

Multi-Hop Cycle Detected

って出るんだけどこのエラーの原因は何？

うちも出てた

俺も出た
Your request is prohibited because it would cause a cycle.

エラーの意味は大体分かったが原因が分からんので対処のしようがないですな。
Multi-HopがCycle起こしててぷぎゃーって事だろ。

唯一訳したDetectedがぷぎゃーって。

ワシも出た

Dapperに「Select based on XPath」が追加されている。
どうせならPipesと統合してくれ。

アメブロのRSSをpipesに通したらpubdateに+0000が表示されるのですがこれを消す方法ってありませんか？

？

えっとーアメブロをpipes通すと9時間の時差が生まれちゃうんですけどそれをpipesで治せないですか？

Yahoo! Pipes が出力する（RSS）フィードの時間がズレる問題を解決

それはみたんですがその通りやっても上手くいかなくて困ってます

おおおうおおうもう6月末じゃないか

本当にもう使えなくなるの？？？

あー、俺もぜんぜん直してないなー

regexつなぎすぎて動作が重たくなってしまいにはタイムアウトしてしまったんだけど軽くするつなぎ方とかある？少しずつ区切ってmypipesから呼び出しを繰り返せば早くなったりする？

せめて一覧画面でどれがFetch Page使ってるか警告出してよ。。。

>>894
できるだけ後戻りしないとか　ex.) PAT* → PAT*+
あるいはFetch Pageの結果をregexしてるなら前段階のxpathで細かく絞り込むとか。

regexの10個の欄を使い果たすとかは正規表現の書き方以前に何かおかしい気がするが・・・、

使えなくなるのはFetch Pageだけ？

Fetch Feedはまだいいんだよね？

Fetch Feed使えなくなったら俺生きる気力なくすわ

みんな、移行は済んだか？

いったいどーなってしまうのか

明日7月1日じゃん！

心なしか編集が重いのだが

まだちゃんと動いてるけど、時差のせいかな？

時差のせいかなというか間違いなくそうだろｗ

何も対策しないまま7月になってしまった
いつもこうだね僕ら

てか割と早かったよね、XPathモジュール登場からFetch Page廃止までの期間。

知らなかった奴らが大量に押し寄せてきそうな予感

さて、ほぼ全世界的に7月になったわけだけど、
FP残してる人、機能しなくなったとかエラー吐き出すようになったとか変化はあった？

fetchpageまだ残ってる
多すぎて消せないんじゃね

新設だけ禁止とかするわけにはいかなかったのかな

明日から動かなくなるPipesが山ほどあるwww

新設禁止だとCloneをどうするかという問題が。

FPモジュールの代替品として
大体似た動きをするサブパイプを用意して、
Y!側がそれに自動で置き換えてくれるのが一番助かったんだけど

item.foo　　123
item.bar　　456
のように数字を入れといて

item.hoge に合計を格納する事って出来ませんかね？

ん？

Filter で item.foo is greater than 100 とかしてるのに効いてない気がするんですが、、
これって数値で大小比較してくれますよね？　まさか辞書順？

？

作成したPipesのタイトルがバカみたいに長くなってしまったので
先頭から30文字で自動的にカットみたいな事したいんだけど
そういう事って出来る？

>>916
LoopにSub String
From:0 length:30で。

数字だけかと思ってたら見えない空白が入ってた。

もしかしてgoogleリーダーって重複する記事をフィルタリングする機能か何かついてる？
pipesから取得する時、先頭に必ずある特定の記事が入るはずなのに、一度取得してから2回目以降はその記事だけ取得してくれない

>>917
サンクスです
うまく行きそうです

Googleリーダーがどうかは知らないが、
重複判定はRSSリーダーとして普通の機能だろ

問題の記事にパイプ側で毎回違うguidを割り当ててあげればいいんじゃないかね。
現在日時あたりから作るとかで十分な気がする。

>>919
>もしかしてgoogleリーダーって重複する記事をフィルタリングする機能か何かついてる？
>pipesから取得する時、先頭に必ずある特定の記事が入るはずなのに、一度取得してから2回目以降はその記事だけ取得してくれない

Pipesからの記事だけに限らない。はてなアンテナRSSの更新情報やまぐまぐの最新号のみ配信も同様。
Pipesで対応できないのであれば、dlvr.itのタイムスタンプ機能をすすめる。

fetchpage問題なく使えてるなあ
油断してる所で一気に消して困らせる作戦か？

反発がでかかったんだろうねえ

ヤフオクID、アマゾンID、楽天ID再取得方法を指導します。

当方、過去数回ID停止になり、現在のように本人確認が導入されてからは再取得が

大変難しい状態となっておりました。

ですが、今回ID再取得に成功しました！

有償になりますが、本当に困っている方一度ご相談ください。

[email protected]

おまわりさんこっちです

Max regex input length of 17500 exceeded が出て動いてくれないんだけどどうすればいい？

どちらかあきらめてる

Regexをかけることが大事なら
→予めSub Stringで制限内でぶった切っておく

たとえRegexがかからなくても全文が入ってるほうが大事なら
→エラーでも構わないのでほうっておく

nozo_kotto５９歳！！一晩中チンコ部屋に潜んでチンコ三昧の哀れな女
nozo_kotto５９歳！！一晩中チンコ部屋に潜んでチンコ三昧の哀れな女
nozo_kotto５９歳！！一晩中チンコ部屋に潜んでチンコ三昧の哀れな女
nozo_kotto５９歳！！一晩中チンコ部屋に潜んでチンコ三昧の哀れな女
nozo_kotto５９歳！！一晩中チンコ部屋に潜んでチンコ三昧の哀れな女
nozo_kotto５９歳！！一晩中チンコ部屋に潜んでチンコ三昧の哀れな女
nozo_kotto５９歳！！一晩中チンコ部屋に潜んでチンコ三昧の哀れな女
nozo_kotto５９歳！！一晩中チンコ部屋に潜んでチンコ三昧の哀れな女
nozo_kotto５９歳！！一晩中チンコ部屋に潜んでチンコ三昧の哀れな女
nozo_kotto５９歳！！一晩中チンコ部屋に潜んでチンコ三昧の哀れな女
nozo_kotto５９歳！！一晩中チンコ部屋に潜んでチンコ三昧の哀れな女

作ってpublishもしたけど、pipesのサイトで検索してもヒットしてくれない

泣いた

yande.reのフィード加工しようと思ってるんだけど

Error fetching https://yande.re/post/atom. Response: 0
Error fetching https://yande.re/post/. Response: Forbidden (403)

みたいなエラーが出てフィードがそもそも拾えない
これって対策されてるってこと？

PIPESの運命や烏賊に

atomは直リン踏むと403。TOPから追うと見れるな。
あとPipesってhttps読めたっけ。

RSSクリエイター死んでる？
Pipesでスクレイピングできないサイトもあるので困るなぁ。

XPath Fetchの練習に、www.livlis.comのRSSを作ろうとしてるんだけど、
上手く行かないわ。
Extract using XPathに何を指定したら、RSS吐いてくれるん?

>>936
そのサイトは動的にデータを読み込んで表示してるから、ちょっと特殊でFetch Pageじゃ無理
たとえば"すべて"のタブだとデータの読み込み元は下のURLになってて、Fetch Dataで取得できる
http://www.livlis.com/1/statuses/public_new_timeline.json?action=all&user_id=undefined&available=1

そういうの分かる人ってすごいな

質問に便乗させて下さい。
こちらのページですがPipesでスクレイピングできないのですが解決方法を教えて下さい。
https://commodity-board.com/cat4

>>939
httpsだから駄目だと思う

http://に直してもブラウザでは同一に見えるんだけど内部的には無理なのかな

https://commodity-board.com/ならpipeから見えるけど
https://commodity-board.com/cat4は見えないんだよな。
metaタグで拒否されてる訳でもなさそうだし。単に重くて処理し切れてないのかね。

https://commodity-board.com/cat3とかhttps://commodity-board.com/cat5もダメだな。
なんでだろう。

https://commodity-board.com/にも>>939の最新5件が表示されてるから
//*[@class="list-def-news-01 clear"] とかで切り出せるけど
立て続けに新しい記事が追加されると取りこぼしちゃうかもしれないな。

>>937
解析してくれてありがとう!
なるほど、一筋縄ではいかないサイトだったのね。
しょうがない諦めるか。

FirebugとFirePathを導入したので、これから頑張るわ!

XPath使ってHTMLからデータを取り出す手間がないぶん
むしろ楽じゃないか？

PipesみたいなことできるサービスまたはCGIってありますか？

XPath+Loopを使って、linkをdescription中に展開するような事って
YQLのみで出来ないだろか?

普通にYQLにLINKURLを渡せばいいんでないの。どの部分が問題なのか分からん。

うん？

質問です。

数十サイトのブログRSSを取得して見ているのですが、その中の数サイトに未来記事(例,2030年,2012年12月)などの記事を
お知らせの代わりにアップしている記事のみを除外したいです。
一時的ならばいいのですが、数日経つとまた日付を変えて未来記事で書いてしまっているので、
日時を指定(当日のみ取得)して時系列ソートできないでしょうか？
もしくは、当日から72時間以内の更新日のみ取得は出来るでしょうか。
その際のフィルタ設定をご教授お願い致します。

date builderはnowとかtodayとかも入るから、
それをfilterにつなげればいい

日経ビジネスオンラインに連載されてる記事で、複数ページに跨った物を取り込んで
全文取得RSS化しようと思ったんだけど、ダメっぽいね。

そうか乙カレー

アメブロRSSのdescriptionのhtmlタグと改行を全部削除したいのですが、

Regex
item.description replace <.*?> with (半角スペース) g m

でできないのですがどうやればいいのでしょうか・・・

タグはそれで全部消えると思うけどなぁ
あと\nも消すか

作ったpipeの説明の文章で改行が使えないのが非常に不便

いろいろと不便が多いな

ノーブレークスペースが消えないのが不便
タイトルに不恰好なスペースが残ってイーってなる
みんなは割り切って使ってるのかな？
それとも俺が消し方に気がついてないだけ？

タイトルにノーブレークスペース？どういうこっちゃ？

ノーブレークスペースは外見上は半角スペースと区別できないのに\sにマッチしないのがややこしい
Regex系のモジュールは"\xA0"という形式で文字コードを指定できるようなので
replace:"\xA0", with:""とかで消せる

なんだ、そんなことができたのか

>>960
ありがとう！
愛してる！

>>959
Xpath Fatch Pageで引っ張ってきた文章の一部からタイトルにする文を抜き出そうとしたら、ソースが
「<p id="topic-path"><a href="/index.html">ホーム</a> >> [タイトルに使いたい部分]</p>」
のようになってて、[タイトルに使いたい部分]以外を消そうとしても、前に2つノーブレークスペースが残ってしまっていたのよ

なるほど

質問なんですが、こんな表示の出し方できますか？

Aサイトの1番目の記事
Aサイトの2番目の記事
Aサイトの3番目の記事
Bサイトの1番目の記事
Bサイトの2番目の記事
・
・
・

ようはサイトごとにまとめて表示したいんです。是非終えてください！

最初の状態で順番がぐちゃぐちゃになってるってこと？
まずlinkをcopy asして適当な名前(例えばaaa)でitemを作る。
Aサイトがwww.hoge.comだったら、regexでそれ含んでたら1に置き換える。
同じようにしてBサイトは2で。あとはaaaでsortすればいい。

(´‥∀‥`)ほう

今、ちょっと悩んでるんだが、
http://www.foursp.jp/erika/blog/
をRSS化する場合、どう処理するのが適切?

select * from html where url="http://www.foursp.jp/erika/blog/" and xpath="//*[@class='entry-body']"

だと、タイトル付けられないし、本文の一部が飛ぶ。

pipesじゃなくて、dapper使うと写真取り込んでくれないし。

>>967
//*[@class='entry'] でいいんじゃないの。
あとからregexでタイトル抽出したり本文抽出したり。自分は日付も抽出してpubdateにしたい。
あと本文が飛ぶってのはよくわからない。たしかにYQLでそれやると
例えば最新記事の「家族でお出かけ」の行とかがきえてしまうけども、
XPath Fetch PageでEmit items as stringにチェック入れてると問題ないような。

http://tr.twipple.jp/gazou/
このサイトでランキング画像を取得したいんだけど
javascriptが絡んでて取得できない・・
教えて下さい。

>>969
ttp://tr.twipple.jp/data/url_ranking/image/recent.js

前後にゴミがついててJSONと認識されないな
まずFetch Dataで取得したあとに、Regex使って
最初の所を {"rankingList" になるようにして、最後の所を }]} になるようにすれば
勝手に配列に直してくれる

>>971
Regexのところの
in、replace、withにどのように書いてゴミを除けばいいか教えて下さい

>>972
最初は削るよりくっつけたほうが早いか
item.content　replace　^　with　{"lastUpdate":
item.content　replace　\);$　with　(空白)

↓そろそろ次スレ？

>>973
ありがとうございます！出来ましたm(_ _)m

新スレ用のテンプレとか、ある？

ときどきYahoo! Pipes以外のサービスの話題も出てるようだが
スレタイはこのままでいいか？

>>968
多分コレで大丈夫って感じにしてみたものの、新しいエントリーが流れてこないｗ
ともあれ、ありがとう。

日付のpubDate化が上手く行ってるかどうかだな〜。

>>978
小池唯のブログのフィード作った時は、pubateがうまくいかなかったから、リンクの後ろに?とブログのタイトルをくっつけて、無理やり新しいリンクを生成した

エントリーは一つのタグではなく「<dr> タイトル </dt> <dd> 内容 </dd>」でまとめられている場合はどうやってアイテム化するのだろ。
本当は XPath で指定したいけど、まだそこまで高度な記述が出来ず、とりあえず deprecated の Page Fetcher で取得して正規表現で過去したのだが。

確かに

descriptionを部分配信に変更したいです。

例えば、description文字数５０文字以降は削除

と、したいのですが、正規表現がわかりません。
ご教授お願いします。

replace ^(.{50}).* with $1

980超えたら1日で落ちるんだっけ。

>>983
その前にタグを削除だな

ありがとうございました！

とりあえず、下記のようにしています。
item.description　replace　<.*?>　with [半角スペース]
item.description　replace　\r|\n　with [半角スペース]
item.description　replace　^(.{50}).*　with [$1]

タグ＋改行＋文字数50です。

>>979
このスレにファンが居るとは思わなかったｗ

無理やり新しいリンクって、どんなやり方したの?

>>987
現物が見つからなかったので、簡単に再現
ttp://i.imgur.com/WthPu.jpg

トップページのURLの後ろに?とタイトルをくっつけることで新しいリンクを生成
記事への個別のリンクがなくて、とりあえず更新を通知すればいい場合はこうしてる

たぶんもっといい方法があるだろうけど、思いつかない

【RSS】　　Yahoo! Pipes 2　　【XPath】
http://toro.2ch.net/test/read.cgi/esite/1347235174/