Din aventurile parsarii paginii de cursuri valutare de la ING :
Mai intii, cum se obtin din browser : https://www.ingonline.com/ro/ , se apasa pe “rate de schimb” din dreapta, apare “Cursuri de schimb” – si se apasa pe el.
Am zis ca e simplu de luat pagina – dar nu e chiar asa.
Prima pagina ,https://www.ingonline.com/ro/ , are un iframe – OK, nimic deosebit. Dar pagina la care face referire iframe are un jscript care scrie menu-ul din dreapta…deci cam greu de obtinut fara browser. Nu-i nimic –sa vedem ce face “Cursuri de schimb” – face doar selChild(17).
Am vazut codul din JS *dar cum sa vad menu-ul 17? M-am uitat in js-uri –dar erau un pic prea complicate(ma rog, mi-a placut
var sess_length = 24*60*.0104166666666666666666666666666666666667; //logoff time in minutes
) Aici firefox + firebug a fost de ajutor. M-am dus pe pagina, am selectat din menu-ul lui Firebug sa afiseze js-ul si am pus breakpoint pe functie. Si gata – am vazut valoarea
Acelasi lucru l-am obtinut si cu IE8, developer tools(F12).Am pus start debugging, am ales scriptul cu pricina – si voila!
Din pacate, m-am oprit aici ., pentru ca https://www.ingonline.com/ro/directcertro/!UPR.Dispatcher?ps_redir_proc=exchangerates face redirect la home page . De ce? Mister deocamdata – dar poate ma ajuta cineva…
Eu zic ca-i simplu. Redirect-ul mentionat de tine este generat server-side, functie de Referer.
Cum am rezolvat aceeasi treaba un Ruby folosind WWW::Mechanize:
—
#!/usr/bin/ruby
require ‘rubygems’
require ‘mechanize’
agent = WWW::Mechanize.new
agent.user_agent = "Windows Mozilla"
agent.get "https://www.ingonline.com/ro/directcertro/!UPR.Dispatcher?ps_redir_proc=homepage"
body = (agent.get "https://www.ingonline.com/ro/directcertro/!UPR.Dispatcher?ps_redir_proc=exchangerates").body
puts body
—
Si explicatia:
Pentru inceput vizitez url-ul obtinut cu Firebug pt. Referer, apoi vizitez url-ul ce ma intereseaza direct si obtin datele.
ciudat – dupa mai multe incercari, in care am incarcat certificatul, a mers doar cu :
ServicePointManager.SecurityProtocol = SecurityProtocolType.Ssl3;