-
Notifications
You must be signed in to change notification settings - Fork 0
/
Copy pathpost_requests.txt
57 lines (46 loc) · 2.44 KB
/
post_requests.txt
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
#value="0" représente le numéro du billet dans la liste des billets donnés par la requête. Ici, il y a plus de 260 billets dispo, donc
#la dernière page commence par le billet n°261. Ce chiffre part dans la requête, mais où?
#Surement une requete POST, car Firefox demande de renvoyer la requête quand on fait "Précédent"
#<input type="hidden" name="L_start_prec" value="0">
#<input type="hidden" name="L_start_suiv" value="21">
#<input name="L_start_fin" type="hidden" value="261">
#L_ancien_choix=rech_recents&L_start_debut=0&L_start_prec=0&L_start_suiv=21&choix_billets_suivants=En+cours+...&L_start_fin=481&L_places_r=1&L_h_deb_r=00&L_h_fin_r=24&L_tri_col=date_depot&L_tri_sens=DESC&L_javascript=O
Données Wireshark
POST / HTTP/1.1
content-type:application/x-www-form-urlencoded
host: trocdestrains.com
content-length:217
L_ancien_choix=rech_recent
&L_start_debut=0
&L_start_prec=0
&L_start_suiv=21
&choix_billets_suivants=En+cours+...
&L_start_fin=
&L_places_r=1
&L_h_deb_r=00
&L_h_fin_r=24
&L_tri_col=date_depot
&L_tri_sens=DESC
&L_javascript=O
URI: http://trocdestrains.com/affichage-billets-suivants.html
donnees = {'L_ancien_choix':'rech_recents',
'L_start_debut':'0',
'L_start_prec':'0',
'L_start_suiv':'21',
'choix_billets_suivants':'En cours ...',
'L_start_fin':'481',
'L_places_r':'1',
'L_h_deb_r':'00',
'L_h_fin_r':'24',
'L_tri_col':'date_depot',
'L_tri_sens':'DESC',
'L_javascript':'O'}
19.08.2014
Dernière analyse: dysfonctionnement de requests. L'url affichée ne semble pas correspondre à une URL post. Plus
généralement, pb dans la construction de la requête. L'URI affichage-billets-trains répond, mais à côté: ne comprend
pas la requête envoyée. A creuser avec urllib ou requests.
20.08.2014
POST /affichage-billets-suivants.html L_ancien_choix=rech_recents&L_start_debut=0&L_start_prec=0&L_start_suiv=21&choix_billets_suivants=En+cours+...&L_start_fin=481&L_places_r=1&L_h_deb_r=00&L_h_fin_r=24&L_tri_col=date_depot&L_tri_sens=DESC&L_javascript=O
Je n'arrive tjs pas à lui faire passer une requête POST.
21.08.2014
Je change de tactique: le script tournera régulièrement, toutes les heures, pour scraper le site. Ne reconstitue pas la BD, mais évite d'en passer par une requête POST. Tout repose donc sur le module requests et sa capacité à ouvrir la page des billets du jour. Pb: le site me redirige dès que je balance l'URL des billets du jour. Le code retour HTTP 302 commence à me faire chier. Comment éviter de l'activer ?