Skip to content

12. Webservices in Python

  

Python-scripts kunnen worden uitgevoerd door een server WEB. Deze server luistert naar verzoeken van clients. Vanuit het perspectief van de client komt het aanroepen van een service WEB neer op het opvragen van de URL van die service. De client kan in elke gewenste taal worden geschreven, met name in Python. We moeten kunnen „communiceren“ met een WEB-service, dat wil zeggen het Http-communicatieprotocol tussen een webserver en zijn clients begrijpen. Dat is het doel van de volgende programma’s.

De webservicescripts worden uitgevoerd door de Apache-webserver van WampServer. Ze moeten in een specifieke map worden geplaatst: <WampServer>\bin\apache\apachex.y.z\cgi-bin, waarbij <WampServer> de installatiemap van WampServer is en x.y.z de versie van de Apache-webserver is.

 

Het is niet voldoende om de Python-scripts in de map <cgi-bin> te plaatsen. Het script moet op de eerste regel het pad naar de te gebruiken Python-interpreter vermelden. Dit pad wordt als opmerking weergegeven:

#!D:\Programs\ActivePython\Python2.7.2\python.exe

De lezer zal dit pad aanpassen aan zijn eigen omgeving.

12.1. Client/server-toepassing voor datum en tijd

Onze eerste webservice wordt een datum- en tijdservice: de client ontvangt de huidige datum en tijd.

12.1.1. De server

Het programma (web_02)

#!D:\Programs\ActivePython\Python2.7.2\python.exe

import time

# headers
print "Content-Type: text/plain\n"

# tijd naar de client verzenden
  # lokale tijd: aantal milliseconden sinds 01/01/1970
  # "weergaveformaat datum-tijd
  # d: dag in twee cijfers
  # m: maand (2 cijfers)
  # y: jaar in twee cijfers
  # H: uur 0,23
  # M: minuten
  # S: seconden

print time.strftime('%d/%m/%y %H:%M:%S',time.localtime())

Opmerkingen:

  • regel 6: het script moet zelf een aantal HTTP-headers van het antwoord aan de client genereren. Deze worden toegevoegd aan de HTTP-headers die door de Apache-server zelf worden gegenereerd. De HTTP-header op regel 6 geeft aan de client door dat er een bron in het formaat text/plain wordt verzonden, dat wil zeggen onopgemaakte tekst. Let op de "\n" aan het einde van de header, die een lege regel achter de header genereert. Dit is verplicht: deze lege regel geeft aan de HTTP-client aan dat de HTTP-headers van het antwoord zijn afgelopen. Daarna volgt de door de client opgevraagde bron, in dit geval onopgemaakte tekst;
  • regel 18: de naar de client verzonden bron is een tekst die de huidige datum en tijd weergeeft.

12.1.2. Twee tests

Het bovenstaande script kan rechtstreeks door de Python-interpreter in een opdrachtvenster worden uitgevoerd, zoals we tot nu toe hebben gedaan. Zo kunnen eventuele syntaxis- of uitvoeringsfouten worden opgespoord. Het resultaat is als volgt:

1
2
3
4
cmd>%python% web_02.py
Content-Type: text/plain

24/06/11 11:16:55

Nadat het script op deze manier is getest, kunnen we het in de map <cgi-bin> van de Apache-server plaatsen (zie paragraaf 12). Laten we de applicatie WampServer starten. Hiermee worden zowel een Apache-webserver als een MySQL-database gestart. We gebruiken voorlopig alleen de webserver. Vraag vervolgens met een browser de volgende URL op: http://localhost/cgi-bin/web_02.py:

  • in [1]: de opgevraagde URL;
  • in [2]: het door de browser weergegeven antwoord;
  • in [3]: de broncode die door de webbrowser is ontvangen. Dit is inderdaad de code die door het Python-script is verzonden.

Met bepaalde tools (in dit geval Firebug, een plug-in voor de Firefox-browser) kun je de HTTP-headers bekijken die met de server worden uitgewisseld. Hierboven heeft de webbrowser de volgende HTTP-headers ontvangen:

1
2
3
4
5
6
7
HTTP/1.1 200 OK
Date: Fri, 24 Jun 2011 09:35:02 GMT
Server: Apache/2.2.6 (Win32) PHP/5.2.5
Keep-Alive: timeout=5, max=100
Connection: Keep-Alive
Transfer-Encoding: chunked
Content-Type: text/plain

Op regel 7 en 8 herkennen we de HTTP-header die door het Python-script is verzonden. De voorgaande headers zijn gegenereerd door de Apache-webserver.

12.1.3. Een geprogrammeerde client

Het programma (client_web_02)

We schrijven nu een script dat als client voor de vorige webservice zal fungeren. We maken gebruik van de functionaliteiten van de module httplib, die het schrijven van HTTP-clients vergemakkelijkt.


# -*- coding=utf-8 -*-

import httplib,re

# constanten
HOST="localhost"
URL="/cgi-bin/web_02.py"
# verbinding
connexion=httplib.HTTPConnection(HOST)
# opvolging
connexion.set_debuglevel(1)
# verzoek verzenden
connexion.request("GET", URL)
# verwerking van het antwoord
reponse=connexion.getresponse()
# inhoud
contenu=reponse.read()
# verbinding verbreken
connexion.close()
print "------\n",contenu,"-----\n"
# tijdgegevens ophalen
elements=re.match(r"^(\d\d)/(\d\d)/(\d\d) (\d\d):(\d\d):(\d\d)\s*$",contenu).groups()
print "Jour=%s,Mois=%s,An=%s,Heures=%s,Minutes=%s,Secondes=%s" % (elements[0],elements[1],elements[2],elements[3],elements[4],elements[5])

Opmerkingen:

  • regel 3: de module re is nodig voor reguliere expressies, de module httplib voor de functies van HTTP-clients;
  • regel 9: er wordt een HTTP-verbinding tot stand gebracht met poort 80 van HOST, zoals gedefinieerd op regel 6;
  • regel 11: via de log kunt u de HTTP-headers van het verzoek van de client en het antwoord van de server bekijken;
  • regel 13: de URL van de webservice wordt opgevraagd. Er zijn twee manieren om deze op te vragen: met behulp van een HTTP-commando GET of POST. Het verschil tussen beide wordt verderop uitgelegd. Hier wordt deze opgevraagd met het HTTP-commando GET;
  • regel 15: het antwoord van de server wordt gelezen. Hier wordt het volledige antwoord ontvangen: de HTTP-headers en de door de client opgevraagde bron. In zijn antwoord kan de server de client hebben gevraagd om door te sturen. In dat geval voert de client httplib de omleiding automatisch uit. Het ontvangen antwoord is dus het resultaat van de omleiding;
  • regel 17: het antwoord bestaat uit de HTTP-headers en het door de client opgevraagde document. Om alleen de HTTP-headers op te halen, gebruiken we [reponse].getHeaders(). Om het document op te halen, gebruiken we [reponse].read();
  • regel 19: zodra het antwoord van de webserver is ontvangen, wordt de verbinding met de server verbroken;
  • we weten dat het door de server verzonden document bestaat uit één tekstregel in de vorm 15/06/11 14:56:36. In de regels 22-26 gebruiken we een reguliere expressie om de verschillende elementen van deze regel te extraheren.

12.1.4. Resultaten

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
send: 'GET /cgi-bin/web_02.py HTTP/1.1\r\nHost: localhost\r\nAccept-Encoding: identity\r\n\r\n'
reply: 'HTTP/1.1 200 OK\r\n'
header: Date: Tue, 14 Feb 2012 14:51:07 GMT
header: Server: Apache/2.2.17 (Win32) PHP/5.3.5
header: Transfer-Encoding: chunked
header: Content-Type: text/plain
------
14/02/12 15:51:07
-----

Jour=14,Mois=02,An=12,Heures=15,Minutes=51,Secondes=07

Opmerkingen:

  • regel 1: de HTTP-headers die door de client naar de webserver zijn verzonden;
  • regels 2-6: de HTTP-headers van het antwoord van de webserver;
  • regel 8: het door de server verzonden document;
  • regel 11: het resultaat van de verwerking ervan;

12.2. Het ophalen door de server van de door de client verzonden parameters

In het HTTP-protocol heeft een client twee manieren om parameters door te geven aan de webserver:

  1. hij vraagt de URL van de dienst aan in de vorm 

GET url?param1=val1&param2=val2&param3=val3… HTTP/1.0

waarbij de waarden vali eerst moeten worden gecodeerd, zodat bepaalde gereserveerde tekens worden vervangen door hun hexadecimale waarde.

  1. de URL van de dienst opvragen in de vorm 
POST url HTTP/1.0

en voegt vervolgens aan de HTTP-headers die naar de server worden verzonden de volgende header toe:

Content-length: N

De rest van de door de client verzonden headers eindigt met een lege regel. De client kan zijn gegevens vervolgens verzenden in de vorm

val1&param2=val2&param3=val3…

waarbij de vali, net als bij de methode GET, vooraf moeten worden gecodeerd. Het aantal tekens dat naar de server wordt verzonden, moet N zijn, waarbij N de waarde is die in de header is opgegeven:

Content-length: N

12.2.1. De webservice

De volgende webservice ontvangt drie parameters van zijn client: nom, prenom, age. Deze worden opgehaald uit een soort woordenboek met de naam cgi.FieldStorage, dat wordt aangeleverd door de module cgi. De waarde vali van een parameter parami wordt verkregen via vali=cgi.FieldStorage().getlist("parami"). Dit levert een array op met:

  • 0 elementen als de parameter parami niet in het verzoek van de klant voorkomt;
  • 1 element als de parameter parami één keer in het verzoek van de klant voorkomt;
  • n elementen als de parameter parami n keer in het verzoek van de klant voorkomt.

Zodra de parameters zijn opgehaald, stuurt het script deze terug naar de klant.

Het programma (web_03)

#!D:\Programs\ActivePython\Python2.7.2\python.exe

import cgi

# headers
print "Content-Type: text/plain\n"

# het ophalen door de server van de door de client verzonden informatie
# hier voornaam=P&achternaam=N&leeftijd=A
formulaire=cgi.FieldStorage()

# deze worden teruggestuurd naar de client
print "informations recues du service web [prenom=%s,nom=%s,age=%s]" % (formulaire.getlist("prenom"),formulaire.getlist("nom"),formulaire.getlist("age"))

Er kan een test worden uitgevoerd met een webbrowser:

In [1], de URL van de webservice. Let op de aanwezigheid van de drie parameters nom, prenom, age. In [2] het antwoord van de webservice.

12.2.2. De client GET

Het programma (client_web_03_GET)

# -*- coding=utf-8 -*-

import httplib,urllib

# constanten
HOST="localhost"
URL="/cgi-bin/web_03.py"
PRENOM="Jean-Paul"
NOM="de la Huche"
AGE=42

# de parameters moeten worden gecodeerd voordat ze naar de server worden verzonden
params = urllib.urlencode({'nom': NOM, 'prenom': PRENOM, 'age': AGE})
# de parameters worden aan het einde van de URL geplaatst
URL+="?"+params
# verbinding
connexion=httplib.HTTPConnection(HOST)
# tracking
connexion.set_debuglevel(1)
# het verzoek verzenden
connexion.request("GET",URL)
# verwerking van het antwoord
reponse=connexion.getresponse()
# inhoud
contenu=reponse.read()
print contenu,"\n"
# verbinding verbreken
connexion.close()

Opmerkingen:

  • regels 8-10: de waarden van de 3 parameters die naar de webservice worden verzonden;
  • regel 13: deze moeten worden gecodeerd. Dit gebeurt met behulp van de methode urlencode van de module urllib. Deze module wordt geïmporteerd op regel 3. De methode accepteert als parameter een woordenboek {param1:val1, param2:val2, ...};
  • regel 15: in een GET-opdracht (regel 21) moet de client de gecodeerde parameters aan het einde van de URL van de webservice plaatsen;
  • de volgende regels zijn al besproken.

12.2.3. De resultaten

1
2
3
4
5
6
7
8
dos>%python% client_03_GET.py
send: 'GET /cgi-bin/web_03.py?nom=de+la+Huche&age=42&prenom=Jean-Paul HTTP/1.1\r\nHost: localhost\r\nAccept-Encoding: identity\r\n\r\n'
reply: 'HTTP/1.1 200 OK\r\n'
header: Date: Wed, 15 Jun 2011 13:22:15 GMT
header: Server: Apache/2.2.6 (Win32) PHP/5.2.5
header: Transfer-Encoding: chunked
header: Content-Type: text/plain
informations recues du client [['Jean-Paul'],['de la Huche'],['42']]

Opmerkingen:

  • regel 2: let op de codering van de parameters (naam, voornaam, leeftijd);
  • regel 8: het antwoord van de webservice.

12.2.4. De client POST

De client POST is vergelijkbaar met de client GET, behalve dat de gecodeerde parameters niet langer deel uitmaken van het doel URL. Ze worden doorgegeven als derde argument van het verzoek POST (regel 19).

Het programma (client_web_03_POST)

# -*- coding=utf-8 -*-

import httplib,urllib

# constanten
HOST="localhost"
URL="/cgi-bin/web_03.py"
PRENOM="Jean-Paul"
NOM="de la Huche"
AGE=42

# de parameters moeten worden gecodeerd voordat ze naar de server worden verzonden
params = urllib.urlencode({'nom': NOM, 'prenom': PRENOM, 'age': AGE})
# verbinding
connexion=httplib.HTTPConnection(HOST)
# tracking
connexion.set_debuglevel(1)
# het verzoek verzenden
connexion.request("POST",URL,params)
# verwerking van het antwoord
reponse=connexion.getresponse()
# inhoud
contenu=reponse.read()
print contenu,"\n"
# verbinding verbreken
connexion.close()

12.2.5. De resultaten

1
2
3
4
5
6
7
8
dos>%python% client_03_POST.py
send: 'POST /cgi-bin/web_03.py HTTP/1.1\r\nHost: localhost\r\nAccept-Encoding:identity\r\nContent-Length: 39\r\n\r\nnom=de+la+Huche&age=42&prenom=Jean-Paul'
reply: 'HTTP/1.1 200 OK\r\n'
header: Date: Fri, 24 Jun 2011 12:03:31 GMT
header: Server: Apache/2.2.6 (Win32) PHP/5.2.5
header: Transfer-Encoding: chunked
header: Content-Type: text/plain
informations recues du service web [prenom=['Jean-Paul'],nom=['de la Huche'],age=['42']]

Opmerkingen:

  • let op regel 2, de methode die door de client POST wordt gebruikt om de gecodeerde parameters te verzenden:
    • de HTTP-header Content-Length geeft het aantal tekens aan dat naar de webservice wordt verzonden;
    • deze HTTP-header wordt vervolgens gevolgd door een lege regel die het einde van de HTTP-headers aangeeft;
    • daarna worden de 39 tekens van de gecodeerde parameters verzonden.
  • regel 8: het antwoord van de webservice.

12.3. Het ophalen van omgevingsvariabelen van een webservice

12.3.1. De webservice

Het Python-CGI-script wordt uitgevoerd in een systeemomgeving die over attributen beschikt. Deze attributen en hun waarden zijn beschikbaar in een woordenboek met de naam os.environ.

Het programma (web_04)

#!D:\Programs\ActivePython\Python2.7.2\python.exe

import os

# headers
print "Content-Type: text/plain\n"
# omgevingsinformatie
for (cle,valeur) in os.environ.items():
    print "%s : %s" % (cle,valeur)

Opmerkingen:

  • regel 3: de module os moet worden geïmporteerd om over de "systeemvariabelen" te kunnen beschikken.

Als je het bovenstaande script direct uitvoert (c.a.d als consolescript en niet als cgi), krijg je in de console de volgende resultaten:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
Content-Type: text/plain

TMP : C:\Users\SERGET~1\AppData\Local\Temp
COMPUTERNAME : GPORTPERS3
USERDOMAIN : Gportpers3
VS100COMNTOOLS : D:\Programs\dotnet\Visual Studio 10\Common7\Tools\
VISUALSTUDIODIR : D:\Documents\Visual Studio 2010
PSMODULEPATH : C:\Windows\system32\WindowsPowerShell\v1.0\Modules\
COMMONPROGRAMFILES : C:\Program Files (x86)\Common Files
PROCESSOR_IDENTIFIER : Intel64 Family 6 Model 42 Stepping 7, GenuineIntel
PROGRAMFILES : C:\Program Files (x86)
PROCESSOR_REVISION : 2a07
SYSTEMROOT : C:\Windows
PATH : D:\Programs\ActivePython\Python2.7.2\;D:\Programs\ActivePython\Python2.7.2\Scripts;C:\Program Files\Common Files\Microsoft Shared\Windows Live;...
PROGRAMFILES(X86) : C:\Program Files (x86)
WINDOWS_TRACING_FLAGS : 3
TEMP : C:\Users\SERGET~1\AppData\Local\Temp
COMMONPROGRAMFILES(X86) : C:\Program Files (x86)\Common Files
PROCESSOR_ARCHITECTURE : x86
ALLUSERSPROFILE : C:\ProgramData
LOCALAPPDATA : C:\Users\Serge TahÚ\AppData\Local
HOMEPATH : \Users\Serge TahÚ
PROGRAMW6432 : C:\Program Files
USERNAME : Serge TahÚ
LOGONSERVER : \\GPORTPERS3
PROMPT : $P$G
SESSIONNAME : Console
PROGRAMDATA : C:\ProgramData
PATHEXT : .COM;.EXE;.BAT;.CMD;.VBS;.VBE;.JS;.JSE;.WSF;.WSH;.MSC;.py;.pyw
FP_NO_HOST_CHECK : NO
WINDIR : C:\Windows
PYTHON : D:\Programs\python\python2.7.2\python
WINDOWS_TRACING_LOGFILE : C:\BVTBin\Tests\installpackage\csilogfile.log
HOMEDRIVE : C:
SYSTEMDRIVE : C:
COMSPEC : C:\Windows\system32\cmd.exe
NUMBER_OF_PROCESSORS : 8
VBOX_INSTALL_PATH : D:\Programs\systeme\Oracle\VirtualBox\
APPDATA : C:\Users\Serge TahÚ\AppData\Roaming
PROCESSOR_LEVEL : 6
PROCESSOR_ARCHITEW6432 : AMD64
COMMONPROGRAMW6432 : C:\Program Files\Common Files
OS : Windows_NT
PUBLIC : C:\Users\Public
USERPROFILE : C:\Users\Serge TahÚ

In een webbrowser (dan wordt het CGI-script uitgevoerd) krijg je de volgende resultaten:

 

Merk op dat de verkregen omgeving niet dezelfde is, afhankelijk van de uitvoeringscontext.

12.3.2. Het geprogrammeerde clientprogramma

Het programma (client_web_04)

# -*- coding=utf-8 -*-

import httplib

# constanten
HOST="localhost"
URL="/cgi-bin/web_04.py"
# verbinding
connexion=httplib.HTTPConnection(HOST)
# verzoek verzenden
connexion.request("GET", URL)
# verwerking van het antwoord
reponse=connexion.getresponse()
# inhoud
print reponse.read()

12.3.3. Resultaten

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
SERVER_SOFTWARE : Apache/2.2.17 (Win32) PHP/5.3.5
SCRIPT_NAME : /cgi-bin/web_04.py
SERVER_SIGNATURE :
REQUEST_METHOD : GET
SERVER_PROTOCOL : HTTP/1.1
QUERY_STRING :
SYSTEMROOT : C:\Windows
SERVER_NAME : localhost
REMOTE_ADDR : 127.0.0.1
SERVER_PORT : 80
SERVER_ADDR : 127.0.0.1
DOCUMENT_ROOT : D:/Programs/sgbd/wamp/www/
COMSPEC : C:\Windows\system32\cmd.exe
SCRIPT_FILENAME : D:/Programs/sgbd/wamp/bin/apache/Apache2.2.17/cgi-bin/web_04.py
SERVER_ADMIN : admin@localhost
PATH : D:\Programs\ActivePython\Python2.7.2\;D:\Programs\ActivePython\Python2.7.
2\Scripts;C:\Program Files\Common Files\Microsoft Shared\Windows Live;...
HTTP_HOST : localhost
PATHEXT : .COM;.EXE;.BAT;.CMD;.VBS;.VBE;.JS;.JSE;.WSF;.WSH;.MSC;.py;.pyw
REQUEST_URI : /cgi-bin/web_04.py
WINDIR : C:\Windows
GATEWAY_INTERFACE : CGI/1.1
REMOTE_PORT : 58468
HTTP_ACCEPT_ENCODING : identity

Merk op dat de geprogrammeerde client niet precies hetzelfde antwoord ontvangt als de webbrowser. Dit komt doordat de webbrowser informatie naar de webserver heeft gestuurd die door de webserver is gebruikt om het antwoord samen te stellen. In dit geval heeft de geprogrammeerde client geen informatie over zichzelf verzonden.

https://stahe.github.io
Deze cursus-tutorial, geschreven door Serge Tahé, wordt aan het publiek ter beschikking gesteld volgens de voorwaarden van de Creative Commons Naamsvermelding – Geen commercieel gebruik – Gelijk delen 3.0 ongewijzigd.