[risolto] UnicodeDecodeError: ‘ascii’ codec can’t decode byte 0xe9 in position 0: ordinal not in range(128)

Petar

6 anni fa

Questo genere di errore avviene in Python quando si cercano di convertire le stringhe da Unicode (UTF-8) in ASCII. Questo avviene più spesso di quanto non si creda, dal momento che le stringhe di testo sono tutte gestite come ASCII e il meccanismo che si occupa della conversione, paradossalmente, può gestire unicamente caratteri ASCII.

Per un approfondimento tecnico consiglio la lettura di questo articolo: Overcoming frustration: Correctly using unicode in python2

In questo caso voglio trattare l’esempio di errore che si ha utilizzando il seguente codice:

# -*- coding: cp1252 -*-

prova = ["é","a","è",u'\xc2',u'\xe9',"èòà+","pippo \xc2 prova","","ancora" ]
print ";".join(prova)

# -*- coding: cp1252 -*-

prova = ["é","a","è",u'\xc2',u'\xe9',"èòà+","pippo \xc2 prova","","ancora" ]

print ";".join(prova)

L’errore restituito è il seguente:

Traceback (most recent call last): File "C:\Users\utente\Desktop\esempio\errore.py", line 4, in <module> print ";".join(prova) UnicodeDecodeError: 'ascii' codec can't decode byte 0xe9 in position 0: ordinal not in range(128)

In particolare il problema si presenta quando si tenta di fare la join sulla lista con un separatore di testo.

Online si trovano numerose soluzioni come per esempio questa (che però non funziona!), ma nessuna che mi abbia davvero soddisfatto:

# -*- coding: cp1252 -*-

prova = ["é","a","è",u'\xc2',u'\xe9',"èòà+","pippo \xc2 prova","","ancora" ]
print u';'.join(p.decode('cp1252') for p in prova)

# -*- coding: cp1252 -*-

prova = ["é","a","è",u'\xc2',u'\xe9',"èòà+","pippo \xc2 prova","","ancora" ]

print u';'.join(p.decode('cp1252') for p in prova)

Il problema di fondo è che le stringhe incriminate, che nel mio esempio ho scritto io, sono lette dal programma da sorgenti esterne sulle quali non ho controllo e fare il debugging di tutti i possibili caratteri (milioni di caratteri come minimo!) è chiaramente alquanto improbabile.

Per aggirare il sistema e poter effettuare comunque la join ho usato quindi una funzione costruita ad hoc nel modo seguente:

def Unione(delimiter, lista):
    i = 0
    ris = ""
    for l in lista:
        if i > 0:
            ris += delimiter
        try:
            ris += "{}".format( l )
        except:
            sub = ""
            try:
                for x in l:
                    try:
                        sub += "{}".format( x )
                    except:
                        pass
            except:
                pass
            ris += "{}".format( sub )
        i += 1
    return ris

def Unione(delimiter, lista):

i = 0

ris = ""

for l in lista:

if i > 0:

ris += delimiter

try:

ris += "{}".format( l )

except:

sub = ""

try:

for x in l:

try:

sub += "{}".format( x )

except:

pass

except:

pass

ris += "{}".format( sub )

i += 1

return ris

A questo punto possiamo testarla nel modo seguente:

# -*- coding: cp1252 -*-

def Unione(delimiter, lista):
    i = 0
    ris = ""
    for l in lista:
        if i > 0:
            ris += delimiter
        try:
            ris += "{}".format( l )
        except:
            sub = ""
            try:
                for x in l:
                    try:
                        sub += "{}".format( x )
                    except:
                        pass
            except:
                pass
            ris += "{}".format( sub )
        i += 1
    return ris

prova = ["é","a","è",u'\xc2',u'\xe9',"èòà+","pippo \xc2 prova","","ancora" ]
print Unione(";",prova)

# -*- coding: cp1252 -*-

def Unione(delimiter, lista):

i = 0

ris = ""

for l in lista:

if i > 0:

ris += delimiter

try:

ris += "{}".format( l )

except:

sub = ""

try:

for x in l:

try:

sub += "{}".format( x )

except:

pass

except:

pass

ris += "{}".format( sub )

i += 1

return ris

prova = ["é","a","è",u'\xc2',u'\xe9',"èòà+","pippo \xc2 prova","","ancora" ]

print Unione(";",prova)

Il risultato stampato è il seguente:

é;a;è;;;èòà+;pippo Â prova;;ancora

Faccio notare come in questo modo vengano ignorati i caratteri incriminati. Non è una soluzione molto elegante, ma comunque si raggiunge lo scopo di poter “pulire” il testo di origine.

Questo errore potrebbe anche presentarsi in altre forme come:

UnicodeEncodeError: 'ascii' codec can't encode character u'\xc2' in position 0: ordinal not in range(128)

UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 20: ordinal not in range(128)

E altri.

Condividi: