He estado tratando de analizar con etree.HTML() un texto codificado como UTF-8, sin éxito.

 python
Python 2.7.1 (r271:86832, Jun 16 2011, 16:59:05) 
[GCC 4.2.1 (Based on Apple Inc. build 5658) (LLVM build 2335.15.00)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> from lxml import etree
>>> import requests
>>> headers = {'User-Agent': "Opera/9.80 (Macintosh; Intel Mac OS X 10.8.0) Presto/2.12.363 Version/12.50"}
>>> r = requests.get("http://www.rakuten.co.jp/", headers=headers)
>>> r.status_code
200
>>> r.headers
{'x-cache': 'MISS from www.rakuten.co.jp', 'transfer-encoding': 'chunked', 'set-cookie': 'wPzd=lng%3DNA%3Acnt%3DCA; expires=Tue, 13-Aug-2013 16:51:38 GMT; path=/; domain=www.rakuten.co.jp', 'server': 'Apache', 'pragma': 'no-cache', 'cache-control': 'private', 'date': 'Mon, 13 Aug 2012 16:51:38 GMT', 'content-type': 'text/html; charset=EUC-JP'}
>>> responsetext = r.text

Hasta ahora tan bueno. El texto de respuesta es buena y es una cadena unicode. Ahora si estoy tratando de conseguir la lista de CSS URIs. Ningún problema tampoco.

>>> tree = etree.HTML(responsetext)
>>> csspathlist = tree.xpath('//link[@]/@href')
>>> csspathlist
['http://a.ichiba.jp.rakuten-static.com/com/inc/home/20080930/opt/css/normal/common.css?v=1207111500', 'http://a.ichiba.jp.rakuten-static.com/com/inc/home/20080930/opt/css/normal/layout.css?v=1207111500', 'http://a.ichiba.jp.rakuten-static.com/com/inc/home/20080930/opt/css/normal/sidecolumn.css?v=1207111500', 'http://a.ichiba.jp.rakuten-static.com/com/inc/home/20080930/beta/css/liquid/api.css?v=1207111500', '/com/inc/home/20080930/beta/css/liquid/myrakuten_dpgs.css', 'http://a.ichiba.jp.rakuten-static.com/com/inc/home/20080930/opt/css/normal/leftcolumn.css?v=1207111500', 'http://a.ichiba.jp.rakuten-static.com/com/inc/home/20080930/opt/css/normal/header.css?v=1207111500', '/com/inc/home/20080930/opt/css/normal/footer.css', 'http://a.ichiba.jp.rakuten-static.com/com/inc/home/20080930/beta/css/liquid/ipad.css', 'http://a.ichiba.jp.rakuten-static.com/com/inc/home/20080930/opt/css/normal/genre.css?v=1207111500', 'http://a.ichiba.jp.rakuten-static.com/com/inc/home/20080930/opt/css/normal/supersale.css?v=1207111500', '/com/inc/home/20080930/beta/css/liquid/rakuten_membership.css', 'http://a.ichiba.jp.rakuten-static.com/com/inc/home/20080930/beta/css/noscript/set.css?v=1207111500', 'http://a.ichiba.jp.rakuten-static.com/com/inc/home/20080930/beta/css/liquid/suggest-2.0.1.css?v=1204231500', 'http://a.ichiba.jp.rakuten-static.com/com/inc/home/20080930/beta/css/liquid/liquid_banner.css?v=1203011138', 'http://a.ichiba.jp.rakuten-static.com/com/inc/home/20080930/beta/css/liquid/area_announce.css?v=1203011138']

Ahora vamos a cambiar de unicode UTF-8 y solicitar de nuevo la lista de CSS URIs.

>>> htmltext = responsetext.encode('utf-8')
>>> tree2 = etree.HTML(htmltext)
>>> csspathlist2 = tree2.xpath('//link[@]/@href')
>>> csspathlist2
[]

Puedo obtener una lista vacía.

>>> etree.tostring(tree2)
'<html lang="ja" xmlns="http://www.w3.org/1999/xhtml" xmlns:og="http://ogp.me/ns#" xmlns:fb="http://www.facebook.com/2008/fbml"><head><meta http-equiv="Content-Type" content="text/html; charset=EUC-JP"/><meta http-equiv="Content-Style-Type" content="text/css"/><meta http-equiv="Content-Script-Type" content="text/javascript"/><title/></head></html>'

De hecho, el segundo análisis detenido de inmediato después de que el primer carácter Japonés en el título.

<meta http-equiv="Content-Script-Type" content="text/javascript"/>
<title> 【楽天市場】Shopping is Entertainment!  インターネット最大級の通信販売、通販オンラインショッピングコミュニティ </title>

Todavía estoy tratando de entender lo que he hecho mal.

  • +1 para el buen escribir
  • gracias. Encontró la respuesta después de buscar durante 3 horas. Finalmente, en cuestión de un par de minutos me di cuenta de una vez que yo había escrito correctamente.
InformationsquelleAutor karlcow | 2012-08-13

1 Comentario

  1. 25

    Aceptar y acabo de encontrar. Escribir la pregunta en StackOverflow ayuda a menudo.

    etree.HTML() está tratando de adivinar la codificación de acuerdo a la meta en el documento

    <meta http-equiv="Content-Type" content="text/html; charset=EUC-JP"/>

    En este caso, he convertido manualmente el documento a utf-8, lo que significa que ya no es de los Japoneses de codificación: EUC-JP. Así, para resolver el problema es sólo una cuestión de forzar el analizador de HTML para entender utf-8. En nuestro caso el código se convierte en:

    >>> myparser = etree.HTMLParser(encoding="utf-8")
    >>> tree = etree.HTML(htmltext, parser=myparser)

Dejar respuesta

Please enter your comment!
Please enter your name here