Improve parsing

Author: AntoineAugusti

collecte/postes_plage_snsm/convert.py

@@ -29,14 +29,14 @@ def parse_coordinates(self, value):
 
     def parse(self):
         with open(self.filepath, 'r') as f:
-            soup = BeautifulSoup(f, 'lxml')
-            for placemark in soup.folder.find_all('placemark'):
+            soup = BeautifulSoup(f, 'xml')
+            for placemark in soup.kml.Document.Folder.find_all('Placemark'):
                 poste = {}
                 poste['nom'] = placemark.find('name').text.strip()
                 poste['latitude'], poste['longitude'] = self.parse_coordinates(
                     placemark.find('coordinates')
                 )
-                for data in placemark.find_all('data'):
+                for data in placemark.ExtendedData.find_all('Data'):
                     key, value = data['name'], data.text.strip()
                     if key != 'gx_media_links':
                         cleaned_key = self.clean_key(key)

collecte/postes_plage_snsm/test_convert.py

@@ -17,6 +17,9 @@ def test_parse(self):
         output_file = '/tmp/out.csv'
         KMLConverter(input_file).to_csv(output_file)
 
-        assert_frame_equal(pd.read_csv(test_file), pd.read_csv(output_file))
+        assert_frame_equal(
+            pd.read_csv(test_file, encoding='utf-8'),
+            pd.read_csv(output_file, encoding='utf-8')
+        )
 
         os.remove(output_file)

tests/files/snsm-postes-secours.csv

@@ -1,7 +1,7 @@
 id,code_postal,departement,latitude,longitude,nb_sauveteurs,nom,ville
 1,06220,ALPES-MARITIMES,,,2,PLAGE DU SOLEIL,VALLAURIS
 2,06220,ALPES-MARITIMES,,,5,PLAGE DU MIDI,VALLAURIS
-3,06590,ALPES-MARITIMES,,,3,,THEOULE SUR MER
+3,06590,ALPES-MARITIMES,,,3,POSTE D'INTERVENTION - THEOULE SUR MER,THEOULE SUR MER
 4,06590,ALPES-MARITIMES,,,5,AIGUILLE,THEOULE SUR MER
 5,06590,ALPES-MARITIMES,,,3,MIRAMAR,THEOULE SUR MER
 6,06590,ALPES-MARITIMES,,,6,SUVERET,THEOULE SUR MER
@@ -40,29 +40,29 @@ id,code_postal,departement,latitude,longitude,nb_sauveteurs,nom,ville
 39,17000,CHARENTE-MARITIME,,,4,CHEF DE BAIE,LA ROCHELLE
 40,17000,CHARENTE-MARITIME,,,3,LA CONCURRENCE,LA ROCHELLE
 41,17690,CHARENTE-MARITIME,,,3,PLATERE,ANGOULINS-SUR-MER
-42,20110,CORSE DU SUD,,,4,,PROPRIANO
+42,20110,CORSE DU SUD,,,4,POSTE D'INTERVENTION - PROPRIANO,PROPRIANO
 43,20110,CORSE DU SUD,,,4,BELVEDERE-CAMPOMORO,BELVEDERE CAMPOMORO
 44,20110,CORSE DU SUD,,,3,LE LIDO,PROPRIANO
 45,20111,CORSE DU SUD,,,3,LISCIA,CALCATOGGIO
-46,20115,CORSE DU SUD,,,3,,PIANA
+46,20115,CORSE DU SUD,,,3,PLAGE D'ARONE,PIANA
 47,20128,CORSE DU SUD,,,3,AGOSTA PLAGE,ALBITRECCIA
 48,20130,CORSE DU SUD,,,3,PLAGE DU PERO,CARGESE
 49,20140,CORSE DU SUD,,,2,PORTO POLLO,SERRA DI FERRO
 50,20150,CORSE DU SUD,,,3,PORTO,OTA
 51,20160,CORSE DU SUD,,,3,SAGONE,VICO
 52,20160,CORSE DU SUD,,,4,ESIGNA,COGGIA
 53,20169,CORSE DU SUD,,,3,BALISTRA,BONIFACIO
-54,22240,,,,3,PLAGE DES GREVES,PLEVENON
-55,22310,,,,4,,PLESTIN LES GREVES
-56,22380,,,,3,,ST CAST LE GUILDO
-57,22380,,,,4,GRANDE PLAGE,ST CAST LE GUILDO
-58,22560,,,,3,TRESMEUR,TREBEURDEN
-59,22560,,,,2,PORS TERMEN,TREBEURDEN
-60,22700,,,,3,PERROS GUIREC,PERROS GUIREC
-61,22730,,,,3,GREVE BLANCHE,TREGASTEL
-62,22730,,,,2,COZ PORS,TREGASTEL
-63,22770,,,,4,SAINT-SIEU,LANCIEUX
-64,29217,FINISTÈRE,,,3,,LE CONQUET
+54,22240,CÔTES-D'ARMOR,,,3,PLAGE DES GREVES,PLEVENON
+55,22310,CÔTES-D'ARMOR,,,4,LA ROCHE D'ARGENT,PLESTIN LES GREVES
+56,22380,CÔTES-D'ARMOR,,,3,POSTE D'INTERVENTION ST CAST LE GUILDO,ST CAST LE GUILDO
+57,22380,CÔTES-D'ARMOR,,,4,GRANDE PLAGE,ST CAST LE GUILDO
+58,22560,CÔTES-D'ARMOR,,,3,TRESMEUR,TREBEURDEN
+59,22560,CÔTES-D'ARMOR,,,2,PORS TERMEN,TREBEURDEN
+60,22700,CÔTES-D'ARMOR,,,3,PERROS GUIREC,PERROS GUIREC
+61,22730,CÔTES-D'ARMOR,,,3,GREVE BLANCHE,TREGASTEL
+62,22730,CÔTES-D'ARMOR,,,2,COZ PORS,TREGASTEL
+63,22770,CÔTES-D'ARMOR,,,4,SAINT-SIEU,LANCIEUX
+64,29217,FINISTÈRE,,,3,POSTE D'INTERVENTION  LE CONQUET,LE CONQUET
 65,29233,FINISTÈRE,,,3,CLEDER,CLEDER
 66,29241,FINISTÈRE,,,3,PLAGE DES SABLES BLANCS,LOCQUIREC
 67,29241,FINISTÈRE,,,2,FOND DE LA BAIE,LOCQUIREC
@@ -84,7 +84,7 @@ id,code_postal,departement,latitude,longitude,nb_sauveteurs,nom,ville
 83,30240,GARD,,,5,RIVE GAUCHE,LE GRAU-DU-ROI
 84,30240,GARD,,,3,PORT-CAMARGUE NORD,LE GRAU-DU-ROI
 85,30240,GARD,,,4,PORT-CAMARGUE SUD,LE GRAU-DU-ROI
-86,30240,GARD,,,5,,LE GRAU-DU-ROI
+86,30240,GARD,,,5,POINTE DE L'ESPIGUETTE,LE GRAU-DU-ROI
 87,33120,GIRONDE,,,5,PLAGE DE THIERS,ARCACHON
 88,33120,GIRONDE,,,5,PLAGE DE PEREIRE,ARCACHON
 89,33120,GIRONDE,,,5,LE MOULLEAU,ARCACHON
@@ -101,7 +101,7 @@ id,code_postal,departement,latitude,longitude,nb_sauveteurs,nom,ville
 100,33590,GIRONDE,,,7,PLAGE SUD EURONAT,GRAYAN ET L HOPITAL
 101,33780,GIRONDE,,,1,SUD,SOULAC SUR MER
 102,33780,GIRONDE,,,3,CENTRE,SOULAC SUR MER
-103,33780,GIRONDE,,,1,,SOULAC SUR MER
+103,33780,GIRONDE,,,1,L'AMELIE,SOULAC SUR MER
 104,33930,GIRONDE,,,17,MONTALIVET,VENDAYS MONTALIVET
 105,34250,HÉRAULT,,,3,SARRAIL,PALAVAS LES FLOTS
 106,34250,HÉRAULT,,,3,SAINT PIERRE,PALAVAS LES FLOTS
@@ -114,7 +114,7 @@ id,code_postal,departement,latitude,longitude,nb_sauveteurs,nom,ville
 113,34280,HÉRAULT,,,4,GRAND TRAVERS,MAUGUIO
 114,34280,HÉRAULT,,,4,LA ROQUILLE,MAUGUIO
 115,34280,HÉRAULT,,,7,DE GRASSE,MAUGUIO
-116,34280,HÉRAULT,,,5,,MAUGUIO
+116,34280,HÉRAULT,,,5,ROCADE D'AVRANCHE,MAUGUIO
 117,34280,HÉRAULT,,,4,PETIT TRAVERS,MAUGUIO
 118,34750,HÉRAULT,,,5,ARESQUIERS,VILLENEUVE MAGUELONE
 119,34750,HÉRAULT,,,3,PARKING,VILLENEUVE MAGUELONE
@@ -132,7 +132,7 @@ id,code_postal,departement,latitude,longitude,nb_sauveteurs,nom,ville
 131,35800,ILLE-ET-VILAINE,,,3,PORT HUE,ST BRIAC SUR MER
 132,35800,ILLE-ET-VILAINE,,,2,GRANDE SALINETTE ST BRIAC SUR MER,ST BRIAC SUR MER
 133,44210,LOIRE-ATLANTIQUE,,,3,LE PORTEAU,PORNIC
-134,44210,LOIRE-ATLANTIQUE,,,3,,PORNIC
+134,44210,LOIRE-ATLANTIQUE,,,3,L'ETANG,PORNIC
 135,44210,LOIRE-ATLANTIQUE,,,3,LA BRIOCHERE,PORNIC
 136,44210,LOIRE-ATLANTIQUE,,,3,LE PORTMAIN,PORNIC
 137,44210,LOIRE-ATLANTIQUE,,,3,NOVEILLARD,PORNIC
@@ -143,7 +143,7 @@ id,code_postal,departement,latitude,longitude,nb_sauveteurs,nom,ville
 142,44420,LOIRE-ATLANTIQUE,,,4,LANSERIA,MESQUER
 143,44490,LOIRE-ATLANTIQUE,,,3,PORT-LIN,LE CROISIC
 144,44490,LOIRE-ATLANTIQUE,,,3,SAINT COUSTAN,LE CROISIC
-145,44510,LOIRE-ATLANTIQUE,,,4,,LE POULIGUEN
+145,44510,LOIRE-ATLANTIQUE,,,4,POSTE D'INTERVENTION LE POULIGUEN,LE POULIGUEN
 146,44740,LOIRE-ATLANTIQUE,,,4,VALENTIN,BATZ SUR MER
 147,44740,LOIRE-ATLANTIQUE,,,4,LA GOVELLE,BATZ SUR MER
 148,44760,LOIRE-ATLANTIQUE,,,5,LA BERNERIE EN RETZ,LA BERNERIE EN RETZ
@@ -197,7 +197,7 @@ id,code_postal,departement,latitude,longitude,nb_sauveteurs,nom,ville
 196,62215,PAS-DE-CALAIS,,,5,LES ECARDINES,OYE PLAGE
 197,62224,PAS-DE-CALAIS,,,7,EQUIHEN-PLAGE,EQUIHEN-PLAGE
 198,62930,PAS-DE-CALAIS,,,8,WIMEREUX,WIMEREUX
-199,66420,PYRÉNÉES-ORIENTALES,,,4,,LE BARCARES
+199,66420,PYRÉNÉES-ORIENTALES,,,4,POSTE 8 L'AGLY,LE BARCARES
 200,66420,PYRÉNÉES-ORIENTALES,,,4,POSTE 7 LE VILLAGE,LE BARCARES
 201,66420,PYRÉNÉES-ORIENTALES,,,3,POSTE 5 LES MIRAMARS,LE BARCARES
 202,66420,PYRÉNÉES-ORIENTALES,,,3,POSTE 4 LE GRAND LARGE,LE BARCARES
@@ -226,7 +226,7 @@ id,code_postal,departement,latitude,longitude,nb_sauveteurs,nom,ville
 225,80550,SOMME,,,6,DIGUE JULES NOIRET,LE CROTOY
 226,83120,VAR,,,5,LA CROISETTE,STE MAXIME
 227,83150,VAR,,,3,PLAGE DU CASINO,BANDOL
-228,83150,VAR,,,2,,BANDOL
+228,83150,VAR,,,2,POSTE D'INTERVENTION BANDOL,BANDOL
 229,83150,VAR,,,3,RENECROS,BANDOL
 230,83150,VAR,,,4,GRAND VALLAT,BANDOL
 231,83150,VAR,,,4,CENTRAL,BANDOL