Mai mult

Import de date OSM extrem de lent

Import de date OSM extrem de lent


Folosesc osm2pgsql pentru a importa întreaga bază de date a planetei. Am urmat instrucțiunile de pe pagina switch2osm (https://switch2osm.org/serving-tiles/manually-building-a-tile-server-14-04/) și am folosit următoarea comandă:

osm2pgsql --slim -C16384 --cache-Strategy sparse -d osm_2015 --number-process 4 planet-latest-september-5.pbf

Rețineți că fac importul pe o mașină virtuală (VM). Alte detalii sunt următoarele:

Dimensiunea fișierului Planet: 29 GB RAM: 24 GB CPU: 8 X Intel (R) Xeon (R) CPU X5650 @ 2.67GHz 4TB disc montat de la distanță OS: Ubuntu 14.04 psql (PostgreSQL) 9.3.9 PostGIS Versiunea 2.1.2

Am finalizat importul, dar osm2pgsql a durat 1817529 secunde în total pentru a importa datele, care ajung la aproximativ 21 de zile!

Întrebarea mea este: ce pot face pentru a optimiza / minimiza timpul de import în viitor folosind specificațiile pe care le-am enumerat mai sus? Vă rugăm să rețineți că sunt foarte nou în acest sens.


Nu sunt sigur de unde ați obținut linia de comandă, dar aveți acolo opțiuni care nu sunt în ghid

osm2pgsql --helpsugereazăosm2pgsql -c -d gis --slim -C -k --flat-noduri planet-latest.osm.pbf, unde * este 20000 pe mașini cu 24 GB sau mai mult RAM * este o locație în care poate fi salvat un fișier de 19 GB.

Dacă nu intenționați să consumați actualizări, puteți adăuga--cădere bruscala comandă, care o va accelera substanțial și puteți șterge și fișierul cu noduri plate.

În versiunile mai vechi ale osm2pgsql, adăugați--numere-procese 8.

Celălalt câștig mare de viteză este din reglarea PostgreSQL, în principal în creșteremaintenance_work_memșiwork_mem, probabil la 1 GB și 64 MB pentru serverul dvs.

Dacă rămâne lent, este probabil pentru că discurile dvs. sunt lente. Discurile de la distanță pot avea o latență ridicată, ceea ce suge pentru bazele de date.


Poate că ar trebui să dureze atât de mult timp, folosesc vagabond și virtualbox, latența IO este destul de semnificativă în comparație cu sistemul de fișiere local, având în vedere principiul hipervizorului, VM ar trebui să aibă impact asupra eficienței importului. La optimizarea procesului, puteți verifica acest link http://www.geofabrik.de/media/2012-09-08-osm2pgsql-performance.pdf, ar trebui să fie util.


Priveste filmarea: #Houdini HDA Embedded Assets. Using #OpenStreetMap to Generate #UE4 Landscapes