DMR ID database update (MMDVMHost en md380)

Er zijn verschillende bronnen voor de DMR ID database.

De officiële database op dmr-marc.net  is downloadbaar en wordt door de md380 tools gebruikt om de DMR ID's in je toestel te laden.
Mijn ervaring is echter dat deze een hele periode duidelijk achterliep op de realiteit. Verbazend.

Ook ham-digital.org houdt een database bij. Deze was op die momenten wél up to date en ook downloadbaar (die van dstar.su is ook up-to-date, die zou alle bestaande databases combineren en die wordt door de hoseline applicatie gebruikt maar is voor zover ik weet niet downloadbaar)

Bij dmr-marc.net worden wel meer gegevens vrijgegeven dan bij ham-digital.org, een kwestie van europese privacy regels.
(nb: kan iemand mij naar relevante teksten wijzen hieromtrent ?)

DMR ID database update voor MMDVMHost

Wanneer je MMDVMHost gebruikt, is daar een updatescript bij voor de DMR ID database (DMRIDUpdate.sh). Dit script haalt de database bij  dmr-marc.net  op. Indien gewenst kan je overschakelen op ham-digital.org !

Zoek (ter hoogte van regel 93)  de volgende regels: (de zeer lange regel die met curl begint is hier afgekapt):

# Generate new file
curl 'http://www.dmr-marc.net/cgi-bin/trbo-database/datadump.cgi?table=users&format=csv...

 

en maak daarvan

# Generate new file
curl 'https://ham-digital.org/user_by_id.php' 2>/dev/null | sed -e 's/\t//g' | awk -F";" '/;/{gsub(/ /, "", $3); printf "%s\t%s\t%s\n", $2, $3, $4}' | sed -e 's/\(.\) .*/\1/g' | grep "^[0-9]" > ${DMRIDFILE}

 

Vanaf nu zal het updatescript de up-to-date database van ham-digital.org gebruiken !

 

DMR ID database update voor MD380 met extra gegevens

Indien het door de privacy regelgeving is toegestaan, kan je ook nog onderstaand uitproberen.

Mogelijk zijn er meer gegevens te vinden betreffende de calls en hun eigenaars, zoals bv voor de Belgische radio amateurs er de lijst van calls van het BIPT is, een excel document waarin ook extra info (volledige naam, adres) staat (indien de betreffende amateur dit vrijgegeven heeft).

Om al deze gegevens te combineren met de DMR ID database van de md380tools, heb ik bij wijze van oefening wat programmeerwerk gepleegd:

Om het allemaal te doen functioneren, kopieer je het programma 'dmrid-be.php' naar de directory van de md380 tools waar de database samengesteld wordt (md380tools/db).

OPM 23/04/2017: dmrid-be.php is nu versie 1.02: In de BIPT lijst staat de achternaam vooraan en de voornaam achteraan. Deze versie zet de namen waar ze horen : de voornaam vooraan en de achternaam achteraan. Ook de ACHTERNAAM die STEEDS IN HOOFDLETTERS STAAT (ERG VERVELEND) zou ik nog kunnen omzetten, maar gezien ik niet weet wie een 'kleine d' in zijn/haar heeft en wie niet, zal ik dat voorlopig maar zo laten.

Zorg dat het excel document van het BIPT ook ergens staat (niet noodzakelijk in de md380tools/db directory).
Dan zorg je dat de 3 directories die bovenaan in het bestand staan, juist gezet worden (OPGELET : je moet o.a. PHPExcel downloaden).

Vervolgens pas je md380tools/db/Makefile aan om het programma ook aan te roepen: voeg de groene regel toe zoals hieronder aangegeven:


stripped.csv: custom.csv special.tmp fixed.csv dmrmarc2.tmp reflector.tmp
        php dmrid-be.php
        awk -F, -f combine.awk $^ | $(ICONV)  | sort -t ',' -k1g,1 | awk -F, -f strip.awk >stripped.csv>

 

(bovenaan in het dmrid-be.php programma staat ook nog eens wat je precies moet wijzigen).
 

Wanneer je dan in de md380tools directory staat en

make updatedb

 

doet, om de nieuwe gegevens te bekomen, gebeurt het volgende :

  • de special id's worden opgehaald & de dmr-marc database wordt gedownload (zoals voorheen)
  • het bijgevoegde programma schiet in actie
    • de ham-digital database wordt opgehaald, de Belgen worden er uitgevist
    • de data van de Belgen wordt gecombineerd met de extra info van het BIPT
    • deze gecombineerde gegevens komen in 'custom.csv'
  • alle bestanden worden gecombineerd (zoals voorheen) en de user.bin wordt aangemaakt
  • je kan nu je database naar je toestel flashen : md380-tool spiflashwrite user.bin 0x100000

Of je kan natuurlijk het hele proces (nieuwe db ophalen en direct flashen) in één keer laten lopen door

make flashdb

 

te doen (zorg er dan wel eerst voor dat je toestel aan je Pi hangt !)

In een volgende fase probeer ik alle gegevens ook uit de ham-digital.org database te halen.

 

 

--- vragen, aanvullingen, opmerkingen ? je kan me mailen ! ---