Game & DB scraper

Scraping is een manier om metadata, boxart en videovoorbeelden (snapshots) voor je games van internet te halen. Als de schraper niet werkt, bent u niet verbonden met internet of is de bronsite mogelijk niet beschikbaar of overbelast en in dat geval moet u wachten tot deze weer actief is.

Schrapen voegt extra informatie toe aan het spel: uitgever, ontwikkelaar, jaar van uitgave, genre, beschrijving, aantal ondersteunde spelers en beoordeling.

Sinds EmulationStation 2.1.0 kun je een videovoorbeeld hebben als scraped art, op voorwaarde dat dit wordt ondersteund door het thema dat EmulationStation gebruikt.

RetroPie bevat de volgende schrapers:

• De ingebouwde EmulationStation-schraper, die informatie van TheGamesDb.net of ScreenScraper.fr haalt.
• Steven Selph’s Scraper ( scraper), die informatie haalt uit TheGamesDB.net, ScreenScraper.fr, OpenVGDB , ArcadeItalia.net. Het kan ook je lokale media gebruiken om te scrapen en het aan de gamelijst van EmulationStation toe te voegen.
• Lars Muldjord’s Skyscraper ( skyscraper), die informatie haalt van TheGamesDB.net, ScreenScraper.fr, OpenRetro.org, MobyGames.com, IGDB.com en WorldOfSpectrum.org. Het heeft ook de mogelijkheid om je lokale media in de uiteindelijke gamelijst te importeren.

Ingebouwde schraper van EmulationStation

EmulationStation heeft een ingebouwde schraper die uit TheGamesDB of ScreenScraper haalt . Het is toegankelijk vanuit het hoofdmenu in EmulationStation, geopend met de Startknop.

Opmerking : tijdens de eerste scraping-sessie die TheGamesDB als scraping-bron gebruikt, zal Emulationstation aanvullende informatie (lijst met uitgevers, ontwikkelaars, genres) downloaden van TheGamesDB. De schraper lijkt gedurende een zeer korte tijd niet te reageren – afhankelijk van de downloadsnelheid – maar nadat de benodigde informatie is gedownload en opgeslagen, wordt het schrapen hervat. Alle volgende scraping-bewerkingen zullen de gedownloade informatie opnieuw gebruiken, zonder extra downloads.

Schraper slaat handmatige bewerkingen niet op

Als u problemen ondervindt met het niet opslaan van uw metadatawijzigingen, moet u EmulationStation afsluiten selecteren in het menu Afsluiten in plaats van het systeem af te sluiten of opnieuw op te starten. Dan worden uw wijzigingen opgeslagen.

De schraper van Steven Selph

Installatie

De scraper van Steven Selph is een van de eenvoudigste en beste manieren om roms te scrapen (mits de systemen worden ondersteund). Het kan worden geïnstalleerd en gebruikt vanuit het setup-menu met behulp van de volgende stappen:

1. (Optioneel) Als u dit script op afstand uitvoert, moet u ingelogd zijn met pide gebruiker, anders zal de scraper in de war raken.
2. Sluit EmulationStation af (vanuit het startmenu of druk op F4) en typ sudo ~/RetroPie-Setup/retropie_setup.sh.
3. Kies Pakketten beheren en vervolgens Optionele pakketten beheren .
4. Selecteer scraperen installeer het pakket.
5. Wacht tot de installatie is voltooid (het kan even duren omdat verschillende softwarebibliotheken moeten worden geïnstalleerd)

Het kan even duren voordat de xml-bestanden zijn opgebouwd. Dit werkt ook alleen als je roms zich in de lokale roms-map bevinden en niet op een extern apparaat.

Als uw roms zich op een andere bron bevinden dan de standaardbron, kunt u de stand-alone releases downloaden van de scraper-releases van sselph . Raadpleeg de geavanceerde configuratie van Sselphs Scraper wanneer u deze methode gebruikt.

Zorg ervoor dat u bijwerkt naar de nieuwste versie van het Retropie-Setup-script als u onderstaande opties mist!

Schraper gebruiken

Scraper wordt gestart vanuit het Retropie Setup-menu. Navigeer naar Pakketten beheren > Optionele pakketten beheren en selecteer schraper. U navigeert naar het venster Kies een optie voor schraper . Selecteer optie C Configuratie / Opties . Het brengt u naar het onderstaande venster en stelt u in staat om de verschillende functies van de schraper uit te voeren/configureren.

• Alle systemen schrapen: hiermee worden alle systemen geschraapt die de schraper ondersteunt

• Gekozen systemen schrapen: je kunt ervoor kiezen om alleen de systemen die je kiest te schrapen (druk op de spatiebalk om elk systeem te selecteren) en selecteer ok om te beginnen met schrapen.

• Alleen miniaturen: indien ingeschakeld, worden afbeeldingen met een lagere resolutie geladen om ruimte te besparen (standaard ingeschakeld).

• Voorkeur voor screenshots: indien ingeschakeld, worden screenshots van de games geladen in plaats van boxart.

• Max. afbeeldingsbreedte/hoogte: geef de maximale afbeeldingsbreedte of hoogte op om te schrapen.

• Consolebron: kies welke database u wilt scrapen voor consolegames:
  • thegamesdb.net (standaard)
  • ScreenScraper.fr
  • OpenVGDB

• Arcadebron: kies welke database je wilt scrapen voor arcade/mame-spellen:
  • mamedb.blu-ferret.co.uk (standaard)
  • ScreenScraper.fr
  • ArcadeItalia.net

• ROM-namen: Kies welke naam u wilt weergeven:
  • No-Intro: Rom Naam (VS) (Rev 1)
  • theGamesDB: Rom-naam
  • Bestandsnaam: Rom-naam [U] [!]

• Gamelist: Kies ervoor om de bestaande gamelist.xml te overschrijven of eraan toe te voegen.

• Update scraper naar de nieuwste versie: Hiermee wordt de scraper bijgewerkt naar de nieuwste versie.

Video’s schrapen

Hier is een video die laat zien hoe je video’s kunt schrapen met de Steven Selph’s Scraper 

Geavanceerde configuratie

Je eigen afbeeldingen schrapen

Als je je eigen afbeeldingen hebt, kun je XML’s maken met Sselph’s scraper:

Als sjabloon in mijn snes-map had ik mijn rom-naam:

Super Mario World (USA).sfc

en een afbeeldingenmap met:

Super Mario World (USA)-image.png (Als u het -afbeeldingsgedeelte niet aan de bestandsnaam wilt toevoegen, kunt u -image_suffix=)

en ik rende

/opt/retropie/supplementary/scraper/scraper -img_format=png -add_not_found=true -download_images=false

En dit was de resulterende gamelist.xml:

<?xml version="1.0" encoding="UTF-8"?>
  <gameList>
      <game id="136" source="theGamesDB.net">
          <path>./Super Mario World (USA).sfc</path>
          <name>Super Mario World (USA)</name>
          <desc>Mario&#39;s off on his biggest adventure ever, and this time he&#39;s brought along a friend.  Yoshi the dinosaur teams up with Mario to battle Bowser, who has kidnapped Princess Toadstool once again.  Guide Mario and Yoshi through nine peril-filled worlds to the final showdown in Bowser&#39;s castle.&#xA;&#xA;Use Mario&#39;s new powers and Yoshi&#39;s voracious monster-gobbling appetite as you explore 96 levels filled with dangerous new monsters and traps.  Climb mountains and cross rivers, and descend into subterranean depths.  Destroy the seven Koopa castles and find keys to gain entrance to hidden levels.  Discover more warps and thrilling bonus worlds than ever before!&#xA;&#xA;Mario&#39;s back, and this time he&#39;s better than ever!</desc>
          <image>./images/Super Mario World (USA)-image.png</image>
          <rating>0.73704</rating>
          <releasedate>19901121T000000</releasedate>
          <developer>Nintendo</developer>
          <publisher>Nintendo</publisher>
          <genre>Platform</genre>
          <players>2</players>
      </game>
  </gameList>

Parameterlijst:

Usage of /opt/retropie/supplementary/scraper/scraper:
  -add_not_found
        If true, add roms that are not found as an empty gamelist entry.
  -append
        If the gamelist file already exist skip files that are already listed and only append new files.
  -console_img string
        Comma separated order to prefer images, s=snapshot, b=boxart, f=fanart, a=banner, l=logo, 3b=3D boxart, cart=cartridge, clabel=cartridge label, mix3=Standard 3 mix, mix4=Standard 4 mix. (default "b")
  -console_src string
        Comma separated order to prefer console sources, ss=screenscraper, ovgdb=OpenVGDB, gdb=theGamesDB (default "gdb")
  -convert_videos
        If true, convert videos for the Raspberry Pi (e.g. 320x240@30fps) NOTE: This needs HandBrakeCLI installed
  -download_images
        If false, don't download any images, instead see if the expected file is stored locally already. (default true)
  -download_marquees
        If true, download marquees.
  -download_videos
        If true, download videos.
  -extra_ext string
        Comma separated list of extensions to also include in the scraper.
  -hash_file file
        The file containing hash information.
  -image_dir directory
        The directory to place downloaded images to locally. (default "images")
  -image_path path
        The path to use for images in gamelist.xml. If scrape_all is used, only image_dir is used. (default "images")
  -image_suffix suffix
        The suffix added after rom name when creating image files. (default "-image")
  -img_format jpg or png
        jpg or png, the format to write the images. (default "jpg")
  -img_workers N
        Use N worker threads to process images. If 0, then use the same value as workers.
  -lang string
        The order to choose for language if there is more than one for a value. (en, fr, es, de, pt) (default "en")
  -mame
        If true we want to run in MAME mode.
  -mame_img string
        Comma separated order to prefer images, s=snap, t=title, m=marquee, c=cabniet, b=boxart, 3b=3D-boxart, fly=flyer. (default "t,m,s,c")
  -mame_src string
        Comma seperated order to prefer mame sources, ss=screenscraper, adb=arcadeitalia, mamedb=mamedb-mirror, gdb=theGamesDB-neogeo (default "adb,gdb")
  -marquee_dir directory
        The directory to place downloaded marquees to locally. (default "images")
  -marquee_format jpg or png
        jpg or png, the format to write the marquees. (default "png")
  -marquee_path path
        The path to use for marquees in gamelist.xml. If scrape_all is used, only marquee_dir is used. (default "images")
  -marquee_suffix suffix
        The suffix added after rom name when creating marquee files. (default "-marquee")
  -max_height height
        The max height of images. Larger images will be resized.
  -max_width width
        The max width of images. Larger images will be resized. (default 400)
  -missing file
        The file where information about ROMs that weren't scraped is added.
  -nested_img_dir
        Use a nested img directory structure that matches rom structure.
  -no_thumb
        Don't add thumbnails to the gamelist.
  -output_file file
        The XML file to output to. If scrape_all is used, this is ignored and the gamelist in the system path. (default "gamelist.xml")
  -overview_len N
        If set it will truncate the overview of roms to N characters + ellipsis.
  -refresh
        Information will be attempted to be downloaded again but won't remove roms that are not scraped.
  -region string
        The order to choose for region if there is more than one for a value. xx is a special region that will choose any region. (default "us,wor,eu,jp,fr,xx")
  -retries N
        Retry a rom N times on an error. (default 2)
  -rom_dir directory
        The directory containing the roms file to process. (default ".")
  -rom_path path
        The path to use for roms in gamelist.xml. (default ".")
  -scrape_all
        If true, scrape all systems listed in es_systems.cfg. All dir/path flags will be ignored.
  -skip_check
        Skip the check if thegamesdb.net is up.
  -ss_password password
        The password for registered ScreenScraper users.
  -ss_user username
        The username for registered ScreenScraper users.
  -strip_unicode
        If true, remove all non-ascii characters.
  -thumb_only
        Download the thumbnail for both the image and thumb (faster).
  -thumb_suffix suffix
        The suffix added after rom name when creating thumb files. (default "-thumb")
  -update_cache
        If false, don't check for updates on locally cached files. (default true)
  -use_filename
        If true, use the filename minus the extension as the game title in xml.
  -use_nointro_name
        Use the name in the No-Intro DB instead of the one in the GDB. (default true)
  -version
        Print the release version and exit.
  -video_dir directory
        The directory to place downloaded videos to locally. (default "images")
  -video_path path
        The path to use for videos in gamelist.xml. If scrape_all is used, only video_dir is used. (default "images")
  -video_suffix suffix
        The suffix added after rom name when creating video files. (default "-video")
  -workers N
        Use N worker threads to process roms. (default 1)

Wolkenkrabber van Lars Muldjord

Skyscraper van Lars Muldjord is een krachtige en veelzijdige maar toch gemakkelijk te gebruiken game-schraper geschreven in C++ voor gebruik met meerdere frontends die op een Linux-systeem draaien. Het schraapt en cachet verschillende gamebronnen van verschillende webbronnen, inclusief media zoals screenshot, omslag en video. Het geeft je dan de mogelijkheid om een ​​gamelijst en illustraties voor de gekozen frontend te genereren door alle bronnen in de cache te combineren.

Raadpleeg de officiële Skyscraper-documentatie voor een uitgebreidere beschrijving van alle functies die hier worden beschreven .

Installatie

1. Sluit EmulationStation af (vanuit het startmenu of druk op F4) en typ sudo ~/RetroPie-Setup/retropie_setup.sh.
2. Kies Pakketten beheren en vervolgens Optionele pakketten beheren .
3. Selecteer skyscraperen installeer het pakket.
4. Wacht tot de installatie is voltooid.

Zorg ervoor dat u bijwerkt naar de nieuwste versie van het Retropie-Setup-script als u geen skyscraperinstalleerbaar pakket heeft!

Wolkenkrabber gebruiken

Skyscraper kan worden gebruikt om scraping-informatie te genereren voor zowel EmulationStation als AttractMode . Als u het als een RetroPie-pakket installeert skyscraper, wordt het automatisch geconfigureerd voor EmulationStation, maar als u het wilt gebruiken voor het genereren van AttractMode- metagegevens, kunt u Skyscraper gebruiken vanaf de opdrachtregel.

Raadpleeg de officiële documentatie voor een lijst met alle opdrachtregelopties.

Het aanbevolen gebruik is om uw systeem(en) te schrapen door gegevens (afbeeldingen/video’s/informatie) te verzamelen uit zoveel online bronnen als u wilt. Alle gegevens worden daarbij in de cache opgeslagen. Als je genoeg gegevens hebt verzameld, zorg er dan voor dat je de lijst met games voor Emulationstation uit de cache genereert. Dit zal al uw gecachte gegevens combineren tot de meest complete resultaten voor elke rom.

Skyscraper kan worden gestart vanuit het RetroPie-Setup-script, door het menu Configuratie/Extra ’s te openen en te kiezen skyscraper. Als u het vanaf de opdrachtregel wilt uitvoeren, kunt u voor meer geavanceerde opties en parameters het geïnstalleerd vinden in /opt/retropie/supplementary/skyscraper/Skyscraper.

Het schrapen van je ROM’s en games bestaat uit minimaal 2 acties:

• Het verzamelen (schrapen) van de informatie uit online bronnen en het cachen op uw systeem. U kunt deze actie zo vaak herhalen als u wilt, de verzamelbron wijzigen of kiezen welke platforms (systemen) u wilt.
• Genereren van de EmulationStation-gamelijstbestanden ( gamelist.xml) met behulp van de informatie uit de gevulde cache.

Bij gebruik van de Skyscraper -module uit het RetroPie-Setup-script zijn de volgende acties beschikbaar in het menu:

• Verzamel bronnen: hiermee wordt alleen informatie/media verzameld voor de systemen die u kiest.
  Druk Spaceop om elk systeem te selecteren dat u wilt opnemen en OKom te beginnen met schrapen.

• Bron verzamelen: kies uit een menu welke bron u wilt gebruiken voor het verzamelen van informatie en media voor uw ROM’s:
  • ONLINE: screenscraper.fr (standaard)
  • ONLINE: openretro.org
  • ONLINE: thegamesdb.net
  • ONLINE: worldofspectrum.org
  • ONLINE: adb.arcadeitalia.net
  • LOKAAL: esgamelist – Schraapt en cachet gegevens van een EmulationStation gamelist.xml op $HOME/RetroPie/roms/[platform]/gamelist.xmlof~/.skyscraper/import/[platform]/gamelist.xml
  • LOCAL: import — importeert bronnen in de broncache. Lees hier meer over .

  OPMERKING: Sommige online bronnen vereisen een gebruikersnaam/wachtwoord om ze te gebruiken. U kunt deze informatie toevoegen door het config.iniconfiguratiebestand te bewerken (vanuit het menu Geavanceerde opties ).

  INFO: Skyscraper ondersteunt IGDB en MobyGames als verzamelbronnen, maar ze zijn niet geïntegreerd in het RetroPie-scriptmenu. Als je ze wilt gebruiken, moet je het vanaf de opdrachtregel gebruiken.

• Verzamelopties is een submenu dat wordt gebruikt om verschillende aspecten van de verzamelfase en van de informatie die aan de cache wordt toegevoegd, te configureren. U kunt dit submenu ook gebruiken om informatie uit de cache te verwijderen, om zo ruimte vrij te maken of ongewenste informatie te verwijderen.
  • Cache-screenshots: schakelt het downloaden en cachen van screenshots van de scraping-bron naar de resource-cache.
    Standaard: Ingeschakeld
  • Cache-covers: schakelt het downloaden en cachen van covers van de scraping-bron naar de resource-cache.
    Standaard: Ingeschakeld
  • Cachewielen: schakelt het downloaden en cachen van wielen van de scrapingbron naar de resourcecache.
    Standaard: Ingeschakeld
  • Cache-selectiekaders: schakelt het downloaden en cachen van selectiekaders van de scraping-bron naar de resourcecache.
    Standaard: Ingeschakeld
  • Alleen schrapen ontbreekt: voert de schraper alleen uit voor games/roms zonder enige geschraapte informatie/media in de broncache. Standaard: Uitgeschakeld
  • Cache-vernieuwing forceren: Skyscraper slaat de media op die zijn opgehaald uit online bronnen om het scrapen te versnellen en om meerdere informatiebronnen te combineren om u de beste beschikbare informatie te geven. Deze optie dwingt de schraper om de broncache te omzeilen en de bronnen opnieuw te downloaden van de online bronnen tijdens de verzamelactie.
    Standaard: Uitgeschakeld .
    OPMERKING : Gebruik deze optie spaarzaam. Skyscraper downloadt automatisch ontbrekende media voor nieuwe ROM’s, dus het is alleen nodig als u de ROM-media echt opnieuw wilt downloaden van online bronnen.
  • Opruimopdrachten
    Skyscraper slaat lokaal de media op die zijn gedownload van online bronnen. Na verloop van tijd kan deze cache groeien en een aanzienlijke hoeveelheid schijfruimte in beslag nemen – vooral als video’s zijn ingeschakeld. De cachegrootte wordt bovenaan in dit menuscherm weergegeven.
    U kunt de bestanden uit de cache verwijderen met behulp van de volgende acties die beschikbaar zijn in dit menu:
    • Vacuüm gekozen platform: verwijdert de lokaal gecachete bronnen die geen ROM/Game-bestand meer hebben. Handig om ruimte op te ruimen na het verwijderen van ROM’s.
    • Gekozen platform opschonen: verwijdert alle lokaal in de cache opgeslagen bronnen voor een gekozen platform.
    • Alle platforms opschonen: verwijdert alle lokaal in de cache opgeslagen bronnen voor alle platforms.
      OPMERKING: gebruik deze opties met zorg, ze zullen de bronnen in de cache volledig verwijderen. Voor het genereren van gamelijsten nadat je de cache hebt gewist, moet je de media opnieuw downloaden van de scraping-bronnen.

• Genereer gamelijst(en) Dit genereert de EmulationStation-gamelijst(en) voor de systemen die u kiest met behulp van alle eerder in de cache opgeslagen bronnen. Druk op Spatie om de systemen te selecteren die u wilt opnemen en op OK om de generator te starten.

• Genereer opties is een submenu dat wordt gebruikt om verschillende opties voor Skyscraper te configureren die van invloed zijn op hoe de spellijsten worden gegenereerd
  • ROM-namen: kies hoe u de ROM-naam in EmulationStation wilt weergeven:
    • Bronnaam gebruik de naam die uit de scraping-bron is gehaald ( standaard ).
    • Bestandsnaam gebruik de bestandsnaam van de ROM.
  • Info tussen haakjes verwijderen: kies ervoor om de tekst tussen haakjes te verwijderen ( Ingeschakeld ) of te behouden ( Uitgeschakeld ). Als de naam van het ROM is Super Mario World (USA)[!].sfc, zorgt het inschakelen van deze optie ervoor dat het ROM wordt weergegeven zoals Super Mario Worldin EmulationStation. Omgekeerd, wanneer uitgeschakeld, wordt de tekst tussen haakjes toegevoegd aan de naam van de ROM in de gamelijst.
    Standaard: Ingeschakeld .
  • Gebruik ROM-mappen voor gamelijst en media : schakel de locatie waar de schraper het uiteindelijke gamelist.xmlbestand voor EmulationStation zal genereren:
    • Indien ingeschakeld , worden de gamelist.xmlen de media naar de map ROMs geschreven.
    • Indien Uitgeschakeld , worden de gamelist.xmlen de media naar de EmulationStation-configuratiemap geschreven – $HOME/.emulationstation/gamelistsen $HOME/.emulationstation/downloaded_media.
      Standaard: Uitgeschakeld

• Andere commando’s en opties
  • Video’s downloaden: kies ervoor om het downloaden en opslaan van video’s voor de ROM-namen in te schakelen en ook als video’s worden toegevoegd aan de lijst met games voor EmulationStation.
    Standaard: Uitgeschakeld .
    OPMERKING: Houd er rekening mee dat het verzamelen en opslaan van video’s veel schijfruimte in beslag kan nemen.
  • Geavanceerde opties is een apart submenu voor geavanceerde acties:
    • Bewerk het bestand config.ini .
    • Bewerk het bestand artwork.xml .
    • Bewerk het bestand aliasMap.csv .
  • Check for Updates controleert of er een nieuwe Skyscraper- release beschikbaar is, zodat u kunt updaten naar die release.

Geavanceerde configuratie

Configuratiebestanden

Skyscraper bewaart zijn configuratiebestanden en gedownloade bronnencache in de ~/.skyscrapermap. Indien geïnstalleerd via de RetroPie-setup, is deze map ook toegankelijk via Samba Shares op

\\retropie\configs\all\skyscraper

Als u de configuratiebestanden wilt bewerken of de module Importeren wilt gebruiken, kunt u dit rechtstreeks doen op het systeem waarop RetroPie is geïnstalleerd of via het netwerk vanaf een andere computer.

kunstwerk

Met Skyscraper kunt u de uiteindelijke frontend-illustraties volledig aanpassen door de geschraapte mediabronnen samen te stellen via het artwork.xmlconfiguratiebestand.

Hier is een voorbeeld waarin de schermafbeelding van een game, de omslag en de mediabestanden van het stuur worden gecombineerd tot de uiteindelijke afbeelding.

omslag	schermafbeelding	Wiel	Laatste kunstwerk

Raadpleeg de officiële artworkdocumentatie over de artworkaanpassing.

Importeer uw eigen media

Als u uw eigen media heeft, kan Skyscraper deze importeren en gebruiken voor het scrapen van uw ROM’s.

Raadpleeg de officiële importdocumentatie om te begrijpen hoe u deze functie kunt gebruiken.

Probleemoplossen

Langzame opstart- en uitschakeltijden

U zult na het toevoegen van veel ROM’s en het schrapen ervan merken dat uw opstart- en afsluittijd aanzienlijk kan toenemen – sommige oplossingen om uw opstart- en afsluittijden te versnellen, worden HIER beschreven .

Waar worden mijn geschraapte media en metadata opgeslagen?

Nadat uw ROM’s zijn geschraapt, bevindt de geschraapte informatie zich in twee delen: de Gamelist- bestanden (met de metadata van de ROM’s) en de gedownloade mediabestanden (afbeeldingen en/of video’s). Afhankelijk van de gekozen opties per schraper, is deze informatie terug te vinden op 2 mogelijke plaatsen:

De /home/pi/.emulationstationmap is ook toegankelijk via Samba Shares op

\\retropie\configs\all\emulationstation

Onthoud: als u handmatig iets gaat bewerken, moet gamelist.xmlu EmulationStation eerst afsluiten!