Reverse Engineering der NLT II

[cmfrydos]

Ich habe den Code über das Watcom Disassembly Tool (https://github.com/fonic/wcdatool) bekommen [..]

Cool, das hatte ich nicht auf dem Schirm. Muss ich mir auch mal ansehen. Ghidra ist zwar der Knaller, hat aber bei so altem Zeugs schonmal Schwierigkeiten. 

Das Tool war der erste Google-Treffer auf meine Suche nach einem Watcom Disassembler. Wie gesagt, Assembler ist für mich Neuland. "Unter" C habe ich mich bisher nicht getraut. Daher kenne ich z.B. Ghidra gar nicht, aber sollte es mir wohl auch mal anschauen.
Da ich wirklich noch nicht viel von der Materie verstehe, frage ich lieber noch einmal nach, was genau du von mir gerne haben möchtest.
Ich erklimme leider gerade noch "Mount Stupid"..

Wäre es möglich, dass Du mir Deine Asm-Listings und Infos mal zukommen lässt? Dann würde ich die mit meinen Erkenntnissen zusammenbringen und in mein Wiki posten (nebst Deinen neuen Entdeckungen im 3DM). Das würde bestimmt auch Deinen Aktivitäten im Proben-Logger-Thread helfen

Was genau sind Asm-Listings? Meinst du damit die gesamte Ausgabe des wcdatools? (wenn ja, lieber von riva de oder en?)

An Infos daneben habe ich eine Liste mit HEX-Suchstrings, mit den gefundenen Adressen in der V1.01UK und der deutschen V1.12.
Jeweils noch mit einem Kommentar mit in etwa der Funktion an dieser Stelle. Die HEX-Suchstrings solltest du auch in deiner Disassembly finden.
Die Liste wird dann auch im Logger stecken, den ich die nächsten Wochen hier noch veröffentliche, kann sie dir aber schon mal zukommen lassen.
Ich habe auch einige "Daten"-Adressen, die aber wahrscheinlich nur für die englische Version gelten, und die ich noch nicht auf die Daten bzw. generierten Variablennamen in der Disassembly mappen konnte. Ich weiß nicht, ob dir das hilft? Ich habe darüber auch noch ein (leider noch nicht 100% korrektes) .py Skript, um mir aus den .asm einen Graphen zu erzeugen, und dort z.B Reachability abzufragen. Aber das ist halt auf die Ausgabe des wcdatools zugeschnitten.

Stand heute habe ich eine handvoll Funktionen ganz sicher identifiziert. Dazu gehören viele C-Library-Funktionen und ein paar aus der Watcom-Runtime. Viele weitere kann ich dank der Debug-Ausgaben, die noch drin versteckt sind, zumindest mal einzelnen Code-Files zuordnen. Dazu gehören Funktionen aus:

Spoiler

• ace.cpp (48 Funktionen)
  
• aifload.cpp (26 Funktionen)
  
• alchemy.cpp (4 Funktionen)
  
• alfdisk.cpp (34 Funktionen)
  
• alloc.cpp (20 Funktionen)
  
• amap.cpp (80 Funktionen)
  
• amapanno.cpp (1 Funktion)
  
• amapplst.cpp (1 Funktion)
  
• ani.cpp (19 Funktionen)
  
• arylist.cpp (2 Funktionen)
  
• board.cpp (5 Funktionen)
  
• boron1.cpp (1 Funktion)
  
• boron2.cpp (33 Funktionen)
  
• cache.cpp (17 Funktionen)
  
• carr_inv.cpp (17 Funktionen)
  
• carrier.cpp (25 Funktionen)
  
• castle.cpp (93 Funktionen)
  
• catering.cpp (3 Funktionen)
  
• cdaudio.cpp (1 Funktion)
  
• ch_item.cpp (1 Funktion)
  
• ch_item2.cpp (1 Funktion)
  
• ch_level.cpp (1 Funktion)
  
• chapter.cpp (4 Funktionen)
  
• char_opt.cpp (13 Funktionen)
  
• charac2.cpp (8 Funktionen)
  
• charact1.cpp (1 Funktion)
  
• charset.cpp (1 Funktion)
  
• checkovl.cpp (1 Funktion)
  
• chest.cpp (16 Funktionen)
  
• cmask.cpp (1 Funktion)
  
• cmask2.cpp (4 Funktionen)
  
• cmask4.cpp (2 Funktionen)
  
• dbitmatr.cpp (1 Funktion)
  
• dcut.cpp (6 Funktionen)
  
• dealitem.cpp (21 Funktionen)
  
• debugovl.cpp (1 Funktion)
  
• deity.cpp (19 Funktionen)
  
• dialog.cpp (7 Funktionen)
  
• diary.cpp (8 Funktionen)
  
• diary2.cpp (8 Funktionen)
  
• diary3.cpp (4 Funktionen)
  
• dice.cpp (4 Funktionen)
  
• diskmen2.cpp (13 Funktionen)
  
• diskmenu.cpp (2 Funktionen)
  
• dodungeo.cpp (1 Funktion)
  
• door.cpp (16 Funktionen)
  
• dunghelp.cpp (7 Funktionen)
  
• editor.cpp (8 Funktionen)
  
• editor2.cpp (16 Funktionen)
  
• environ1.cpp (10 Funktionen)
  
• environ2.cpp (14 Funktionen)
  
• exposami.cpp (1 Funktion)
  
• face2.cpp (1 Funktion)
  
• fi_ac_co.cpp (3 Funktionen)
  
• fi_ac_mo.cpp (2 Funktionen)
  
• fi_aceov.cpp (4 Funktionen)
  
• fi_end.cpp (1 Funktion)
  
• fi_fast.cpp (1 Funktion)
  
• fi_gfx.cpp (6 Funktionen)
  
• fi_ini.cpp (8 Funktionen)
  
• fi_large.cpp (14 Funktionen)
  
• fi_load.cpp (1 Funktion)
  
• fi_miovl.cpp (1 Funktion)
  
• fi_opt.cpp (3 Funktionen)
  
• fightovl.cpp (5 Funktionen)
  
• file.cpp (25 Funktionen)
  
• final1.cpp (3 Funktionen)
  
• final2.cpp (2 Funktionen)
  
• game.cpp (1 Funktion)
  
• gamepoin.cpp (7 Funktionen)
  
• gen.cpp (1 Funktion)
  
• gen3.cpp (1 Funktion)
  
• gen4.cpp (1 Funktion)
  
• gfx.cpp (13 Funktionen)
  
• graphics.cpp (5 Funktionen)
  
• headquar.cpp (4 Funktionen)
  
• healer.cpp (1 Funktion)
  
• hmi.cpp (33 Funktionen)
  
• hyperhlp.cpp (23 Funktionen)
  
• icon.cpp (5 Funktionen)
  
• import.cpp (5 Funktionen)
  
• import2.cpp (2 Funktionen)
  
• input.cpp (1 Funktion)
  
• item.cpp (1 Funktion)
  
• itemdist.cpp (18 Funktionen)
  
• lang_ger.cpp (1 Funktion)
  
• lang_swe.cpp (2 Funktionen)
  
• lang_us.cpp (4 Funktionen)
  
• language.cpp (1 Funktion)
  
• loaders.cpp (5 Funktionen)
  
• loadseq.cpp (2 Funktionen)
  
• location.cpp (14 Funktionen)
  
• menu.cpp (5 Funktionen)
  
• menuovl.cpp (1 Funktion)
  
• mine2.cpp (1 Funktion)
  
• misc.cpp (7 Funktionen)
  
• monster.cpp (1 Funktion)
  
• mosaic.cpp (1 Funktion)
  
• mouse.cpp (1 Funktion)
  
• no_ovl.cpp (2 Funktionen)
  
• npc.cpp (1 Funktion)
  
• numinput.cpp (1 Funktion)
  
• options.cpp (14 Funktionen)
  
• packfile.cpp (3 Funktionen)
  
• palfdisk.cpp (1 Funktion)
  
• panel.cpp (1 Funktion)
  
• party2.cpp (1 Funktion)
  
• party4.cpp (1 Funktion)
  
• pcx.cpp (1 Funktion)
  
• pool.cpp (1 Funktion)
  
• poolconv.cpp (1 Funktion)
  
• poolgfx.cpp (14 Funktionen)
  
• poolinit.cpp (5 Funktionen)
  
• popup.cpp (4 Funktionen)
  
• powerpak.cpp (19 Funktionen)
  
• printer.cpp (2 Funktionen)
  
• printer2.cpp (1 Funktion)
  
• realdisk.cpp (24 Funktionen)
  
• riva.cpp (13 Funktionen)
  
• sacc.cpp (27 Funktionen)
  
• screensa.cpp (4 Funktionen)
  
• selector.cpp (7 Funktionen)
  
• set.cpp (3 Funktionen)
  
• sewerag1.cpp (1 Funktion)
  
• sewerag3.cpp (10 Funktionen)
  
• shape.cpp (15 Funktionen)
  
• ship.cpp (13 Funktionen)
  
• ship1.cpp (23 Funktionen)
  
• ship2.cpp (3 Funktionen)
  
• ship3.cpp (3 Funktionen)
  
• shop.cpp (3 Funktionen)
  
• smacker.cpp (1 Funktion)
  
• smith.cpp (2 Funktionen)
  
• speech.cpp (4 Funktionen)
  
• spoil.cpp (12 Funktionen)
  
• star.cpp (1 Funktion)
  
• star1.cpp (21 Funktionen)
  
• star2.cpp (4 Funktionen)
  
• star3.cpp (1 Funktion)
  
• stock.cpp (6 Funktionen)
  
• stockcon.cpp (3 Funktionen)
  
• table.cpp (2 Funktionen)
  
• tdmalloc.cpp (1 Funktion)
  
• tdminit.cpp (12 Funktionen)
  
• tdmkey.cpp (1 Funktion)
  
• tdmloop.cpp (20 Funktionen)
  
• tdmpal.cpp (1 Funktion)
  
• tdmwater.cpp (1 Funktion)
  
• tempdisk.cpp (3 Funktionen)
  
• temple.cpp (11 Funktionen)
  
• textstub.cpp (5 Funktionen)
  
• timeovl.cpp (2 Funktionen)
  
• tolower.cpp (2 Funktionen)
  
• tower0.cpp (1 Funktion)
  
• tower1.cpp (3 Funktionen)
  
• tower2.cpp (3 Funktionen)
  
• tower4.cpp (7 Funktionen)
  
• use.cpp (8 Funktionen)
  
• vcut.cpp (4 Funktionen)
  
• virtdisk.cpp (1 Funktion)
  
• vslider.cpp (1 Funktion)
  
• xdialog.cpp (28 Funktionen)
  
• zmain.cpp (1 Funktion)
  

Die Anzahl der Funktionen ist eine Untergrenze. Vermutlich bekommen viele dieser Dateien am Ende noch mehr Funktionen zugeordet. Habe das etwas konservativ geschätzt.

Es gibt noch mehr Verweise auf CPP-Dateien, aber die konnte ich noch keinen Funktionen zuordnen. Insgesamt hab ich ca. 1400 Funktionen mit Namen versehen können. Die Angaben sind allerdings nicht in Stein gemeißelt, weil das Python-Skript dafür stark heuristisch vorgegangen ist. Aber die Richtung sollte stimmen und könnte helfen.

Oh, Wow, das hört sich ja fantastisch an! Keine Ahnung, wie du das geschafft hast - Ich habe da selbst nur immer mal wieder ein paar Strings im Hexeditor gesehen, konnte damit aber gar nichts anfangen.. ZB. die Informationen zu den Dungeon-Verknüpfungen, welcher Ausgang zu welchem Eingang führt, stand inmitten von .cpp Dateien (also den String Verweisen darauf). Deine Zuordnung könnte mir tatsächlich einiges erleichtern, da es meinen Suchraum stark einschränkt.
Wenn man aus den Startpositionen der Funktionen einen eindeutigen Suchstring generieren könnte, kann ich das direkt im Debugger anzeigen lassen. Nur so als Idee, um da unsere Ergebnisse abzugleichen. Das mit den Suchstrings funktioniert aber nicht überall. Vorallem bei weiten Sprüngen, oder Variablenreferenzierungen gibt es da doch einen Unterschied zwischen den Riva Versionen, und meiner disassembly. Aber in 2 von 3 Fällen hat es bisher geklappt. Optimalerweise würde man da dann mit einer RegEx suchen, bei denen die uneindeutigen Adressen Wildcards sind.

Deine Ausführungen passen für mich. Was Du mit diesem Halo-Effekt meinst, spukte auch schon vor meinem inneren Auge herum. [...]

Danke für deine Einschätzung, damit habe ich das Vertrauen, dass bei meinem Shader etwas sinnvolles bei rauskommen könnte
Wirklich vielen, vielen Dank für deine Hilfe! Hier ist es etwas still geworden, und die meisten Experten hier schauen nur noch alle paar Monate oder Jahre vorbei. Ich habe das Gefühl, ich bin hier über 10 Jahre zu spät, andererseits dann aber doch froh, dass es an Riva noch zu arbeiten gibt.