Pimp my QNAP TVS-1282: I7-6700K 4GHz, 64GB RAM und Wasserkühlung

IM EINSATZ?

Dann schau dir UNSEREN LOXKURS an und profitiere von unserem Wissen!

Nachdem der letzte Artikel der “Pimp my“-Reihe jetzt schon Jahre zurückliegt, folgt jetzt endlich mal ein größeres Update. Es sollte wieder ein QNAP NAS gepimpt werden, dabei aber nicht nur die CPU getauscht und der Arbeitsspeicher bis zum möglichen Maximum erweitert, sondern zusätzlich eine performante Wasserkühlung nachgerüstet werden, damit das Powerhouse selbst bei Vollauslastung einen kühlen Kopf bewahrt. Wie die Aufrüstung im Detail aussieht und wozu ich die Kiste einsetze, erfahrt ihr im nachfolgenden Blogpost

Ausgangslage: QNAP TS-670

Nach mehr als vier Jahren seit meinem letzten QNAP-Pimp war es nun mal an der Zeit für ein Upgrade. Nicht, dass das TS-670 mit seinem aufgerüsteten i7 wirklich langsam wäre, verspürte ich nach und nach dennoch den Wunsch nach einem per SSD-Cache beschleunigsten System mit mehr als 16GB RAM, um vorallem allen in der Virtualization Station beheimateten VMs einen Geschwindigkeitsboost zu verpassen.

Ausserdem ging der HDD-Speicherplatz zur Neige, sodass bereits ein QNAP UX-800P 8 Bay Desktop NAS Erweiterungsgehäuse (Affiliate-Link) nachgerüstet wurde. In Verbindung mit der TS-x70 Reihe musste man bei einem Reboot des NAS aber immer erstmal die Extension für 20-30 Sekunden vom Strom trennen, damit das QNAP nicht fälschlicherweise von der Extension bootet und dabei dann steckenbleibt. Aber gut, offiziell läuft es mit der USB-Extension von QNAP auch erst mit der x71-er Reihe rund. Langfristig ist das dann schon etwas nervig, wobei ich das auch per schaltbaren Steckdosen mit Leistungsmessung und entsprechenden Regeln hätte lösen können. Aber das war dann selbst mir zu frickelig. Es musste also ein neues NAS her…

Neues NAS: Die Qual der Wahl

Grundsätzlich hätte ich mir neben einem QNAP auch ein Synology oder ein selbst gebautes FreeNAS-System vorstellen können, wie damals im Blogpost Pimp my HP Proliant G8 Microserver: 4×3,3GHz E3 und 16GB RAM beschrieben.

Um es vorweg zu nehmen: Auch nach Jahren der parallelen Nutzung aller drei Systeme bin ich weiterhin ein großer Fan von QNAP. Aus vielen Gründen.

FreeNAS hätte zumindest den Vorteil eine vergleichsweise günstige und maßgeschneiderte Hardware einzusetzen zu können, die insgesamt vermutlich auch am meisten Power besitzt. Gerade in Beziehung auf den produktiven Einsatz kommt man aber als Nicht-FreeNAS-Profi, der sich in jeder freien Minute damit beschäftigt, schnell an Grenzen, wenn nach einem Update ein Dienst doch nicht mehr so tut wie erhofft oder eine Festplatte ausfällt und man mit mehr als kryptischen Email-Benachrichtungen konfrontiert wird. Support erhält man in diesem Fall – wenn überhaupt – auch nur in Internetforen, in denen oftmals – wir kennen es alle – nicht nur Profis Tipps geben. Für mich einfach zu intrasparent, was bei FreeNAS unter der Haube abgeht und worum ich mich kümmern muss, damit das System auch dauerhaft das tut, was ich mir erhoffe.

Synology hätte auch einige nette Modelle im Angebot. Wie bei QNAP ist hier die Software und Hardware aufeinander abgestimmt und im Zweifelsfall bekommt man Support vom Hersteller. Das Synology DS3617XS (Affiliate-Link) mit 12 Bays samt Arbeitsspeicher mit ECC-Support ist mir dabei direkt ins Auge gesprungen.

Ob man dieses Modell mit dem doch schon recht potenten Intel Xeon D-1527 aber noch weiter hätte aufrüsten können, bleibt jedoch ungewiss. Anscheinend haben die Xeon-CPUs mit Sockel FCBGA1667 jedenfalls keine Grafikeinheit integriert und so hätte das Synology-System die Hardwaretranscoding-Features von Plex mit ziemlicher Sicherheit nicht nutzen können. Ein Punkt, der mir jedoch wichtig erscheint, da meine Bibliothek auch von unterwegs, u.A. aus dem LTE-Netz, genutzt werden soll.

QNAP bietet seit kurzem mit seiner TS-x77 Reihe einige per AMD Ryzen angetriebene NAS-Systeme an, wie das TS-1277 mit ganzen 8 Kernen und 16 Threads. Aber auch hier: Die CPU ist vermutlich super potent, jedoch für Hardwaretranscoding per Plex inkompatibel.

Insgesamt am interessantesten fand ich damit die Modellreihe TVS-x82 mit Intel-CPU, welche zwar schon einige Zeit auf dem Markt ist, aber hardwareseitig alle Voraussetzungen mitbringt, die mir wichtig sind:

  • 12 Bays (8×3,5″ und 4×2,5″)
  • 2 M2-Slots für zusätzlichen SSD-Cache
  • Hardware AES-NI zur Datenverschlüsselung
  • Hardwarebeschleunigung für Videotranscoding (H264 En- und Decoding) in Plex
  • gesockelte CPU und damit austauschbar
  • RAM auf bis zu 64 GB aufrüstbar

Das günstigste 12-Bay-Modell TVS-1282-i3-8GB (Affiliate-Link) der Serie mit schwachbrüstigem i3 Prozessor und nur 8GB Arbeitsspeicher sollte es dann werden, da ja sowohl CPU als aus RAM sowieso aufgerüstet werden sollten.

Als Alternative wäre noch das neuere TVS-x82-T3 – also mit der Ergänzung T3 am Ende – in Frage gekommen. Hier hätte man dann auch einen Intel i7 der siebten Generation, also bspw. das potenteste Modell i7-7700K (Affiliate-Link) verbauen können. In der Modellreihe ohne T3 ist hingegen “nur” ein Chip der sechsten Generation, also der von mir nachgerüstete i7-6700K (Affiliate-Link) möglich.

Update vom 28.11.2020: Mit einem passenden BIOS-Update ist auch bei einem “Original-Sky-Lake”-QNAP der TVS-x82-er Reihe das Upgrade mit einer Kaby-Lake-CPU möglich!!! Alles Infos dazu im Blogpost Pimp my QNAP TVS-x82 – CPU-Upgrade von Sky Lake auf Kaby Lake

Unterschied ist, dass das neuere Modell knapp 5-10% schneller ist und wohl auch HEVC/H265 hardwareseitig transcodieren können soll. Aber gut, dass T3-Modell ist schlicht nochmal ein gutes Stück teurer und fällt damit raus. Irgendwo muss ja mal Schluss sein.

Pimp My NAS – Arbeitsspeicher tauschen

Von QNAP offiziell erlaubt ist es weiterhin den Arbeitsspeicher ohne Verlust der Herstellergarantie selbst aufzurüsten (offizielles HowTo von QNAP). Dazu werden erstmal die dafür notwendigen sieben Schrauben an der Gehäuserückseite entfernt…

das Cover nach etwas nach hinten-oben geschoben und das Innere des NAS freigelegt.

Auf der vorn vorne gesehen rechten Seite des Gehäuses ist dann das Mainboard, der passive CPU-Kühlkörper und ein Lüfter samt Halterung zu sehen, unter diesem sich die RAM-Slots befinden.

Um den Lüfter samt Halterung zu entfernen, muss eine weitere Schraube der Halterung entfernt und das Anschlusskabel des Lüfters vom Mainboard ausgesteckt werden.

Jetzt sind die vier RAM-Bänke zugänglich, von denen bereits zwei Slots mit jeweils einem 4GB-Modul belegt sind.

Bei den original verbauten RAM-Modulen handelt es sich um das Modell Transcend DIMM 4GB, DDR4-2133, CL15-15-15 (TS512MLH64V1H) (Affiliate-Link).

Also erstmal den alten RAM ausgeklickst…

und die gewünschten RAM-Module zur Hand. Hierbei handelt es sich um vier Module vom Typ 16GB Kingston DDR4-2133 CL15-15-15 DIMM 288-PIN (Affiliate-Link).

Als 64GB RAM Upgrade-Set zum Hammerpreis auf anynas.de verfügbar. Übrigens total netter Telefon-Support!

Und rein damit ins NAS. Eine Sache von fünf Minuten. Wichtig ist dabei, dass die RAM-Module gut hörbar komplett einklicken, da nur so alle notwendigen Kontakte verbunden werden.

Wer auf Nummer-Sicher gehen möchte, baut den Lüfter jetzt erstmal wieder ein und versucht das NAS zu starten. Auf die intitiale Meldung “BIOS: QX80AR20 Checking Memory”…

sollte nach max. 20 Sekunden die zweite Meldung “Powering Up All Disks ..” folgen.

Wenn der Arbeitsspeicher auf Anhieb nicht korrekt erkannt wird, bspw. weil einer der Moduls nicht richtig eingerastet ist (so war es bei mir), bleibt das NAS bei der ersten Meldung hängen. In diesem Fall keine Panik. Dann heisst es lediglich jedes Modul der Reihe nach zu prüfen, bis das NAS ordnungsgemäß bootet.

Pimp My NAS – CPU tauschen

An dieser Stelle wieder mal das obligatorische “Wer an dieser Stelle weitermacht und die CPU tauscht, verliert die offizielle QNAP-Garantie. Ich übernehme keine Haftung für Defekte und zeige hier ausschließlich, wie ich zum Erfolg gekommen bin.”

Also erstmal den ollen Original-CPU-Kühlkörper vom Sockel schrauben. Hier sieht man noch die Reste der ursprünglich aufgebrachten Wärmeleitpaste an der Unterseite des Kühlkörpers.

Die freigelegte CPU mit der restlichen Wärmeleitpaste sieht auf dem Mainboard dann so aus.

Jetzt wird der Haltebügel links aus der Halterung gedrückt, sodass er nach oben klappt.

Jetzt wird die silberene CPU-Halteplatte entriegelt und nach oben geklappt.

Anschließend kann die CPU vorsichtig nach oben entfernt werden.

Zum Einsatz kommt nun der bereits oben erwähnte i7-6700K (Affiliate-Link), quasi das Premium-Modell mit maximaler Taktfrequenz von 4 GHz und damit auch größtmöglichem Stromverbrauch und einhergehnder Abwärme.

Hier nochmal in der Makro-Aufnahme.

Der Vollständigkeit halber nochmal alle passenden Prozessoren, die bei der QNAP TVS-x82 Reihe zum Einsatz kommen können:

Bearbeiten
CPU (Sockel 1151) Speed Max. TDP
i3-6100 (Affiliate-Link) (Lieferumfang) 2 x 3,7 GHz
(4 Threads)
51 W
i7-6700T (Affiliate-Link) 4 x 2,8 GHz
(8 Threads)
35 W
i7-6700 (Affiliate-Link) 4 x 3,4 Ghz
(8 Threads)
65 W
i7-6700K (Affiliate-Link) 4 x 4,0 GHz
(8 Threads)
91 W

Im Vorfeld wollte ich eigentlich das weniger stromhungrige T-Modell mit nur 35W TDP verbauen, durch die gleich noch vorgestellte Wasserkühlung habe ich mich aber entschlossen auf volle Power zu setzen und das K-Modell gewählt.

Also erstmal die neue CPU seitenrichtig einsetzen und mit einem erbsengroßen Punkt Wärmeleitpaste versehen. Die Wärmeleitpaste wird dann beim Festschrauben des Kühlkörpers auf dem gesamten Prozessor verteilt, sodass die Wärme gleichmäßig abgegeben werden kann.

Zum Einsatz kam übrigens die Arctic MX-4 Wärmeleitpaste (Affiliate-Link), die bei Tests durchweg gut abschneidet.

Der originale passive Kühlkörper wäre spätestens beim hier verbauten i7-6700K mit seinen bis zu 91 Watt Verlustleistung hoffnungslos überfordert. Deshalb musste eine Alternative in Form des Corsair H5 SF CPU Cooler (Affiliate-Link) mit eingebauter Wasserkühlung her, welche perfekt in das Gehäuse passt.

Dabei hat diese Kühlvariante gleich zwei Vorteile. Einerseits wird die CPU durch den Flüssigkeitstausch auch bei Volllast effektiv gekühlt (bei mir ging die Temperatur auch nach langer Auslastung nie über 67 Grad) und andererseits kann die Abwärme vom eingebauten Lüfter bei korrekter Montage direkt aus der Rückseite des QNAP-NAS geführt werden. Und dieser zweite Punkt ist aus meiner Sicht schon Grund genug den Standardlüfter zu tauschen. Dieser schaufelt die Luft im Inneren nämlich nur in Richtung des passiven CPU-Kühlers und damit in Richtung der dahinterliegenden Rückseite des NAS, wobei hier durch Verwirbelung zumindest ein Teil der Abluft im Gehäuse verbleibt. Im Endeffekt ist dieses Design meiner Meinung nach alles andere als durchdacht und unverständlich. Aber zurück zur Corsair Wasserkühlung mit der alles besser wird…

Mit dem passenden Adapter samt Schauben für den Sockel 1151 wird der Kühlkörper auf die CPU geschraubt. Das bereits eingebaute Backplane des Original-Kühlkörpers kann dabei weiter genutzt werden.

Vorher ist es sinnvoll die Oberflächen von CPU und Kühlkörper von möglichen Verunreinigungen zu befreien. Dazu habe zum ersten Mal das zweiteilige Arctic Silver ArctiClean Set (Affiliate-Link) probiert, da ich neugierig war, wie gut das funktioniert.

Ich muss sagen, dass selbst eingetrocknete Wärmeleitpaste nach kurzer Einwirkzeit des “Removers” problemlos mit einem weichen Tuch entfernt werden konnte. Ob der im Anschluss aufgetragene “Purifier” die Oberfläche dann nochmal reiner macht, kann ich mit bloßem Auge nicht sagen, aber der Hersteller weiss bestimmt, was er da macht. Die Bewertung auf Amazon sprechen jedenfalls klar für das Produkt.

So blitzblank sieht der geputze Kühlkörper des Corsair-Kühlers jedenfalls nach der Reinigung aus. Hier sieht man auch ganz gut die Turbine des Kühlkörpers, welche mit bis zu 2.250 Umdrehungen die warme CPU-Abwärme aus dem Gehäuse lüftet.

So sieht das Ganze dann im noch hochgeklappten Zustand aus.

Hier die Hinterseite des Corsair-Kühlkörpers, aus dem später die warme Luft strömt.

Baubedingt passt der verhältnismäßig große Kühlkörper nur mit etwas Abstand zur Rückseite des NAS in das QNAP-Gehäuse. Das macht aber nichts, da man diesen Abstand mit etwas “Basteln” recht einfach überbrücken kann.

Dazu habe ich ein Dichtband, welches auf einer Seite klebt, zugeschnitten und passend an der Innenrückseite des NAS angebracht, sodass sich der Kühler perfekt anschmiegen kann und der Luftfluss nach außen nicht unterbrochen wird.

So sieht dann das fertige Ergebnis aus, der Kühler passt auf den Millimeter genau in das QNAP-Gehäuse.

Bevor der Gehäusedeckel wieder vorsichtig aufgesetzt wird, müssen nur noch die beiden Kabel des Corsair-Kühlers am Mainboard angeschlossen werden. Bei CPU Fan4 (der untere Stecker im nachfolgenden Bild) wird der vierpolige Stecker der Turbine angeschlossen, welche dann je nach Auslastung und Temperatur des Prozessors dynamisch zwischen knapp 1200 und 2300 Umdrehungen/Minute läuft. Der dreipolige Stecker, welcher die Pumpe für die Kühlflüssigkeit antreibt, wird auf den Anschluss CPU Fan5 (der obere Stecker im nachfolgenden Bild) gesteckt.

Das war es auch schon. Beim Zusammensetzen muss man schon etwas vorsichtig sein, sodass der Kühlkörper an Ort und Stelle bleibt, insgesamt macht diese Lösung aber eine wirklich gute Figur. Spätestens dann, wenn man sich die Leistungswerte ansieht.

Im Idle läuft die CPU im NAS mit knapp 33 Grad und einer Lüftergeschwindigkeit von 1200 rpm. Wird sie über einen längeren Zeitraum zu 100% ausgelastet, steigt die Temperatur auf bis zu 67 Grad, der Lüfter dreht dann hoch auf 2.250 rpm. Die Lautstärke ist dann zugegebermaßen schon recht hoch, wobei ich da echt empfindlich bin. Im Netzwerkschrank ist das kein Problem, im Schrank neben dem Schreibtisch würde ich das eher nicht empfehlen.

Pimp My NAS – Gehäuselüfter

Die drei Gehäuselüfter wollte ich eigentlich auch direkt tauschen mit dem Modell Noctua NF-A8 PWM 80mm Lüfter (Affiliate-Link). Die Noctua liegen auch schon in der Schublade, bisher kann ich ich aber über die Original-Lüfter, die standardmäßig mit knapp 800 U/m laufen und die Systemtemperatur auf knapp über 30 Grad halten, nicht beschweren. Mal sehen, wenn ich das QNAP das nächste Mal öffne, werde die Noctua mal einbauen und berichten.

Aus meinem täglichen Leben

Noch nie hatte ich bisher eine Wasserkühlung verbaut, erst recht nicht in einem NAS-System. Früher war das auch echt stressig mit der Kühlflüssigkeit herumzuhantieren und die Schläuche zuzuschneiden etc. Mit dem hier genutzten Corsair H5 SF CPU Cooler (Affiliate-Link) gestaltet sich das Upgrade aber fast schon als Plug&Play-Lösung.

Der i7-6700K (Affiliate-Link) hat ordentlich Bums, um auch viele CPU-intensive Prozesse gleichzeitig zu bedienen und die insgesamt 64 GB RAM, bestehend aus vier Modulen a 16GB Kingston DDR4-2133 CL15-15-15 DIMM 288-PIN (Affiliate-Link) lassen auch eine Vielzahl von virtuellen Maschinen in der QNAP-Umgebung “Virtualization Station” ohne Murren laufen.

Um die CPU zu stresstesten, habe ich übrigens das Terminal-Programm CPUBurn verwendet. Einfach die Linux (64 Bit)-Version herunterladen, entpacken und das Verzeichnis in den Public-Folder kopieren. Dann noch per ssh einloggen und per Konsolenbefehl starten:

/share/CE_CACHEDEV1_DATA/Public/cpuburn/cpuburn

Jetzt werden alle CPU-Kerne (in diesem Fall 8) voll ausgelastet. Die CPU-Temperatur lässt sich dann in der QTS Oberfläche überwachen. Gestoppt wird das Programm dann per Tastenbefehl “CTRL + c” oder durch das Schließen des Terminals selbst. Wie oben bereits erwähnt, pendelt sich die CPU-Temp bei Volllast bei 67 Grad ein (im Netzwerkschrank bei Zimmertemperatur). Ein moderater Wert, in Anbetracht der gebotenen Performance.

Zum langfristigen Stromverbrauch kann ich noch nicht wirklich viel sagen, da ich das NAS bei der Einrichtung gerade aufgrund der CPU-Stresstests etwas malträtiert habe, was die Auswertung natürlich verfälscht. Die Range liegt aktuell irgendwo zwischen 50 und 180 Watt (mit ganz kurzen Peaks nach oben), je nach Auslastung und Anzahl der im Gebrauch befindlichen Festplatten. Eine Langzeitauswertung wird folgen, sobald ich validere Daten habe.

Bei der Aufteilung des Speichers bin ich so vorgegangen, dass das QNAP-Betriebssystem samt Anwendungen auf insgesamt zwei Samsung MZ-75E500B/EU 850 EVO SSD 500GB (Affiliate-Link) im RAID 1 werkelt. Diese stecken in zwei der vier oben am NAS befindlichen 2,5″ Slots. Vielleicht tausche ich die 500GB SSDs irgendwann geben größere. Das geht dankt Online-RAID-Migration bei QNAP-NAS sogar on-the-fly. Einer der Gründe, weshalb ich QNAP einfach lieben gelernt habe. Die M2-Slots bleiben somit erstmal frei.

Als HDD-Speicher kommen jetzt mehrere WD Red Pro WD101KFBX 10 TB (Affiliate-Link) zum Einsatz. Lange war ich dabei ein Fan von RAID 5 bzw. 6, aber mit immer größeren Festplatten ist dieses Konzept – so auch die landläufige Meinung – langsam überholt. Deshalb habe ich jetzt nur noch zwei Platten im RAID 1 laufen, sodass bei einem Ausfall direkt weitergearbeitet werden kann. Alle anderen Platten sind einzeln konfiguriert. Geht also eine Platte hops, sind im schlimmsten Fall auch deren Daten verloren. Da ich aber sowieso alle Daten noch mindestens einmal auf externen Platten in regelmäßigen Abständen speichere, ist das aber im Fall der Fälle halb so wild. Insgesamt bringt dieses Vorgehen für den Dauerbetrieb auch einen zentralen Vorteil. Nur die Platten, die benötigt werden, sind eingeschaltet, die restlichen werden vom NAS nach zehn Minuten Inaktivität schlafen geschickt. So sinkt nicht nur der Stromverbrauch, sondern auch die physische Abnutzung der Platten, die bei einem RAID-System meist im Dauer-On laufen würden.

Alles in allem bin ich mit dem Ergebnis mehr als zufrieden. Das Upgrade hat genau so funktioniert, wie ich es mir erhofft hatte. Und jetzt sollte erstmal wieder ein paar Jahre Ruhe sein, da das QNAP NAS erstmal mehr als genug Leistungsreserven besitzt, egal in welcher Beziehung.

99 Kommentare
    1. ja 🙂

      Mein Loxberry ist auch als x86 VM drauf, und HA Bridge und FHEM, und noch einige Windows + Linux VMs 🙂
      Falls der NAS ausgeschaltet ist, funktioniert gar nix im Haus 😉

      Find das SSD Caching auch enttäuschend, überlege ob ich lieber auf Qtier konvertiere.

  1. Moin Jörg, toller Beitrag!
    Ich selber habe das gleiche Setup auch bereits seit ein paar Monaten so am laufen, allerdings ohne Wakü – da werde ich denke ich kurzfristig nachlegen.

    Was ich nch Empfehlen kann sind die Add-On-Karten mit denen PCIe M2-SSD verwendet werden können. Habe da 2x 1TB Samsung EVO 960 drauf im Raid1 alleine für die ganzen VM’s. In Verbindung mit 10G ein hammer System was mir jeden Tag freude macht.

    Mit dem SSD Cache (4x Samsung 950 Pro 256GB) habe ich leider auch bei diese QNAP keine bahnbrechende Erfahrung gemacht. Insbesondere beim 10G Durchsatz (!) ist der HDD-Only Betrieb erheblich schneller. Massig IOPS benötige ich nur für die VM’s daher das eigene Raid1 wie oben beschrieben.

    Mach weiter so.

    Gruß
    Tom

    1. Hi Tom,
      bin gespannt auf deine Erfahrungswerte zur Wakü. Gerade auch im Bezug auf dein jetziges Setup, welche du ja schon länger kennst.

      PCIe kommt bei mir sicherlich auch irgendwann, aber dafür müsste ich mein Netzwerk vermutlich erstmal mit 10Gbit-Switches versorgen, um einen spürbaren Performance-Sprung zu merken. Aktuell habe ich die vier 1Gbit-Anschlüsse zusammengeschaltet und kann mich noch nicht beschweren. Je nachdem, wieviele VMs noch dazukommen, macht es sicherlich auch irgendwann Sinn.

      BTW: Weiss jemand, ob man in der Virtualization Station auch MacOS laufen lassen kann? Dann könnte ich meinen MacMini endlich mal einmotten und alles komplett aufs QNAP umziehen…

      Grüße
      Jörg

    2. Das könnte man mal prüfen mit macOS (soll aber irgendwie gehen…. https://github.com/kholia/OSX-KVM) …. ich habe jüngst gerade XPenology in einer Qnap-VM stabil zum laufen gebracht. Die Photostation von Syno gefällt mir immernoch 1000x besser als die von QNAP.

    1. Hab im Blogpost eine Verbrauchsgrafik ergänzt, welche per Wirkleistungsmessung des Loxone Air Socket ermittelt wurde. Ist aber – wie oben erwähnt – noch nicht wirklich aussagekräftig, was den Langzeitbetrieb angeht. In Anbetracht der zur Verfügung stehenden Power dennoch ein ordenlicher Wert finde ich. Und über Nacht kann man ja immer noch geplant in den Standby fahren. Nutzt das jemand? Gibt es da verschiedene Modi mit Vor-/Nachteilen?

      Grüße
      Jörg

  2. Moin Jörg,

    Erneut ein wirklich hervorragender Artikel von dir.
    Ich selber nutze noch einen kleinen NAS von QNAP und zwar den TS-251+ (Affiliate-Link). Dabei wird er vorrangig für Docker, OwnCloud und Plex genutzt.

    Wofür benötigst du den ganzen Speicherplatz? Der ist doch garantiert nicht nur für Plex und Fhem gedacht oder?

    Best Grüße
    Christopher

    1. Hi Christopher,
      genau das von dir angesprochene QNAP habe ich gerade auch im Test. Bin total begeistert von der Performance, gerade was Hardwaretranscoding angeht. Aus meiner Sicht eine ideale Plattform für einen Plex Server. Ein Blogpost dazu wird auch bald folgen.

      Speicherplatz kann man nie genug haben.. 🙂 1:1 eingelesene Filme brauchen schon mal über 30GB, eine Serie mit x-Staffeln in voller Qualität auch mal 500GB. Das läppert sich schnell. Außerdem zeichnen aktuell fünf Mobotix-Cams 24:7 in Full-HD auf. Der Blog macht seit Jahren täglich Backups auf das NAS, virtuelle Maschinen brauchen in Summe auch paar hundert GB. Private Fotos/Videos kratzen auch schon die TB-Marke. Achso und die TimeMachine zum Backup mehrerer Macs ebenfalls. Das war sicher noch nicht alles, aber das sind vermutlich die größten Platzfresser.

      Grüße
      Jörg

    2. Hallo Jörg, ich bin noch auf der Suche einer automatischen Lösung, einen mpeg2 oder anderen Streamer automatisch in Ihnen mpeg4 Matroska Container o.ä. umzuwandeln, also einfach irgendwas in ein Verzeichnis legen und automatisch kommt was definiertes heraus mit Moviesheets usw… Eine Idee?

    3. Hi Axel,
      sowas in der Art habe ich auch schon per Bash-Script gelöst. Ein Verzeichnis wird bspw. minütlich nach einem neuen Content überprüft und dann die Files per ffmpeg ins gewünschte Format transkodiert. Das ist aber alles andere als Out-of-the-Box… Glaub da gab es auch mal ein wirklich tolles Projekt auf Github, welches ich als Ausgangspunkt genommen habe.. Ich schau mal, ob ich finden kann…

      Grüße
      Jörg

    4. Nein, das ist der richtige Link fürs Transcoding: https://github.com/donmelton/video_transcoding
      Eine grandiose Lösung!!!

    5. Ach und hier noch ein klasse Audio-Podcast dazu mit super Hintergrundinfos zum Videotranscoding: https://www.imore.com/vector-22-don-melton-transcoding-video

  3. Hallo Jörg, und wieder ein Beitrag, der eure fachliche Kompetenz unter Beweis stellt. Auch wenn meine Strategie hierzu in eine andere Richtung geht, da ich versuche die gesamten Kosten im Auge zu behalten. Einen höheren Preis wäre es mir wert, wenn ich dadurch einen geringen Stromverbrauch erzielen würde. Dieses sehe ich bei der Lösung nicht. Ich würde eher auf jährliche Stromkosten im 3 stellen Bereich tippen. Kannst Du das nicht einmal mit einer Homematic Steckdose aufzeichnen. Gruß Axel

    1. Mit den Stromkosten hast du Recht, ja. Zumindest beim 24:7-Betrieb. Eine neue Grafik zum Leistungshunger findest du jetzt auch im Blogpost.

    2. Naja, bei 110 Watt und 0,24 EUR je kWh macht das ca 233,- EUR.
      Wenn du die Leistungsaufnahme auf 60 Watt reduzierst, sparst du in 4 Jahren ca. 250 EUR oder je Monat ca 5,20 EUR ….

      Also um in 4 Jahren 250 EUR zu sparen würde ich nicht (noch) mehr Geld in die Hardware stecken 😉

      Und bei grüner Energie gibt es auch kein schlechtes Gewissen 😀

      Ich finde die Stromdiskussionen immer etwas “interessant”.

  4. Der Stromverbrauch war damals der Grund bei mir vom Qnap zum schnöden Windows Selbstbau PC zu gehen. Der fährt seine Platten brav in Standby. Plex transkoding läuft bestens.
    VMs brauche ich sehr selten die laufen dann temporär in Azure.

    1. Deshalb habe ich das QNAP-Grundsystem auf den stromsparenden SSDs laufen und die gespeicherten Daten auf den HDDs, welche nach zehn Minuten in den Standby fahren. Also kein Grund gegen QNAP… Nur der Preis 🙂

    2. Hallo Jörg,

      ich glaube das ist aber ein Trugschluss…
      Qnap verteilt das SystemVol selbständig und unbeeinflussbar (?) auf ALLE vorhandenen Platten als Raid1. Unabhängig von deiner eigentlichen Raidkonfiguration. Hier ein Scrrenshot meiner NAS: http://abload.de/image.php?img=clipboarder.2018.01.0wzqgg.png – md9 ist das SystemVol.

      Von daher wäre es für mich wirklich interessant ob eure Disks wirklich in den Standby wechseln, was sie bei mir nicht tun.

    3. Hi Tom,
      beim Terminal-Befehl “cat /proc/mdstat” sieht es bei mir ähnlich aus. Ich habe aber schon das Gefühl, dass das mit dem Standby der gerade nicht benutzen Platten funktioniert. Wenn ich dann bspw. das Webinterface mi der Diskstation starte und ein Zugriff auf alle Platten erfolgt, steigt der Stromverbrauch sprunghaft an und die Platten machen ein “SpinUp”-Geräusch. Wenn das nicht funktionieren würde, wäre die gesamte Standby-Funktion ja sinnlos. Ich werde es aber mal weiter beobachten.

      Grüße
      Jörg

  5. Naja, für 2.500 EUR für ein NAS, ich weiß nicht welche Zielgruppe damit angesprochen wird. Jedenfalls nicht jene, welche einen FHEM Server auf einen Raspi betreibt ;P

    Ich würde mir Beiträge wünschen, welche sich wieder mehr an die breite Masse wenden.

    1. Hi Robert,

      Christoph hat gerade ein paar neue Artikel zu FHEM in Arbeit. Dauert also nicht mehr lange… Und nicht jedes Thema ist für jeden Leser interessant, da muss ich dir natürlich Recht geben. Wenn du dir die älteren “Pimp my“-Reihe mit mehreren hundert Kommentaren anschaust, wirst du aber auch erkennen, dass diese Themen auch eine vorhandene Zielgruppe ansprechen.

      Grüße
      Jörg

      PS: Bald kommt auch ein Artikel zum QNAP-TS251+, welches nur knapp 1:10 davon kostet. Vielleicht ist das ja eher etwas für dich…

    2. Ich persönlich sehe das genau andersrum – ich warte immer auf diese Blogs rund um VU+, Sat, QNAP, NAS, Hardware (was man an meinen Kommentaren auch gut erkennen kann)…. 😛

    3. Ich denke nicht eher an ein günstigeres QNAP.
      Für den Invest kann man sich auch was ganz feines selber stricken 🙂

      Aber ist natürlich immer eine individuelle Entscheidung 🙂

      Wie ich lese, nutzt ihr das viel für TV und Video ….
      Lohnt sich das wirklich (noch)? Wer schaut denn noch so viel TV?
      Wenn ich sehe, was mit mich monatlich netflix und amazon kostet … da kann ich das jahre abbonieren ;P Ich merke, ich entschweife der Zielgruppe 😉

      Ich würde jetzt eher darüber nachdenken, über die power des NAS meinen Kindern nur noch ein günstiges Terminal hinzustellen. Denn Zocken tun die sowieso nur über Konsole.

    4. Hi Robert, die TVS-1282 hat 3HDMI Ausgänge, an die jeweils eine eigene VM angehangen werden kann – wenn man nun ein entsprechendes System findet über das das HDMI&USB-Signal mittels mux/demux über LAN transportiert werden würde – wäre das genial. Kennt jemand soetwas?

  6. Hi Jörg,
    super Sache (wieder mal :-)).
    Ich überleg schon schon seit einiger Zeit mein gepimptes 470er upzugraden, wollte aber warten bis eben H.265 hw-seitig möglich ist.
    Das scheint ja nun so zu sein. Leider gibts (noch?) kein 4 oder eigentlich 682T3. Allerdings ein TS-453BT3 das lt. Beschreibung auch H.265 dekodieren kann. Jetzt stellt sich die Frage ob das auch upgradebar ist. Weißt du das vielleicht bzw. wie finde ich das raus?
    Ein (4-6 Platten) 19″ System wäre natürlich der Oberhit. Da scheints aber GAR NICHTS zu geben in dieser Richtung…

    LG Herbert

  7. Sehr netter Blog. Wie schon damals beim 670Pro könnte das ein Ersatz werden in einem Jahr. Was ich jedoch umbedingt haben möchte zwecks Zukunftssicherheit ist 10GBit. Weißt wer ob es passende Dual oder Single-Port Erweiterungskarte für dieses NAS gibt. Konnte dazu leider nichts finden auf der QNAP Seite nur Expansions.

    Das SSD-Caching ist wahrscheinlich auch nur Marketing und bringt in Wahrheit nicht besonders viel Performance oder?

    1. 10gG Erweiterungen gibt es in allen Variationen.
      SSD-Cache bringt m.M.n. nichts. Siehe auch meine vorherigen Kommentare.

    2. Hier sind alle möglichen Zubehörteile für die x82-Reihe direkt bei QNAP aufgelistet, u.A. auch 10GBit-Karten: http://shop.qnap.com/index.php?route=product/category&path=35_377

      Eine der günstigsten Karten ist wohl die LAN-10G2SF-MLX, welche für unter 200 Euro auf geizhals zu finden ist.

      Dass das SSD-Caching nicht viel bringt, kann ich mir fast nicht vorstellen… Alles nur Marketing?! Kommt vermutlich auf den Anwendungsfall an, oder? Wer nur große Daten hin- und herkopiert, wird vermutlich nichts davon haben. VMs sollten davon aber schon ordentlich profitieren…

  8. Hat eigentlich jemand mal einen Intel der Kaby-Lake (7th) Generation in der normalen 1282 ausprobiert? Sockel/Pin und Chipsatz sind kompatibel, ist nur die Frage des BIOS’es.

    PS. habe nun auch die WAKÜ und einen 6700k drin – Temperatur deutlich tiefer (ca. 15°C)! TOP! Danke!

    1. Proezssoren der 7. Generation funktionieren nicht, ich hatte den i7-7700k getestet – NAS bleibt beim Einschalten bei der Meldung „BIOS: QX80AR20 Checking Memory” stecken.
      Wie ist deine Temperatur im Idle und bei voller Auslastung?

  9. Schade aber danek dafür – dann kann ich mir den Test sparen! Vollast hatte ich noch nicht. Läuft aktuell um 31°C – 38°C im Keller mit dem standard Wärmeleitpad der Wakü.

    1. Moin, habe hier mal die CPU Temperatur über einen Monat im qCenter visualisiert:
      [IMG]https://i.imgur.com/yY3eDXy.png[/IMG]
      Am 11.1 habe ich die Wakü eingebaut und im gleichen Zuge den i5-6500 gegen einen i7-6700k getauscht. Veränderung schon sichtbar, aber wohl insbesondere auch wegen des CPU tausches nicht wirklich anders als unter Luft.

  10. Hi great article , I managed to get a i7 7700k working in my 1282, it was stable with only 250w psu.

    But stock i7 6700 won’t post strange any ideas?

    1. interesting – a standard TVS-1282, not a t3?
      When did you purchase the 1282? Maybe it has a different bios or something.
      Can you post a screen grab from your hardware details? Jörg said that he was not able to get an i7-7xxx to work.

    2. Hi, yes I will upload a share, of hardware later on, working perfectly, what’s strange is stock 6700 will not post, past checking memory?

    1. Vielleicht ja, vielleicht nein. Genaues weiss man nicht. Bei mir ging es mit der i7-7700 jedenfalls nicht (siehe Info im Blogpost).

      Grüße
      Jörg

  11. achso und den QNAP Support hatte ich diesbezüglich auch schon angeschrieben, bis Dato jedoch keinerlei Rückinfo von denen erhalten……

  12. 7th Gen i7 definitely work for me , here is another i tried i7 7700T , very happy with it as so efficient on power 35w TDP .

    https://1drv.ms/i/s!AtDEOm-yUmdIrTZhjZyeJ8XnLGRj

  13. Ah, so Michael – in your NAS a 6th CPU gen would not work, but a 7th gen did work.

    That rather strongly suggests hardware (or firmware) difference between older and newer TVS-x82s. My TVS-1282 runs happily with an i6-6700k inside.
    Where did you see “Motherboard is tvs-8482 mb v1.3”, in QTS somewhere or did you open the case and read that somewhere?

  14. Hallo Jörg, im Januar hatte ich in diesem Blog nach einer automatisierten Lösung bezüglich Umwandlung von Video Streams nachgefragt und das Versprechen gegeben: Ich werde berichten. Nun hier ein erster Zwischenstand: Ein Raspberry PI3 mit SSD — keine SD — und ffmpeg mit Hardwareunterstützung zeigt hier die Auspuffrohre des kleinen Systems anhand folgenden Artikels:

    https://www.raspberrypi.org/forums/viewtopic.php?f=38&t=199775

    Die Umwandlung erfolgt per ffmpeg mit Hardwareunterstützung. Der PI besteht ja quasi aus einem Videochip mit angebautem Prozessor. Geschwindigkeit ist keine Hexerei….meint man. Kurz: ein MKV in Full HD 16:9 mit einer Länge von 1h 50 Min. wird in ca. 90 Minuten von 8MBit Datenstrom auf 1,8MBit Datenstrom gebracht und damit von ca. 8GB auf 1,8GB. .ts Dateien zeigen ähnliche Ergebnisse. Wenn die Aufnahmen in mehreren einzelnen .ts Stream vorliegen, können diese vorab zusammenkopiert werden.
    Der Automatismus fehlt mir noch, möchte aber vorab die Ergebnisse präsentieren.
    ffmpeg -i meinfilm.mkv -c:v h264_omx -b:v 1800k -map 0:0 -c:a copy -map 0:1 videoneu1.mp4
    In den kommenden Tagen schaue ich, ob eine automatische Analyse einer deutschen Tonspur möglich ist (Parameter: -map 0:1).
    Gruß Axel

    1. Hi Axel,
      danke für die Rückmeldung. Wusste gar nicht, dass der RPI3 neben Hardwaredecoding bei H264 auch Hardwareencoding kann. Stark! Sobald du weitere Infos hast, immer gern eher damit.

      Grüße
      Jörg

  15. Hallo!

    Klasse Bericht – vielen Dank!
    Bringt Dein Setup (2x SSDs im Raid 1 für SystemVol) Performance technisch was?

    TOM hatte ja geschrieben, dass das SystemVol auf alle HDDs verteilt wird. Heißt das, dass das SystemVol dann auch zusätzlich auf die normalen HDDs verteilt wird, sobald man welche einbaut?

    VG
    Udo

  16. Hast Du inzwischen die Noctua NF-A8 PWM 80mm Lüfter verbaut?

    Der Lüfter im Netzteil macht bei mir Geräusche – aber ich denke, dass man diesen nicht so einfach tauschen kann (das Netzteil hat sicherlich ein Siegel). Muss mal schauen…

  17. Hi Udo

    https://www.ebay.de/itm/fur-Netzteil-QNAP-PWR-PSU-250W-FS01-PWR-PSU-450W-FS01-300-to-600W-SFX-24-20-pin/192198103506?hash=item2cbfe651d2:m:mvCqjqncGP8AShZr_yP0jaA

    Ich würde den Verkaufen anschrieben für eine Bestätigung, dass das Kabel 100% stimmt, ich denke aber das ich das “QNAP Adapter Nur” bestellt hatte.

  18. p.s.
    dieses Forum Thread würde ich lesen…ist lang, aber es lohnt sich
    https://forum.qnap.com/viewtopic.php?f=12&t=120720

    Es gibt Bilder, Erklärungen usw…auch wegen dem Kabel.

  19. QNAP hat wohl mittlerweile die Mainboards der x82-Serie umgestellt und liefert auch in den Basis-Modellen Intel Prozessoren der 7ten Generation aus.
    Nur diese lassen sich zum i7-7700 aufrüsten.
    Wer von Anfang an einen iX-6xxx verbaut hatte kann maximal zum i7-6700 greifen.

    1. Gut zu wissen. Interessant wäre auch, ob die entsprechenden Xeon Prozessoren der selben Geberation mit den selben Kernen Unterstützung finden.

      Es ist zwar sehr unrealistisch, aber vielleicht würde damit ja sogar ECC unterstützt? Ist mir aktuell noch ne Spur zu teuer, um es zu testen, aber kommt Zeit, kommt Test! 🙂

  20. Wie soll man denn beim Bestellen feststellen, ob der TVS-1282 schon die 7te Generation verbaut hat? Bei den ganzen Preissuchmaschinen steht immer noch die 6te Generation dabei.

  21. Verliert man beim Kühlertausch auch schon die Garantie bzw. wo hat Qnap ein Siegel angebracht, welches man eventuell beim Kühlertausch zerstört?

    1. Hab glaub ich nirgends ein Siegel lösen müssen… Ist nur die Frage, ob man einen Rückbau im Falle eines Defekts so hinbekommen würde, dass QNAP das nicht feststellen kann. Am Tausch der Wärmeleitpaste könnte man sich vermutlich verraten. 😀

  22. Wenn, dann würde ich nur den Lüfter tauschen – CPU bleibt dann erst einmal drinnen. Insofern würde dies von Qnap nur identifiziert werden, wenn man ein Siegel bricht oder irgendwelche Markierungen nicht mehr so hinbekommt wie vorher.

  23. hat einer von euch zufällig ein Bild von den 2,5″Bay.

    ich überlege nämlich ob ich mir ein 1282 hole aber mit späterer Option um ein RDX nachzurüsten, zwecks langzeitarchivierung in einem Gerät

    Prinzipiell glaube ich nicht daran, das zwischen TVS-1282 und TVS-882BR am Gehäuse und am Board etwas geändert wurde.

  24. Hi,

    ist nach Einbau der Wasserkühlung genug Platz für beide Steckkarten (Thunderbolt und 10GB)?
    oder müssen beide oder ein slots leer sein damit die Corsair passt?
    Danke fürs feedback..

    1. Jop, läuft. Im Gegenteil kann man danach sogar noch längere Karten unterbringen – sofern es die überhaupt gibt.

      Grüße
      Jörg

  25. Da bei mir aus verschiedenen Gründen (Platz, Erweiterbarkeit, Qnap-Os-Weiterentwicklung) auch der Wechsel von einem TS-870-Ultimate (16GB/3770T) zu einem neueren NAS ansteht, hätte ich da gerne ein paar Kommentare zu den von mir ins Auge gefassten Modellen. Mein bisheriger Favorit war das TVS-1283T3-I7-64G (Austtattung…). Aktuell liebäugel ich allerdings mit dem TVS-872XT. Letzteres hat nicht nur die aktuellere CPU, die vermutlich auch problemlos auf die 8700T-CPU bei gleicher TDP und -laut Angebot eines Speicheranbieters- ebenfalls auf 64 GB aufgerüstet werden kann. Vorteil des aktuelleren Modells: Endlich schneller angebundenere M2-(NVM)- Slots. Leider allerdings nur zwei und auch – im Gegensatz zum 1283T3- keine 4x 2,5″ Slots für bspw. SSDs an SATA3. Außerdem hat die Grundausstattung nur 1x 10 Gbit/s Netzwerk statt 2x.
    Für mein Umfeld hier wäre das aber vernachlässigbar. Die fehlenden 2,5er Slots könnte man mit einem T3-Erweiterungsgehäuse nachrüsten, da ja im 1283T3 die SSDs auch nur per SATA3 angebunden sind.
    Soweit ich einem Performancevergleich einer 6700K-CPU und einer 8700T-CPU entnehme, liegen die beiden CPUs etwa gleichauf. Außerdem könnte ich mir vorstellen, dass mit einer anderen CPU-kühlung -ähnlich wie beim 1282er Modell- auch performantere 8000er-CPUs möglich wären. Nehme ich den Verkaufspreis zusammen mit den (zukünftigen) Erweiterungsmöglichkeiten hinzu, lande ich beim 872XT-Modell.
    Wie seht ihr das?

  26. Wenn man das 250W Netzteil des 1282 gegen ein Corsair SF450 tauscht – wie schaut es mit dem Lüfter aus? Muss das NT so verbaut werden, dass der Lüfter nach unten oder oben zeigt?

  27. Hi,

    kann mir jemand bestätigen, ob DDR4 3200 RAM auf 3200 mHz im QNAP läuft?
    https://geizhals.de/crucial-dimm-kit-32gb-ct2k16g4dfd832a-a2029679.html?hloc=at&hloc=de
    Des Weiteren ist im Bios des QNAPS der Multiplikator bzw. VCORE des CPUs der “K”-Serie einstellbar?
    Letzte Frage, ist die 10GB Lan-Karte PCIE 3.0 x4 oder x8? Ich würde gerne den x8 Steckplatz für eine andere Karte nutzen?

    Mit freundlichen Grüßen
    Lenny

    1. 1. Ich habe nur 2133MHz Arbeitsspeicher, ich denke sehnellere RAM wird immer mit 2133MHz laufen.
      2. Ich habe ein i7-6700k – es funktioniert wie es soll, übertackten kann man aber im BIOS nicht.
      3. 10Gb LAN Karten sind meistens Gen 2 x4, schau mal hier: https://www.qnap.com/en/product/qm2-m.2ssd-10gbe

  28. Hi,

    ich hab den 3200 DDR4 Ram verbaut (TVS-1282T3), scheint aber nur mit 2400mhz zu laufen.
    Dazu gab es noch den 7700k mit der Wasserkühlung – läuft 1a.
    Die verbaute 10GB LAN Karte passt in einen der beiden Thunderbolt slots – um den großen PCIe Slot frei zubekommen.
    In den weiteren Thunderbolt PCIe Slot habe ich ein QNAP PCIe NVME Adapter eingebaut (QNAP QM2 Card QM2-2P-344).
    In den großen PCIe Slot kommt noch eine SAS Adapterkarte für REXP-1000 Gehäuse.

    Specs insgesamt:
    i7 7700k + Wakü
    4x 16 GB 3200 DDR4 @ 2400mhz

    Storage:
    Für QTIER:
    2x Samsung Evo 970 1TB PCIe NVME im RAID 1
    4x Samsung Evo 860 1TB SSD SATA im RAID 5
    3x WD Red 10TB im RAID 5

    SSD Cache für QTIER
    2x Crucial P1 CT1000P1SSD8 1TB Internes SSD (3D NAND, NVMe, PCIe, M.2) @ 1,6GB/s

    Was interessant ist, ist das die beiden onboard m.2 slots auf dem NVME Protokoll laufen, sind aber auf 1600mb/s gedrosselt – also keine vollwertige PCIe NVME alternative. Im marketing wird meine ich gesagt, dass hier nur m.2. SATA funktionieren soll.

    Somit kann ich sagen, dass der TVS-1282T3 echt ausgereizt werden kann 🙂

    Achja, falls jemand Interesse an den Thunderbolt PCIe Karten hat kann er sich gerne bei mir melden.

    Gruß
    Lenny

  29. Die Wasserkühlung ist kaum noch zu kriegen. Weis einer ein anderes Modell oder eine passende aktiv Kühlung welche mit i7-7700k umgehen kann? Mir geht es vorallem um den Formfaktor der passen sollte.
    Danke für den Guide und die Antworten

  30. ich weiss, dass ist schon ein alter Thread, aber der Austausch von Skylake auf Kabylake geht sehr wohl. Mann muss nur das BIOS aktualisieren, das mit dem entsprechenden Microcode für den jewiligen Prozessor. Ich habe in meinem TVS-882 den i7-6700T gegen einen i7-7700T getauscht.

  31. Hi,

    Das Modell scheint prinzipiell nicht mehr gut verfügbar zu sein. Gibt es da einen Nachfolger, oder wo bekomme ich da noch günstig das benötigte Modell?
    Ich würde auch gerne upgraden. Der erste Pimp my Qnap Beitrag (870 pro) hat mir jahrelang gute Dienste geleistet. Aber nun fangen die Platten sterben an und ich frage mich ob ich nicht gleich ein “gröberes” upgrade machen sollte

    Lg,
    Markus

  32. hi, ich sitze im selben boot wie Markus über mir…
    habe derzeit noch das 670-ultra im betrieb, aber da nun die erste platte anfängt zu mucken überlege ich ob es zeit ist für ein upgrade … aber das das 1282 nicht mehr verfügbar ist suche ich nun nach einer alternative mit gesockelter CPU und 32gb memory

Schreibe einen Kommentar zu Michael Antworten abbrechen

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Das könnte dir auch gefallen