{"id":663,"date":"2023-12-29T11:29:00","date_gmt":"2023-12-29T03:29:00","guid":{"rendered":"https:\/\/consulting-hmk.com\/?p=663"},"modified":"2024-01-18T09:46:27","modified_gmt":"2024-01-18T01:46:27","slug":"key-points-for-performance-evaluation-and-review-of-pathology-image-ai-analysis-software","status":"publish","type":"post","link":"https:\/\/www.consulting-hmk.com\/de\/key-points-for-performance-evaluation-and-review-of-pathology-image-ai-analysis-software\/","title":{"rendered":"Eckpunkte f\u00fcr die Leistungsbewertung und \u00dcberpr\u00fcfung von AI-Analysesoftware f\u00fcr Pathologiebilder"},"content":{"rendered":"

\u00a0 \u00a0 \u00a0 KI-Analysesoftware f\u00fcr Pathologiebilder bezieht sich auf unabh\u00e4ngige Software, die auf digitalen Pathologiebildern basiert und Technologien der k\u00fcnstlichen Intelligenz wie Deep Learning f\u00fcr Funktionen wie Segmentierung und Erkennung nutzt. Sie f\u00e4llt unter die Klasse \u2162 der Medizinprodukteverwaltung. Zu den digitalen Pathologiebildern geh\u00f6ren mikroskopische Bilder von Zellen oder Geweben, die mit bildgebenden Ger\u00e4ten aufgenommen wurden, sowie Pathologiebilder aus der Whole Slide Imaging (WSI)-Technologie. Die Software wird in medizinischen Einrichtungen und\/oder medizinischen Labors eingesetzt, um Pathologen bei der Bereitstellung von Informationen f\u00fcr die Diagnose, Prognose, Behandlung usw. von Krankheiten zu unterst\u00fctzen. Sie kann jedoch nicht die einzige Grundlage f\u00fcr klinische Diagnoseentscheidungen sein.<\/span><\/p>\n

\u00a0 \u00a0 \u00a0 Die \"Key Points for Performance Evaluation and Review of Pathology Image AI Analysis Software\" (Eckpunkte f\u00fcr die Leistungsbewertung und \u00dcberpr\u00fcfung von KI-Analysesoftware f\u00fcr die Pathologie) sollen Antragstellern bei der Vorbereitung und Abfassung des nicht-klinischen Bewertungsabschnitts des Registrierungsantrags f\u00fcr KI-Analysesoftware f\u00fcr die Pathologie helfen. Er dient auch als Referenz f\u00fcr technische \u00dcberpr\u00fcfungsabteilungen und konzentriert sich auf die Anforderungen an Software-Forschungsdaten, einschlie\u00dflich Anforderungsspezifikationen und Algorithmus-Forschungsdaten.<\/span><\/p>\n

\u00a0 \u00a0 \u00a0 Die Anforderungsspezifikationen ber\u00fccksichtigen die Datenerfassung, die Leistung der Algorithmen und die Nutzungsbeschr\u00e4nkungen. Bei der Datenerhebung sind die \u00dcbereinstimmung, Angemessenheit und Vielfalt der Datenquellen, die Wissenschaftlichkeit und Rationalit\u00e4t der Datenverteilung sowie die Angemessenheit, G\u00fcltigkeit und Genauigkeit der Datenqualit\u00e4tskontrolle zu ber\u00fccksichtigen. Die Daten m\u00fcssen aus verschiedenen Regionen und von mindestens 3 Heimatinstitutionen stammen. Die Einrichtungen sollten die im Handbuch beschriebenen Verfahren f\u00fcr die Herstellung von Objekttr\u00e4gern, die Gewebef\u00e4rbung und die Vorbereitung der Immunhistochemie befolgen. Die Leistung des Algorithmus sollte unter Ber\u00fccksichtigung des Verwendungszwecks des Produkts die Anwendbarkeit und die Anforderungen von Leistungsindikatoren wie Analysegeschwindigkeit, Sensitivit\u00e4t, Spezifit\u00e4t, Wiederholbarkeit, Reproduzierbarkeit und Generalisierung umfassend bewerten. Faktoren, die sich auf die Leistung des Algorithmus auswirken, wie das Verschwinden des Gradienten, Gradientenexplosion, \u00dcberanpassung und Unteranpassung, sollten ebenfalls ber\u00fccksichtigt werden. Nutzungsbeschr\u00e4nkungen m\u00fcssen die Szenarien, in denen das Produkt verboten ist oder vor denen gewarnt wird, genau angeben, die Szenarien der Produktnutzung beschreiben und die notwendigen Warnhinweise geben.<\/span><\/p>\n

\"\"<\/p>\n

\u00a0 \u00a0 \u00a0 Algorithmus-Forschungsdaten sollten Algorithmus-Forschungsberichte f\u00fcr jeden Algorithmus der k\u00fcnstlichen Intelligenz oder jede Algorithmuskombination enthalten. Dazu geh\u00f6ren grundlegende Algorithmus-Informationen, Risikomanagement f\u00fcr Algorithmen, Spezifikationen f\u00fcr Algorithmus-Anforderungen, Datenerfassung, Algorithmus-Training, Bewertung der Algorithmus-Leistung und Analyse der Algorithmus-R\u00fcckverfolgbarkeit.<\/span><\/p>\n

\u00a0 \u00a0 \u00a0 Die Sicherheitsstufe einer solchen Software wird als streng eingestuft. F\u00fcr die Datenerhebung ist eine Erkl\u00e4rung \u00fcber die Konformit\u00e4t der Datenquelle erforderlich, in der Informationen wie die Namen der Einrichtungen, die die Daten erheben, ihre Standorte, der Umfang der Datenerhebung und die Nummern der ethischen Genehmigungen angegeben werden. Die Datenerhebung sollte von einem Verfahrensdokument f\u00fcr die Datenerhebung begleitet werden, das Datenerhebungspl\u00e4ne und Standardarbeitsanweisungen enth\u00e4lt; die Datenerhebung wird in erster Linie von klinischen Einrichtungen durchgef\u00fchrt, und der Erhebungsprozess sollte die Verschl\u00fcsselung und Nummerierung von Probendaten umfassen, wobei der Plan die Nummerierungsregeln festlegt.<\/span><\/p>\n

\u00a0 \u00a0 \u00a0 Die Datenorganisation sollte die Verfahren zur Datenreinigung\/Vorverarbeitung klar definieren, die bei der Datenverarbeitung verwendete Software kurz beschreiben und Forschungsdaten f\u00fcr jede bei der Datenverarbeitung verwendete Software vorlegen. Bei der Kennzeichnung der Daten sollten die Qualifikationsanforderungen und Schulungsinhalte f\u00fcr das Kennzeichnungspersonal und die Schiedsrichter festgelegt werden; das Kennzeichnungspersonal und die Schiedsrichter sollten Pathologen sein, und die Daten sollten von mindestens zwei Personen gekennzeichnet werden. Ein bestimmter Anteil der Daten kann f\u00fcr die Bewertung durch nicht etikettierendes Personal ausgew\u00e4hlt werden. Bei der Erstellung der Datens\u00e4tze sollten die Methoden und die Grundlage f\u00fcr die Aufteilung der einzelnen Datens\u00e4tze gekl\u00e4rt werden, und die Stichproben aus dem Trainingsset, dem Tuning-Set (falls vorhanden) und dem Testset sollten sich nicht \u00fcberschneiden und auf Duplikate \u00fcberpr\u00fcft werden.<\/span><\/p>\n

\u00a0 \u00a0 \u00a0 Das Training des Algorithmus muss eine Datenverteilung \u00fcber die Krankheitszusammensetzung in Trainingss\u00e4tzen und Abstimmungss\u00e4tzen (falls vorhanden) auf der Grundlage der anwendbaren Population, der Datenquellen, der Erfassungsger\u00e4te, der Probenarten und anderer Faktoren vorsehen. Training und Tuning sollten auf der Grundlage des Trainingssets und des Tuning-Sets erfolgen, mit klaren Spezifikationen f\u00fcr Bewertungsindikatoren, Trainingsmethoden, Trainingsziele und Tuningmethoden. Die Bewertung der Algorithmusleistung muss auf der Grundlage des Testsatzes erfolgen, um den Algorithmusentwurf zu bewerten und die Effizienz, Sensitivit\u00e4t und Spezifit\u00e4t der Leistung des Software-Algorithmus zu best\u00e4tigen. Die Leistung sollte den Anforderungen des Algorithmusentwurfs entsprechen.<\/span><\/p>","protected":false},"excerpt":{"rendered":"

\u00a0 \u00a0 \u00a0 Pathology image AI analysis software refers to independent software based on digital pathology images that utilizes artificial intelligence technologies such as deep learning for functions like segmentation and detection. It falls under the Class \u2162 of medical device management. Digital pathology images include microscopic images of cells or tissues obtained through imaging […]<\/p>","protected":false},"author":4,"featured_media":665,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":[],"categories":[200],"tags":[104,205],"acf":[],"_links":{"self":[{"href":"https:\/\/www.consulting-hmk.com\/de\/wp-json\/wp\/v2\/posts\/663"}],"collection":[{"href":"https:\/\/www.consulting-hmk.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.consulting-hmk.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.consulting-hmk.com\/de\/wp-json\/wp\/v2\/users\/4"}],"replies":[{"embeddable":true,"href":"https:\/\/www.consulting-hmk.com\/de\/wp-json\/wp\/v2\/comments?post=663"}],"version-history":[{"count":0,"href":"https:\/\/www.consulting-hmk.com\/de\/wp-json\/wp\/v2\/posts\/663\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.consulting-hmk.com\/de\/wp-json\/wp\/v2\/media\/665"}],"wp:attachment":[{"href":"https:\/\/www.consulting-hmk.com\/de\/wp-json\/wp\/v2\/media?parent=663"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.consulting-hmk.com\/de\/wp-json\/wp\/v2\/categories?post=663"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.consulting-hmk.com\/de\/wp-json\/wp\/v2\/tags?post=663"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}