Pierre Valenkoff• 10.07.23 21:36
Автор описал обычную ситуацию в теории распознавании образов (машинном обучении и мн.др.аналогичных направлениях).
Есть обучающая выборка и контрольная. Параметры оцениваются по первой и тестируются по второй. Если различие незначимо, выборки объединяют и производят переобучение. Естественно, тогда тогда в первоначально обучающей выборке могут обнаружиться расхождения. А хороший стиль - умышленно добавить туда ошибочные классификации, посмотреть, как машина (точнее, используемый алгоритм) их распознаёт, и как это исправить.
С самого появления таких методов они применяются в биомедицине и развиваются на данных именно её. Время от времени вбрасывают новый термин (какой-нибудь ИИ или нейросеть), и начинается хайп.
neural network, нейро сеть. Это конечно не скайнэт но тоже звучит не плохо.
Тут плохое понимание как нейросети работают, им скармливают очень много данных (миллионы случаев), они берут множество разных параметров (иногда неочевидных) и выдают некоторое усредненое предсказание по всем данным.
Они не принимают за истину один единственный случай (даже если он идеально подходит), поэтому ничего удивительно, что они смогли дать лучшее предсказние (так как сотня похожих перевесила один идеально подходящий).
Это чистая математика, так что ничего удивительного там нет.
Ну зачем что-то чужое перевирать? ) Либо тогда источник указывайте.
https://habr.com/ru/articles/445054/
НМ ★★➦irrazionalle• 08.07.23 20:52
Не понял юмора, на хабре речь об исследовании двумерных гистологическиз препаратов рака легких учеными из Дартмута, автор же пишет про оценку трехмерных изображений МРТ неизвестно какой патологии, подозреваю, что в России (в Москве сейчас идет 10-15 таких проектов по ковиду и по раку легких, и это только те, о которых я знаю).
Но, конечно, автор "затемнил" все, что можно. Страна и город неизвестны, патология неизвестна, "но перспективы - очень хороши!" (С) Т. Шаов
Прошу прощения, перед тем как писать истории об искусственном интеллекте или о машинном обучении - может быть, Вам какие-то книжечки нужно было почитать на эту тему, чтобы Вас банальные вещи не так сильно удивляли?
А то Ваш текст выглядит здесь как история на этом сайте двадцатилетней давности про двух израильских подрядчиков-кабланов:
"Преамбула: Живу сейчас в Израиле. Существует здесь такая сущность -
"каблан".
Что есть "каблан"? Каблан - это человек, который берет подряды на
производство неких работ, затем набирает работяг, которые эти работы и
производят. Место хлебное и избыточного интеллекта/образования не
требующее.
Амбула: Беседуют два каблана. Один специализируется на
электротехнических работах, второй - на строительстве. Да, еще одно
отступление: при постройке дома в нем нужно сделать лестницу. Вычисление
длины лестницы - задача ответственная, бо это расход материала и проч.
Рассказывает строитель:
- Представляешь, эти "русские" что делают! Они берут длину лестницы
(типа, по земле), возводят в квадрат. Потом берут высоту, тоже возводят
в квадрат. Потом складывают! Извлекают корень!!!! И получается - ТОЧНАЯ
ДЛИНА ЛЕСТНИЧНОГО ПРОЛЕТА!!!!!!!!!!!!!"
Уж простите, но Вы в своем тексте выступили в роли такого "каблана"...
Pax Slavica ★➦НМ• 09.07.23 03:31
В самом начале, в первом предложении сказано, что знакомый работает, а не автор истории.
Чтобы «почитать» и угодить вам, пришлось бы очень много читать и все равно в тему не попасть.
НМ ★★➦Pax Slavica• 09.07.23 04:52
Мне не так сложно "угодить", как Вы думаете :-).
Просто автор выражает свое удивление тем, что искусственный интеллект, оказывается, еще и самообучается, тогда как именно для этого он и создавался.
Точно также как кабланы удивляются, что по формуле Пифагора, оказывается, можно с легкостью сосчитать длину гипотенузы - тогда как именно для этого формула и была придумана много веков назад.
Давайте еще поудивляемся, что самолеты летают по воздуху, что суда плавают и не тонут, что машины ездят без лошадей, что в стеклянный стакан можно набрать воды, и она не прольется...
"О сколько нам открытий чудных
Готовит просвященья дух..." (С)
И напишем обо всех этих наших маленьких "открытиях чУдных" истории на анекдот.ру...
Pax Slavica ★➦НМ• 09.07.23 05:59
Сложно-сложно :) вы много комментируете. Достаточно часто отправляете "почитать" :). Всегда, правда, вежливо.
Хотя, поминать кабланов и Пифагора, я бы сказал обидно.
Вот вам инженерная расшифровка. Нейросеть (какую-то определенную модель) натренировали на наборе данных. На контрольном наборе, который модель "не видела", она показала отличный результат: сопоставимый или лучше некоторых диагностов. Все? Нет не все. Модель смогла улучшить прогнозы и на тренировочных данных тоже. Следует вывод, что и архитектура и метод обучения модели дали возможность обобщать, а не просто предсказывать, и весьма эффективно. Это немного сложнее чем просто "модель самообучилась". А вы ему про Пифагора.
Сами серьезные модели, тем более допущенная для развертывания в медицине, ничему и никогда не учатся. Это процесс, для ђкоторого, хоть и есть рецепты, но чаще всего требуется опыт. Что автор и описал не покривив ни в одном слове!
НМ ★★➦Pax Slavica• 09.07.23 07:50
Вы, возможно, догадываетесь, что я немного разбираюсь в данной области (не в теореме Пифагора, а в анализе изображений).
Если лет 10-15 назад системы ИИ распознавали на рентгеновских снимках какую-то патологию процентов на 10 хуже, чем врачи-эксперты, то это был уже прекрасный результат, статью с описанием системы принимали на ура в международные журналы, и т.п.
Но последние лет 5 значительная доля систем ИИ распознает патологию на медицинских изображениях КАК МИНИМУМ на уровне экспертов, а иногда даже превосходит их.
При этом нас уже лет 50 не удивляет, что компьютеры производят сложнейшие вычисления гораздо быстрее человека. И не удивляет, что уже 25 лет назад компьютеры научились выигрывать в шахматы у людей.
Ну вот теперь (лет пять-семь назад) они нас превзошли, наконец, и в постановке НЕКОТОРЫХ диагнозов.
И вот, наконец, еще через пять лет эти достижения (американцев, европейцев, китайцев) сумели повторить и в России (не уверен, но думаю, что автор имел в виду все же российскую компанию).
Ну, ептыть, конечно, это заслуживает истории на анекдот.ру!
Pax Slavica ★➦НМ• 10.07.23 03:12
(А кто-то взял и всю ветку заминусил, не иначе рецензенты ваши из Lancet)
Вот я опять к тексту истории обращусь. Говорится об МРТ, а там, если я не ошибаюсь, часто изображение не плоское как на рентгене, а трехмерное – множество плоских "срезов" с малым шагом. Такая диагностика немного сложнее чем чтение рентгена.
Вы правильно описывает внешнюю научно-популярную сторону вопроса да еще и дидактически, на среднего ученика ПТУ. Спасибо, конечно. Я вам толкую о сути. Весьма вероятно, что нейросеть научилась не только ставить диагноз по многомерной визуализации органов (мозга?), но и обобщила суть диагностики до того, что улучшила уже представленные отобранные диагнозы. Это очень хорошее достижение. Тем более, когда оно принято к развертыванию в медицинском учреждении, а не только к публикации в, пусть и уважаемом, журнале. Частный случай класса диагнозов в этой ситуации, имеет высокий шанс быть переносимым на многие диагнозы, хотя бы для одного человеческого органа. Хотя и тут могут быть варианты.
Про "повторы" чьих-то там достижений слушать уже немного скучно. Тем более о китайцах (да и о корейцах тоже). Чего они там своего сделали одному богу ведомо. Хотя, глядишь, освоили настоящий гиперзвук вторыми. Угадайте кто первыми и третьими.
И вообще, все эти достижения "их" медицины идут рука об руку с совершенно людоедской системой отбора денег и с патологическим невнимания к человеку. Проблема найти хорошего доктора, хорошую лабораторию, хорошую медсестру остается насущной. Это не из новостей, это из жизни.
Pierre Valenkoff➦Pax Slavica• 10.07.23 03:57
Вы остановились на самом интересном.
1. Кто у нас сегодня "их"?
2, > людоедской системой отбора денег и с патологическим невнимания к человеку. Проблема найти хорошего доктора, хорошую лабораторию, хорошую медсестру остается насущной.
А как бы Вы организовали систему здравоохранения?
У нас тут было обсуждение:
https://www.anekdot.ru/id/1403091/#c2510425
Сцинк ★➦Pax Slavica• 10.07.23 08:27
"Сами серьезные модели, тем более допущенная для развертывания в медицине, ничему и никогда не учатся."
В том-то и дело, что именно нейросеть - учится, и это её изначальное и неотъемлемое свойство. И в этом её отличие от просто модели.
Так что НМ правильно сказал: для того, кто хоть немного понимает, что такое нейросеть, информация о том, что она учится, не новость ни разу.
"информация о том, что она учится, не новость ни разу" - причем уже лет 10-15...
Но автор, видимо, не в курсе и того, что компьютер Deep Blue выиграл матч у Каспарова в 1997 году со счетом 3,5 на 2,5.
Так что ждем от него историю об этом.
Об организации здравоохранения я имею некие представления, давно думал сюда написать небольшую историю, но сейчас не об этом.
> причем уже лет 10-15.
На самом деле, больше. Я нейросети немного поизучал в институте двадцать лет назад, а препод, который их преподавал, занимался ими, разумеется, и ещё раньше.
Просто возможности их были тогда более чем скромные (максимум - распознавать текст), да и перспективы выглядели не особо радужно, вот о них и мало кто знал.
Pax Slavica ★➦Pierre Valenkoff• 10.07.23 20:24
1. Их это условная Западная Европа и США
2. Это уход от поставленного вопроса в принципе. "Передовая медицинская наука" отдельно качество здравоохранения отдельно.
"А как бы вы сделали" это отговорка. "Не нравится твиттер – создай свою платформу" из той же степи.
Pax Slavica ★➦Сцинк• 10.07.23 20:27
Нейросеть обучает инженер, если она построена правильно и инженер умеет это делать. Если отдать ту же базовую нейросеть и те же данные вам, результат может быть совсем другой. Не замечали, что вместе с данными и кодом дается сценарий обучения?
А потому, для тех кто на БэТэЭре и в танке – нейросеть, тем более такая сложная, способная обобщать постановку медицинского диагноза сама не учится.
Pax Slavica ★➦НМ• 10.07.23 20:31
Вот о медицине и писали бы. Чего прыгать на поле в котором вы цитируете новости о DeepBlue?
Вот вам пример https://huggingface.co/google/flan-t5-base, зачитайте секцию Training Details (О том как тренировать) там еще и ссылка на статью в которой это объяснено.
Чем дальше вы упорствуете в том что "модель сама тренируется", тем меньше хочется вам верить. Еще бы сказали, что после внедрения "модель сама диагностирует" и "сразу все работает".
Pax Slavica ★➦Сцинк• 10.07.23 20:33
20 лет назад, текст распознавался уже очень хорошо. Индексы на конвертах в США – рукописные. Их распознание делал Майкл Джордан (не баскетболист, а профессор).
Вместо того, чтобы слепо вставать на сторону НМ, вчитайтесь в историю и в суть критики НМ, которая вторична как минимум, а как максимум ничтожна.