US 2018/0322121 A1 | Обнаружение и генерация последовательности ответов

Дата патента

08 ноября 2018 года

Изобретатель патента

Kevin S. Barker, Raleigh, NC (US);

Thomas J. Eggebraaten, Rochester, MN (US);

Mark G. Megerian, Rochester, MN (US);

John E. Petri, St. Charles, MN (US)

 

Аннотация

Аспекты настоящего раскрытия направлены на обнаружение и генерирование последовательностей ответов. Аспекты направлены на синтаксический анализ с помощью техники обработки естественного языка, сконфигурированной для анализа синтаксического и семантического контента, совокупности данных по предмету. Аспекты также направлены на обнаружение первого набора ответов, включающего в себя первый ответ, соответствующий первой категории ответов, и второй набор ответов, включающий второй ответ, соответствующий второй категории ответов. Как первая, так и вторая категории ответа могут относиться к предмету. Аспекты также направлены на идентификацию первого набора данных заказа для первого набора ответов и второго набора ответов. Аспекты также направлены на определение первой последовательности ответов, соответствующей порядку первого набора ответов и второго набора ответов.

 

Перекрестная ссылка на связанные приложения

Данная заявка является разделенной заявкой на патент США Сер. № 14/570683, поданной 15 декабря 2014 г., в которой испрашивается приоритет по предварительной заявке США № 62 / 075,635, поданной 5 ноября 2014 г., озаглавленной «Управление параметрами в среде вопросов и ответов», полностью включенной в настоящий документ. здесь по ссылке.

Предпосылка

Настоящее раскрытие относится к управлению ответами в среде вопросов-ответов (QA) и, более конкретно, к созданию последовательности ответов из группы ответов, отсортированных в соответствии с последовательностью категорий ответов.

Системы ответов на вопросы (QA) могут быть спроектированы так, чтобы получать входные вопросы, анализировать их и возвращать соответствующие ответы. Используя различные методы, системы обеспечения качества могут предоставлять механизмы для поиска корпусов (например, базы данных исходных элементов, содержащих релевантный контент) и анализа корпусов для определения ответов на входной вопрос.

Резюме

Аспекты настоящего раскрытия в некоторых вариантах осуществления направлены на анализ совокупности данных для предмета. Корпус данных может быть проанализирован с помощью технологии обработки на естественном языке, сконфигурированной для анализа синтаксического и семантического контента. Аспекты также включают в себя обнаружение, на основе и в ответ на синтаксический анализ, первый набор ответов и второй набор ответов. Первый набор ответов может включать в себя первый ответ, соответствующий первой категории ответов, а второй набор ответов может включать в себя второй ответ, соответствующий второй категории ответов. Как первая, так и вторая категории ответа могут относиться к предмету. Аспекты также включают в себя идентификацию, на основе синтаксического и семантического контента, первого набора данных для упорядочения для первого набора ответов и второго набора ответов. Аспекты также включают определение, в ответ на идентификацию первого набора данных заказа, первой последовательности ответов, соответствующей порядку первого набора ответов и второго набора ответов.

Вышеприведенное краткое изложение не предназначено для описания каждого проиллюстрированного варианта осуществления или каждой реализации настоящего раскрытия.

Краткое описание нескольких видов рисунков

Чертежи, включенные в настоящую заявку, включены в описание и составляют его часть. Они иллюстрируют варианты осуществления настоящего раскрытия и вместе с описанием служат для объяснения принципов раскрытия. Чертежи являются только иллюстрацией некоторых вариантов осуществления и не ограничивают раскрытие.

Рисунок 1 изображает диаграмму примерного набора последовательностей ответов в соответствии с вариантами осуществления настоящего раскрытия.

Рисунок 2 изображает блок-схему примерной вычислительной среды для использования с системой ответа на вопросы (QA) согласно вариантам осуществления настоящего раскрытия.

Рисунок 3 изображает блок-схему примерной системы QA, сконфигурированной для генерации ответов в ответ на один или более входных запросов, согласно вариантам осуществления настоящего раскрытия.

Рисунок 4 изображает архитектуру системы, сконфигурированную для управления ответами, сгенерированными примерной системой QA, согласно вариантам осуществления настоящего раскрытия.

Рисунок 5 изображает схему использования управления ответами для генерации одной или нескольких последовательностей ответов в соответствии с вариантами осуществления настоящего раскрытия.

Рисунок 6 изображает блок-схему последовательности операций способа управления ответами в среде QA согласно вариантам осуществления настоящего раскрытия.

Рисунок 7 изображает блок-схему последовательности операций способа управления отношениями ответа в среде QA согласно вариантам осуществления настоящего раскрытия.

Рисунок 8 изображает диаграмму примера помеченной последовательности ответов, включающей в себя характерные отношения, отношения прямого влияния и отношения ответа, в соответствии с вариантами осуществления настоящего раскрытия.

Рисунок 9 изображает блок-схему последовательности операций способа оценки последовательности ответов на основе отношений ответов в соответствии с вариантами осуществления настоящего раскрытия.

 

Рисунок 10 показана блок-схема последовательности операций, иллюстрирующая способ управления последовательностями ответов в соответствии с вариантами осуществления настоящего раскрытия.

Рисунок 11 — схема, иллюстрирующая пример архитектуры системы для управления последовательностями ответов в соответствии с вариантами осуществления настоящего раскрытия.

Рисунок 12 изображает пример генерации последовательности ответов в соответствии с вариантами осуществления настоящего раскрытия.

Рисунок 13 изображает концептуальную схему системы QA, сконфигурированной для классификации ответов, отсортированных в соответствии с категорией ответов, согласно вариантам осуществления настоящего раскрытия.

Рисунок 14 изображает концептуальную схему системы QA, сконфигурированной для классификации ответов по сегментам, используя множество наборов пороговых значений, в соответствии с вариантами осуществления настоящего раскрытия.

Рисунок 15 изображает блок-схему последовательности операций, иллюстрирующую примерные операции для связывания доверительных оценок категории ответа с доверительными сегментами, согласно вариантам осуществления настоящего раскрытия.

Рисунок 16 изображает блок-схему последовательности операций, иллюстрирующую примерные операции для связывания доверительных оценок категории ответа с доверительными сегментами, согласно вариантам осуществления настоящего раскрытия.

Рисунок 17 изображает концептуальную схему, иллюстрирующую систему QA, сконфигурированную для распределения ответов, классифицированных в соответствии с доверительными группами, в соответствии с вариантами осуществления настоящего раскрытия.

Рисунок 18 показана блок-схема последовательности операций, иллюстрирующая способ оценки последовательностей ответов в соответствии с вариантами осуществления.

Рисунок 19 является блок-схемой высокого уровня способа для оценки последовательностей ответов согласно вариантам осуществления.

Хотя изобретение поддается различным модификациям и альтернативным формам, его особенности были показаны в качестве примера на чертежах и будут подробно описаны. Однако следует понимать, что цель не состоит в том, чтобы ограничивать изобретение конкретными описанными вариантами осуществления. Напротив, цель состоит в том, чтобы охватить все модификации, эквиваленты и альтернативы, подпадающие под сущность и объем изобретения.

Подробное описание

Аспекты настоящего раскрытия относятся к управлению ответами в среде вопросов-ответов (QA), более конкретные аспекты относятся к установлению последовательности ответов из ответов, отсортированных в соответствии с последовательностью категорий ответов. Хотя настоящее раскрытие не обязательно ограничено такими применениями, различные аспекты раскрытия могут быть оценены посредством обсуждения различных примеров, использующих этот контекст.

Варианты осуществления настоящего раскрытия направлены на систему, сконфигурированную для управления ответами в среде QA. В системе обеспечения качества группа ответов может быть сгенерирована в ответ на входные запросы (например, вопросы). Например, система QA может быть сконфигурирована для приема входного запроса, анализа одного или нескольких источников данных и на основе анализа генерирования группы ответов.

В вариантах осуществления ответами могут быть данные, сгенерированные системой QA в ответ на входной запрос. Ответами могут быть данные в различных формах, включая, помимо прочего, текст, документы, изображения, видео и аудио. В вариантах осуществления ответами могут быть данные, которые предполагают операцию или действие. Например, система QA может получить вопрос о том, как лечить конкретное заболевание. В ответ система QA может генерировать группу ответов, которые в совокупности предлагают серию или группу действий для лечения конкретного медицинского состояния. Например, система может анализировать совокупность информации и определять, что конкретное лекарство можно использовать для лечения конкретного заболевания. В ответ система может сгенерировать ответ, указывающий, что следует принимать конкретное лекарство. Далее описанная система QA может генерировать ответы на основе анализа естественного языка совокупности информации.

В некоторых случаях система QA может быть дополнительно сконфигурирована для управления организацией группы ответов. В вариантах осуществления организованная группа ответов может быть выведена пользователю в виде одного организованного полного ответа (например, последовательности ответов, как описано в данном документе). В некоторых вариантах осуществления система может быть сконфигурирована для визуализации организованного ответа для представления ответов пользователю. Организация набора ответов может помочь пользователю в понимании группы ответов. В некоторых вариантах осуществления группа ответов может быть организована в различных формах, таких как, но не ограничиваясь ими, изображения, диаграммы, таблицы, информационные панели, карты и тому подобное.

В некоторых случаях ответы из набора ответов могут быть оценены с помощью значения достоверности (например, показателя достоверности). Система может быть настроена на организацию группы ответов путем генерации списка ответов из группы ответов, упорядоченных в соответствии со значением достоверности каждого ответа. Список ответов затем может быть представлен как выходной ответ для удовлетворения входного запроса.

Однако в некоторых случаях список ответов может не соответствовать входному запросу. Например, система QA может получить вопрос о том, как лечить конкретное заболевание. В ответ система QA может генерировать группу ответов, которые предлагают различные действия. Система может организовать группу ответов, чтобы сформировать список ответов, включающий различные варианты лечения, перечисленные в соответствии с доверительной оценкой. Список ответов может быть выведен пользователю, чтобы попытаться удовлетворить входной запрос. В некоторых вариантах осуществления ответы могут быть ответами на лечение, где ответами на лечение являются ответы, которые предполагают различные действия или операции, связанные с медицинским лечением.

Однако в списке ответов могут быть представлены ответы, так что кажется, что ответы с самым высоким рейтингом в списке составляют предлагаемую обработку. Например, пользователь, увидев список ответов, может подумать, что единственным ответом (например, ответом с самым высоким показателем достоверности) является рекомендуемая обработка. Однако более желательный ответ мог бы включать множество обработок. Например, может быть так, что комбинация из двух ответов, независимо от степени достоверности, представляет лучший ответ, чем один ответ. В дополнительном примере пользователь, увидев список ответов, может подумать, что несколько ответов (например, два верхних ответа) составляют предлагаемую обработку, независимо от категории или типа обработки, предлагаемой несколькими ответами. Однако в некоторых случаях более желательный ответ на входной запрос может включать применение нескольких категорий или типов обработок. Кроме того, более желательный ответ может включать применение нескольких ответов в определенной последовательности.

Например, в области онкологии более желательный ответ на вопрос о том, как лечить конкретный рак, как правило, может включать две категории ответов на лечение. Категории могут включать лучевую терапию и химиотерапию. Кроме того, в некоторых случаях более желательный ответ может включать применение категорий в определенной последовательности. Например, ответ может включать сначала проведение лучевой терапии, а затем химиотерапию. Кроме того, в некоторых случаях категории могут применяться с наложением друг на друга. Например, ответ может включать сначала начало лучевой терапии, а затем, до завершения лучевой терапии, начало химиотерапевтического лечения.

Следовательно, в вариантах осуществления система может быть сконфигурирована для управления группой ответов для организации ответов в соответствии с множеством категорий ответов. В вариантах осуществления категории ответов являются классификациями, которые могут применяться к группе ответов, чтобы помочь в организации ответов.

Например, категории ответов можно использовать для классификации группы ответов в соответствии с типом действия, предложенного каждым ответом. Для группы ответов, сгенерированных в ответ на вопрос о том, как устранить неполадки с компьютером, категории ответов могут включать устранение неполадок оборудования и программного обеспечения. Описанные далее в данном документе категории ответов могут быть определены на основе предмета данных (таких как входные запросы и сгенерированные ответы) в среде QA.

В вариантах осуществления система может быть сконфигурирована для сортировки группы ответов по множеству категорий ответов. Например, система может отсортировать первый набор из группы ответов, связанных с устранением неполадок оборудования, в первую категорию ответов, которая соответствует устранению неполадок оборудования. Система может отсортировать второй набор ответов, связанных с устранением неполадок программного обеспечения, во вторую категорию ответов, которая соответствует устранению неполадок программного обеспечения.

В некоторых вариантах осуществления категории ответа могут быть упорядочены в соответствии с последовательностью. Последовательность категорий ответов может упоминаться в данном документе как последовательность категорий. Например, для ответа на входной запрос, связанный с лечением рака, последовательность категорий может включать упорядоченные этапы, на которых сначала применяют лучевой тип лечения, а затем применяют химиотерапевтический тип лечения. В дополнительном примере для ответа на входной запрос, связанный с устранением неполадок компьютера, последовательность категорий может включать упорядоченные этапы, сначала применяя устранение неполадок оборудования, а затем устранение неполадок программного обеспечения. Описанные далее в данном документе последовательности категорий могут быть определены на основе предмета данных (таких как входные запросы и сгенерированные ответы) в среде QA.

Система может быть сконфигурирована для установки на основе одной или нескольких последовательностей категорий одной или нескольких последовательностей ответов. Одна или несколько последовательностей ответов могут быть установлены из ответов из одной или нескольких категорий ответов, упорядоченных в соответствии с одной или несколькими последовательностями категорий. Например, первый набор ответов может быть отсортирован по первой категории ответов, а второй набор ответов может быть отсортирован по второй категории ответов. Последовательность категорий может включать первую категорию ответов, за которой следует вторая категория ответов. Таким образом, последовательность ответов может включать в себя первый ответ из первого набора ответов, за которым следует второй ответ из второго набора ответов.

В некоторых случаях система QA может генерировать последовательность ответов и представлять последовательность ответов пользователю без надлежащей оценки взаимодействий между ответами, которые формируют представленную последовательность ответов. Это может привести к неправильным уровням достоверности в последовательности ответов (например, к показателям достоверности, которые являются слишком высокими или слишком низкими). Например, в области онкологии система QA может определить показатель достоверности для конкретного плана лечения онкологии (последовательность ответов) без учета того, как конкретные взаимодействия (ответы), которые составляют план лечения, могут взаимодействовать. Это может произойти, например, когда доверительный балл для плана лечения генерируется как совокупность доверительных баллов каждого конкретного лечения плана лечения. В такой ситуации, если отдельные виды лечения не оцениваются с точки зрения их взаимодействия друг с другом (например, когда отдельные виды лечения не оцениваются независимо), составной показатель достоверности для плана лечения может быть неуместным.

В некоторых случаях неспособность принять во внимание взаимодействие ответов может привести к слишком высоким показателям достоверности. Например, в области ИТ-поддержки только потому, что конкретный план устранения неполадок компьютера (последовательность ответов) требует использования отладчика (первый ответ) с наивысшим доверительным счетом среди всех отладчиков, идентифицированных в среде QA, с последующим использованием сети Анализатор (второй ответ) с наивысшей оценкой достоверности среди всех сетевых анализаторов, определенных в среде QA, не означает, что этот конкретный план устранения неполадок компьютера, вероятно, будет лучшим планом или даже тем, что он может быть хорошим планом. Могут быть известные (или, по крайней мере, обнаруживаемые) негативные взаимодействия между двумя ответами (конкретным отладчиком и конкретным анализатором сети), которые можно было бы рассмотреть, прежде чем рекомендовать или представлять этот конкретный план пользователю.

В некоторых вариантах осуществления настоящего раскрытия вероятные взаимодействия между ответами конкретной последовательности ответов могут рассматриваться как часть ранжирующих и / или оценивающих последовательностей ответов. В некоторых вариантах осуществления это может включать в себя создание отношения ответа в последовательности ответа. В частности, это может произойти, сначала идентифицируя последовательность ответов, которая может включать в себя, по меньшей мере, первый ответ и второй ответ. Далее, корпус может быть проанализирован с использованием первого ответа и второго ответа, чтобы определить набор факторов влияния, которые соответствуют обоим ответам. На основе этого набора факторов влияния может быть сформирована связь между первым ответом и вторым ответом.

В некоторых вариантах осуществления последовательность ответов может включать в себя три или более ответов. В таких вариантах осуществления отношения ответов между каждым ответом последовательности ответов и всеми оставшимися ответами последовательности ответов могут быть сгенерированы посредством идентификации наборов факторов влияния между каждым возможным спариванием ответ-ответ в последовательности ответов. Каждый набор факторов влияния может быть использован для создания отдельного отношения ответа. В некоторых вариантах осуществления последовательность ответов может оцениваться, по меньшей мере частично, на основе отношений ответов между составляющими ответами.

В некоторых вариантах осуществления оценка отношения может быть назначена каждому отношению ответа на основе его набора факторов влияния. Кроме того, в некоторых вариантах осуществления одна или более оценок отношений, применяемых к отношениям ответов конкретной последовательности ответов, могут влиять на оценку достоверности последовательности ответов. Кроме того, в некоторых вариантах осуществления пороговые значения могут применяться к оценкам отношений, чтобы определить, следует ли считать соответствующие последовательности ответов неправильными, непригодными или иным образом противопоказанными.

В некоторых вариантах осуществления идентификация набора факторов влияния, соответствующих как первому ответу, так и второму ответу последовательности ответов, может включать в себя идентификацию отношения прямого влияния между первым ответом и вторым ответом. На основе отношения прямого влияния может быть идентифицирован по меньшей мере один фактор влияния из набора факторов влияния.

В некоторых вариантах осуществления идентификация набора факторов влияния, соответствующих как первому ответу, так и второму ответу последовательности ответов, может включать в себя идентификацию первой характеристической взаимосвязи между первым ответом и характеристикой и второй характеристической взаимосвязи между вторым ответом и характеристикой , Первое характеристическое отношение и второе характерное отношение могут сравниваться, чтобы идентифицировать по меньшей мере один фактор влияния из набора факторов влияния.

В последние годы возросшая доступность и доступ к большому количеству контента через Интернет, социальные сети и другие сети привели к увеличению потребности в организации и управлении этим контентом. Как описано в данном документе, системы ответа на вопросы являются одним из инструментов, который можно использовать для облегчения поиска пользователями и доступа к желаемому контенту. Аспекты настоящего раскрытия в некоторых вариантах осуществления относятся к признанию того, что в определенных ситуациях ответы на вопросы, переданные в систему ответа на вопросы, могут быть частью более крупной процедуры или последовательности множественных ответов (например, последовательности ответов), и что один ответ может не дать полную картину желаемого контента, который ищет пользователь. Например, в области онкологии пользователь, ищущий наиболее эффективное лечение рака, может быть ошеломлен количеством доступных вариантов лечения и не уверен в том, какие виды лечения хорошо работают друг с другом или в каком порядке их следует применять. , Соответственно, аспекты настоящего раскрытия в некоторых вариантах осуществления направлены на анализ совокупности данных, относящихся к предмету (например, онкологии), и определение последовательности ответов для ответов, идентифицированных из совокупности. Дополнительные аспекты настоящего раскрытия направлены на создание модели последовательности ответов для анализа известных последовательностей ответов и генерации дополнительных (например, неоткрытых) последовательностей ответов. Аспекты настоящего раскрытия могут быть связаны с преимуществами, включая актуальность контента, экономию времени и эффективность доступности контента.

Варианты осуществления настоящего раскрытия направлены на способ управления доверительными показателями для конкретной категории в среде QA. В вариантах осуществления способ может включать в себя сортировку на основе набора категорий ответов по предмету, первого набора из множества ответов в первую категорию ответов и второго набора из множества ответов во вторую категорию ответов.

В вариантах осуществления каждый из первого набора из множества ответов соответствует, по меньшей мере, одному из набора из множества доверительных оценок, и каждый из второго набора из множества ответов соответствует, по меньшей мере, одному из четвертого набора из множества доверительных баллов. В вариантах осуществления множество доверительных оценок представляет достоверность ответов на входной запрос, представленный в систему обеспечения качества. В вариантах осуществления способ может включать в себя классификацию доверительных оценок третьего набора в одно из множества доверительных интервалов с использованием первого порогового значения. Способ может включать в себя определение пятого набора из множества пороговых значений, используя множество доверительных оценок. Способ может включать в себя классификацию несекретных доверительных оценок третьего набора в одно из множества доверительных интервалов с использованием пятого набора из множества порогов.

Как описано здесь, система QA может принимать входной запрос, и система может генерировать ответы на этот входной запрос. В вариантах осуществления система может быть сконфигурирована для генерирования соответствующих оценок достоверности ответов для одного или нескольких ответов. В некоторых случаях возврат одних только ответов и оценок достоверности может ошеломить пользователя или привести к неправильной интерпретации качества возвращаемого ответа, например, в структуре списка ответов, как описано в данном документе.

Таким образом, в некоторых случаях система может быть сконфигурирована для сортировки ответов по различным категориям ответов, как описано здесь. Например, на основе набора категорий ответов для предмета, первый набор из множества ответов может быть отсортирован в первую категорию ответов, а второй набор из множества ответов — во вторую категорию ответов. В вариантах осуществления каждый из первого набора из множества ответов может соответствовать, по меньшей мере, одному из третьего набора из множества оценок достоверности. Аналогично, в некоторых вариантах осуществления каждый из второго набора из множества ответов может соответствовать по меньшей мере одному из четвертого набора из множества доверительных оценок.

Кроме того, система может быть сконфигурирована для классификации ответов в каждой из категорий ответов в различные доверительные интервалы. Ответы в каждой категории ответов могут быть классифицированы на основе доверительной оценки, соответствующей каждому ответу. В вариантах осуществления доверительные интервалы представляют собой деления или классификации для ответов, основанные на значении доверительной оценки ответа.

Например, система может быть сконфигурирована для классификации третьего набора из множества доверительных оценок в один или несколько доверительных интервалов. Система может быть сконфигурирована так, чтобы классифицировать четвертый набор из множества доверительных оценок к одному или нескольким доверительным сегментам.

В вариантах осуществления доверительные интервалы могут содержать группу ответов и / или доверительных оценок и могут быть связаны с одним или несколькими пороговыми значениями и описательной меткой. Например, ответы с доверительной вероятностью выше 95 по шкале от 0 до 100 могут быть классифицированы в первую группу с пометкой «предпочтительные ответы». Ответы, которые имеют достоверность ниже 95, могут быть классифицированы во вторую группу, помеченную как «ответы для рассмотрения». Классификация ответов по группам доверия может быть полезной, поскольку возвращаемые ответы легче отображать и интерпретировать. Ковши доверия могут упоминаться здесь как «корзины».

При использовании сегментов система QA может определить, какие ответы ассоциировать с какими сегментами, сравнивая оценки достоверности ответов с пороговыми значениями сегментов. В вариантах осуществления могут использоваться статические пороговые значения для предоставления возможности представления ответов в соответствии с принятыми стандартами. Например, достоверность ответа выше 95 по шкале 0-100 может приписывать высокую достоверность соответствующему ответу. Таким образом, в некоторых случаях оценки достоверности, превышающие 95, будут помещены в корзину высокой достоверности.

Однако в некоторых случаях использование только статических пороговых значений может игнорировать относительную ценность набора ответов. Например, если все доверительные оценки превышают статический порог в 95 баллов по шкале от 0 до 100, доверительные оценки могут в конечном итоге классифицироваться в одну группу, такую ​​как предпочтительная группа ответов. Один блок ответов может лишь частично указывать или не может указывать относительную достоверность ответов относительно других ответов.

Таким образом, в некоторых случаях система может быть настроена на использование динамических пороговых значений, основанных на оценочных показателях ответа, для классификации доверительных показателей. В вариантах осуществления пороговые значения динамического сегмента основаны на показателях достоверности ответов, и система QA может создавать пороговые значения сегментов, которые могут фиксировать относительную достоверность ответов. Кроме того, использование как статических, так и динамических пороговых значений может позволить системе представлять ответы таким образом, чтобы получить относительную достоверность в рамках стандарта достоверности.

Как описано в данном документе, в определенных ситуациях ответы на вопросы, переданные в систему ответа на вопросы, могут быть частью более крупной процедуры или последовательности из нескольких ответов (например, последовательности ответов), и что один ответ может не обеспечивать полную картину желаемый контент, который ищет пользователь. Зачастую ответы в последовательности ответов могут быть оценены или ранжированы с помощью значений достоверности или других количественных показателей достоверности или достоверности этого конкретного ответа.

Аспекты настоящего раскрытия в некоторых вариантах осуществления относятся к признанию того, что может быть желательно предоставить общую составную оценку (например, оценку оценки последовательности) для последовательности ответов в целом на основе отдельных оценок ответов, которые она включает , Кроме того, аспекты настоящего раскрытия относятся к осознанию того, что в зависимости от предмета, к которому относится последовательность ответов, могут быть желательны разные способы генерирования оценки оценки последовательности (например, последовательности ответов, относящиеся к серьезным предметам, таким как онкология, инвестиционные планы и т.п. могут оцениваться иначе, чем последовательности ответов, относящиеся к развлечениям, выпечке и т. д.) Соответственно, аспекты настоящего раскрытия направлены на определение правила оценки для конкретной последовательности ответов на основе предмета, к которому оно относится, так как а также другие условия и генерация общего составного балла, чтобы указать надежность последовательности ответов. Аспекты настоящего раскрытия могут быть связаны с преимуществами, включая актуальность контента, экономию времени и эффективность доступности контента.

Обращаясь теперь к фиг. 1 показана схема примерной таблицы 100, показывающая последовательности ответов, в соответствии с вариантами осуществления настоящего раскрытия. Таблица 100 может включать в себя множество ответов на лечение 110-128, организованных в соответствии с различными категориями ответов 102-108. Как видно на фиг. 1, категории ответа 102-108 относятся к различным типам лечения. Например, категория 102 ответа относится к химиотерапии, категория 104 ответа относится к хирургии, категория 106 ответа относится к эндокринной терапии, а категория 108 ответа относится к облучению.

В вариантах осуществления категории ответа 102-108 могут упоминаться как категории лечения. В вариантах осуществления категории лечения являются классификациями, подобными категориям ответов, которые применяются к ответам на лечение, чтобы помочь в организации ответов на лечение. Например, ответы 110 и 118 на лечение относятся к химиотерапевтическому лечению и, таким образом, помещены в столбец под категорией лечения, относящейся к химиотерапии. Точно так же ответы 112, 120 и 124 на лечение относятся к хирургическому лечению и, таким образом, помещены в столбец под категорией лечения, относящейся к хирургическому лечению.

Категории ответов 102-108 можно видеть расположенными в ряду 109 в последовательности категорий. Последовательность категорий представляет собой последовательность категорий ответов, как описано здесь. Например, в строке 109 последовательность категорий может включать в себя первую категорию ответов 102, затем категорию ответов 104, затем категорию ответов 106 и затем категорию ответов 108. В вариантах осуществления последовательность категорий может называться шаблоном обработки. В вариантах осуществления шаблон обработки может быть таким же или по существу аналогичным последовательности категорий. В некоторых вариантах осуществления шаблоны лечения могут представлять собой последовательность определенной категории, которая была определена как приемлемая или возможная либо экспертом, либо самой системой обеспечения качества.

Набор последовательностей ответов можно увидеть в строках 130-134. Набор последовательностей ответов представляет собой упорядоченную последовательность ответов на лечение (или ответов), упорядоченную на основе последовательности категорий. Таким образом, на фиг. 1 первая последовательность ответов может быть видна в строке 130, которая включает ответ 110 на лечение, связанный с химиотерапией A, затем ответ 112 на лечение, связанный с операцией A, затем ответ 114 на лечение, связанный с эндокринной терапией A, затем ответ 116 на лечение, связанный с лучевым лечением A. Первая последовательность ответов предлагает план обработки различных ответов 110-116 лечения, выполняемых в порядке, соответствующем последовательности 109 категорий. В вариантах осуществления последовательность ответов может называться планом лечения. В вариантах осуществления план лечения представляет собой последовательность ответов, сгенерированную из ответов на лечение, упорядоченных в соответствии с шаблоном лечения, как описано в данном документе.

В некоторых вариантах осуществления последовательности ответов могут включать в себя ответы из части категорий ответов в последовательности категорий. Например, в строке 132 и 134, вторая и третья последовательности ответов могут быть видны соответственно. Вторая последовательность ответов включает в себя ответы 118, 120, 122 на лечение из категорий 102, 104 и 108 ответов. Вторая последовательность ответов не включает в себя ответ на лечение из категории 106 ответов.

 

Обращаясь теперь к фиг. На фиг.2 показана блок-схема примерной вычислительной среды 200 для использования с системой QA в соответствии с вариантами осуществления настоящего раскрытия. В некоторых вариантах осуществления вычислительная среда 200 может включать в себя одно или несколько удаленных устройств 202, 212 и одно или несколько хост-устройств 222. Удаленные устройства 202, 212 и хост-устройство 222 могут быть удалены друг от друга и обмениваться данными по сети 250. В вариантах осуществления хост-устройство 222 может быть центральным концентратором, из которого удаленные устройства 202, 212 устанавливают соединение связи. В вариантах осуществления хост-устройство и удаленные устройства могут быть сконфигурированы в различных подходящих отношениях (например, в одноранговых или других отношениях).

В некоторых вариантах осуществления сеть 250 может быть реализована с помощью подходящих средств связи (например, глобальной сети (WAN), локальной сети (LAN), Интернета и интрасети). В некоторых вариантах осуществления удаленные устройства 202, 212 и хост-устройства 222 могут быть локальными друг для друга и обмениваться данными через соответствующую локальную среду связи (например, локальную сеть (LAN), проводное соединение, беспроводное соединение, интранет). В некоторых вариантах осуществления сеть 250 может быть реализована в среде облачных вычислений или с использованием одной или нескольких служб облачных вычислений. В соответствии с различными вариантами осуществления среда облачных вычислений может включать в себя сетевую распределенную систему обработки данных, которая предоставляет одну или несколько услуг облачных вычислений. Кроме того, среда облачных вычислений может включать в себя несколько компьютеров (например, сотни или тысячи из них или более), расположенных в одном или нескольких центрах обработки данных и сконфигурированных для совместного использования ресурсов по сети 250.

В некоторых вариантах осуществления ведущее устройство 222 может включать в себя систему 230 QA, имеющую приложение 234 поиска и модуль 232 ответа. Приложение 234 поиска может быть сконфигурировано для поиска в одной или нескольких базах данных или других компьютерных системах контента, который связан с входным запросом. пользователем на удаленном устройстве 202, 212.

В некоторых вариантах осуществления удаленные устройства 202, 212 могут предоставлять пользователям возможность отправлять входные запросы (например, поисковые запросы или другие пользовательские запросы) на хост-устройство 222 для получения результатов поиска. Например, удаленные устройства 202, 212 могут включать в себя модуль 210, 220 запросов (например, в форме веб-браузера или другого подходящего программного модуля) и представлять графический интерфейс пользователя или другой интерфейс (запросы командной строки, экраны меню, и т. д.) запрашивать у пользователей запросы на отправку одному или нескольким хост-устройствам 222 и отображать ответы / результаты, полученные от хост-устройств 222, в отношении таких пользовательских запросов (например, последовательностей ответов).

В соответствии с различными вариантами осуществления, ведущее устройство 222 и удаленные устройства 202, 212 могут быть компьютерными системами и каждое из них может быть оснащено дисплеем или монитором. Компьютерные системы могут включать в себя, по меньшей мере, один процессор 206, 216, 226; воспоминания 208, 218, 228; внутренний или внешний сетевой интерфейс или устройства связи 204, 214, 224 (например, модем, сетевые интерфейсные карты); дополнительные устройства ввода (например, клавиатура, мышь, сенсорный экран или другое устройство ввода); и коммерчески доступное или заказное программное обеспечение (например, программное обеспечение для браузера, коммуникационное программное обеспечение, серверное программное обеспечение, программное обеспечение для обработки естественного языка, программное обеспечение для поиска и / или сканирования в Интернете, модули фильтрации для фильтрации контента на основе предварительно определенных критериев). В некоторых вариантах осуществления компьютерные системы могут включать в себя серверы, настольные компьютеры, ноутбуки и портативные устройства. Кроме того, модуль 232 ответа может включать в себя один или несколько модулей или блоков для выполнения различных функций вариантов осуществления, как описано ниже, и может быть реализован посредством комбинации программных и / или аппаратных модулей или блоков.

Обращаясь теперь к фиг. 3 показана блок-схема системы обеспечения качества в соответствии с вариантами осуществления настоящего раскрытия. Аспекты фиг. 3 направлены на системную архитектуру 300, включающую в себя систему 312 QA для генерации группы ответов (или групп последовательностей ответов) в ответ на входной запрос. В некоторых вариантах осуществления один или более пользователей могут отправлять запросы на информацию в систему 312 QA, используя удаленное устройство (такое как удаленные устройства 202, 212 по фиг.2). Удаленное устройство может включать в себя клиентское приложение 308, которое может включать в себя один или несколько объектов, действующих для генерирования информации, которая отправляется в систему 312 QA через сеть 315. Система 312 QA может быть сконфигурирована для выполнения способов и методов для ответа на запросы, отправленные посредством клиентское приложение 308. В некоторых вариантах осуществления информация, полученная в системе 312 QA, может соответствовать запросам ввода, полученным от пользователей, где запросы ввода могут быть выражены на естественном языке или изображениях, или в других формах.

Входной запрос (аналогично называемый здесь вопросом) может быть одним или несколькими словами, которые формируют поисковый термин или запрос данных, информации или знаний. Вопрос может быть выражен в виде одного или нескольких ключевых слов. Вопросы могут включать в себя различные критерии выбора и условия поиска. Вопрос может состоять из сложных языковых функций в дополнение к ключевым словам. Однако поиск ответов по ключевым словам также возможен. В некоторых вариантах осуществления может быть разрешено использование ограниченного синтаксиса для вопросов, заданных пользователями. Использование ограниченного синтаксиса может привести к множеству альтернативных выражений, которые помогут пользователям лучше сформулировать свои потребности. В некоторых вариантах осуществления вопросы могут быть подразумеваемыми (а не явными) вопросами. Кроме того, в некоторых вариантах осуществления вопросы могут быть типа аудио (например, записи произнесенного слова, музыка, научные записи звука), типа видео (например, фильм, немое кино, видео человека, задающего подробный вопрос) тип изображения (например, изображение, фотография, рисунок) или другой тип, который может быть получен и обработан системой обеспечения качества.

В некоторых вариантах осуществления клиентское приложение 308 может работать на множестве устройств. Такие устройства могут включать, но не ограничиваются ими, мобильные и портативные устройства (например, ноутбуки, мобильные телефоны, персональные или корпоративные цифровые помощники и т. П.), Персональные компьютеры, серверы или другие компьютерные системы, которые могут получить доступ к услугам и функциональные возможности, предоставляемые системой 312 QA. В некоторых вариантах осуществления клиентское приложение 308 может включать в себя один или несколько компонентов, таких как мобильный клиент 310. Мобильный клиент 310, действуя в качестве агента клиентского приложения 308, может отправлять запросы пользовательских запросов в систему QA 312.

В соответствии с различными вариантами осуществления клиентское приложение 308 также может включать в себя поисковое приложение 302, либо как часть мобильного клиента 310, либо отдельно, которое может выполнять несколько функций, включая некоторые или все вышеупомянутые функции мобильного клиента 310, перечисленные выше. Например, в некоторых вариантах осуществления приложение 302 поиска может отправлять запросы на информацию в систему 312 QA. В некоторых вариантах осуществления приложение 302 поиска может быть клиентским приложением в системе 312 QA. Приложение 302 поиска может отправлять запросы на ответы в систему 312 QA. Поисковое приложение 302 может быть установлено на персональный компьютер, сервер или другую компьютерную систему.

В некоторых вариантах осуществления приложение 302 поиска может включать в себя графический пользовательский интерфейс 304 поиска (GUI) и менеджер 306 сеансов. В таких ситуациях пользователи могут иметь возможность вводить вопросы в GUI 304 поиска. В некоторых вариантах осуществления GUI 304 поиска может быть поиском. блок или другой компонент GUI, содержимое которого может представлять вопрос, подлежащий отправке в систему 312 QA. Пользователи могут проходить аутентификацию в системе 312 QA через менеджер 306 сеансов. В некоторых вариантах осуществления менеджер 306 сеансов может отслеживать активность пользователей в течение сеансов взаимодействие с системой обеспечения качества 312. Менеджер 306 сеанса также может отслеживать, какие вопросы передаются в течение жизненного цикла сеанса пользователя. Например, менеджер 306 сеанса может сохранять последовательность вопросов, заданных пользователем во время сеанса. В некоторых вариантах осуществления ответы, полученные системой 312 QA в ответ на вопросы, заданные в течение сеанса пользователя, также могут быть сохранены. Информация для сеансов, управляемых администратором 306 сеансов, может совместно использоваться различными компьютерными системами и устройствами.

В некоторых вариантах осуществления клиентское приложение 308 и система 312 QA могут быть коммуникативно связаны через сеть 315, например, Интернет, интрасеть или другую общедоступную или частную компьютерную сеть. В некоторых вариантах осуществления система 312 QA и клиентское приложение 308 могут осуществлять связь с использованием вызовов протокола передачи гипертекста (HTTP) или передачи состояния представления (REST). В некоторых вариантах осуществления система 312 QA может находиться на узле сервера. Клиентское приложение 308 может устанавливать связь сервер-клиент с системой 312 QA или наоборот. В некоторых вариантах осуществления сеть 315 может быть реализована в среде облачных вычислений или с использованием одной или нескольких служб облачных вычислений.

В соответствии с различными вариантами осуществления система 312 QA может отвечать на запрос информации, отправляемый клиентскими приложениями 308 (например, вопрос, заданный пользователем). Система 312 QA может генерировать группу ответов в ответ на запрос. В некоторых вариантах осуществления система 312 QA может включать в себя анализатор 314 вопросов, источники 324 данных и генератор 328 ответов. Анализатор 314 вопросов может быть компьютерным модулем, который анализирует принятые вопросы. Анализатор 314 вопросов может выполнять различные методы и приемы для анализа вопросов (синтаксический анализ, семантический анализ, анализ распознавания изображений и т. Д.). В некоторых вариантах осуществления анализатор 314 вопросов может анализировать принятые вопросы. Анализатор вопросов 314 может включать в себя различные модули для выполнения анализа полученных вопросов. Например, компьютерные модули, которые анализатор вопросов 314 может включать в себя, включают в себя, но не ограничиваются ими, токенизатор 316, тегер 318 части речи (POS), идентификатор 320 семантических отношений и идентификатор 322 синтаксических отношений.

В некоторых вариантах осуществления токенизатор 316 может представлять собой компьютерный модуль, который выполняет лексический анализ. Токенизатор 316 может преобразовывать последовательность символов в последовательность токенов. Токен может быть строкой символов, набранной пользователем и отнесенной к категории значащего символа. Кроме того, в некоторых вариантах осуществления токенизатор 316 может идентифицировать границы слов во входном запросе и разбивать вопрос или текст на его составные части, такие как слова, многословные токены, числа и знаки пунктуации. В некоторых вариантах осуществления токенизатор 316 может принимать строку символов, идентифицировать лексемы в строке и классифицировать их в токены.

В соответствии с различными вариантами осуществления POS-метка 318 может быть компьютерным модулем, который размечает слово в тексте, чтобы соответствовать определенной части речи. POS-тег 318 может читать вопрос или другой текст на естественном языке и назначать часть речи каждому слову или другому токену. POS-тег 318 может определять часть речи, которой соответствует слово, на основе определения слова и контекста слова. Контекст слова может быть основан на его отношении к смежным и связанным словам во фразе, предложении, вопросе или абзаце. В некоторых вариантах осуществления контекст слова может зависеть от одного или нескольких ранее поставленных вопросов. Примеры частей речи, которые могут быть назначены словам, включают, но не ограничиваются ими, существительные, глаголы, прилагательные, наречия и тому подобное. Примеры другой части категорий речи, которые может назначать POS-тегер 318, включают, но не ограничиваются ими, сравнительные или превосходные наречия, белые наречия, союзы, детерминанты, отрицательные частицы, притяжательные маркеры, предлоги, белые местоимения и тому подобное. В некоторых вариантах осуществления POS-метка 318 может маркировать или иным образом аннотировать маркеры вопроса с частью категорий речи. В некоторых вариантах осуществления POS-тегер 318 может маркировать маркеры или слова вопроса, которые должны быть проанализированы системой 312 QA.

В некоторых вариантах осуществления идентификатор 320 семантических отношений может быть компьютерным модулем, который может идентифицировать семантические отношения распознанных объектов (например, слов, фраз) в вопросах, заданных пользователями. В некоторых вариантах осуществления идентификатор 320 семантических отношений может определять функциональные зависимости между объектами и другими семантическими отношениями.

В соответствии с различными вариантами осуществления, идентификатор 322 синтаксической связи может быть компьютерным модулем, который может идентифицировать синтаксические отношения в вопросе, составленном из токенов, заданных пользователями в систему 312 QA. Идентификатор 322 синтаксической связи может определять грамматическую структуру предложений, например, какие группы слов связаны как «фразы», ​​и какое слово является предметом или объектом глагола. Синтаксический идентификатор 322 отношения может соответствовать формальной грамматике.

В некоторых вариантах осуществления анализатор 314 вопросов может быть компьютерным модулем, который может анализировать принятый пользовательский запрос и генерировать соответствующую структуру данных пользовательского запроса. Например, в ответ на прием вопроса в системе 312 QA анализатор 314 вопросов может выводить проанализированный вопрос в виде структуры данных. В некоторых вариантах осуществления анализируемый вопрос может быть представлен в форме дерева разбора или другой структуры графа. Для генерации проанализированного вопроса анализатор 314 вопросов может запускать компьютерные модули 316-322. Кроме того, в некоторых вариантах осуществления анализатор 314 вопросов может использовать внешние компьютерные системы для специальных задач, которые являются частью процесса анализа вопроса.

В некоторых вариантах осуществления выходные данные анализатора 314 вопроса могут использоваться системой 312 QA для выполнения поиска набора (то есть, одного или более) корпусов для извлечения информации, чтобы ответить на вопрос, заданный пользователем. Как используется здесь, корпус может относиться к одному или нескольким источникам данных. В некоторых вариантах осуществления источники 324 данных могут включать в себя базы данных, информационные корпуса, модели данных и хранилища документов. В некоторых вариантах осуществления источник 324 данных может включать в себя информационный корпус 326. Информационный корпус 326 может обеспечивать хранение и поиск данных. В некоторых вариантах осуществления информационный корпус 326 может представлять собой механизм хранения, который содержит стандартизированную, согласованную, чистую и интегрированную форму данных. Данные могут быть получены из различных операционных систем. Данные, хранящиеся в информационном корпусе 326, могут быть структурированы таким образом, чтобы конкретно удовлетворять требованиям отчетности и аналитики. В некоторых вариантах осуществления информационный корпус может представлять собой реляционную базу данных. В некоторых примерных вариантах осуществления источники 324 данных могут включать в себя одно или несколько хранилищ документов.

В некоторых вариантах осуществления генератор 328 ответов может быть компьютерным модулем, который генерирует группу ответов в ответ на поставленные вопросы. Примеры ответов, генерируемых генератором 328 ответов, могут включать в себя, но не ограничиваются ими, предложения на естественном языке, отчеты, диаграммы или другое аналитическое представление, необработанные данные, веб-страницы и тому подобное. В некоторых вариантах осуществления ответы могут быть типа аудио, типа изображения или другого подходящего типа носителя.

В некоторых вариантах осуществления генератор 328 ответов может включать в себя процессор 330 запросов, процессор 332 управления ответами и обработчик 334 обратной связи. Когда находится информация в источнике 324 данных, соответствующая проанализированному вопросу, технический запрос, связанный с шаблоном, может быть выполнен процессором запросов 330. На основе данных, полученных техническим запросом, выполняемым процессором 330 запросов, процессор 332 управления ответами может быть сконфигурирован для организации полученных ответов. В вариантах осуществления процессор 332 управления ответами может быть процессором визуализации, сконфигурированным для визуализации организованных ответов. В вариантах осуществления визуализированная визуализация ответов может представлять ответ на входной запрос. В некоторых вариантах осуществления процессор 332 управления ответами может организовывать ответы в соответствии с различными формами, включая, но не ограничиваясь ими, изображения, диаграммы, таблицы, информационные панели, карты и тому подобное.

Далее описанный процессор 332 управления ответами может быть сконфигурирован для реализации вариантов осуществления настоящего раскрытия. Например, процессор 332 управления ответами может быть выполнен с возможностью сортировки на основе набора категорий ответов первого набора ответов в первой категории ответов и второго набора ответов во второй категории ответов. Категории ответов могут быть такими же или по существу похожими, как описано здесь.

Процессор 332 управления ответами может быть сконфигурирован для определения, используя предмет, последовательности категорий, включающей в себя первую категорию ответов и вторую категорию ответов. Процессор 332 управления ответами может быть сконфигурирован для установки на основе последовательности категорий первой последовательности ответов, установленной из части первого набора ответов из первой категории ответов и части второго набора ответов из второй категории ответов ,

В некоторых вариантах осуществления обработчик 334 обратной связи может быть компьютерным модулем, который обрабатывает обратную связь от пользователей по ответам, сгенерированным генератором 328 ответов. В некоторых вариантах осуществления пользователи могут вступать в диалог с системой 312 QA для оценки релевантности принятых ответов. Например, генератор 328 ответов может генерировать группу ответов, соответствующую вопросу, заданному пользователем. Пользователь может ранжировать каждый ответ в соответствии с его релевантностью к вопросу. В некоторых вариантах осуществления отзывы пользователей о сгенерированных ответах могут использоваться для будущих сеансов ответов на вопросы.

Различные компоненты примерной системы QA, описанной выше, могут использоваться для реализации различных аспектов настоящего раскрытия. Например, клиентское приложение 308 может использоваться для приема входного запроса от пользователя. Анализатор 314 вопросов может, в некоторых вариантах осуществления, использоваться для анализа входных запросов и для генерации группы ответов на основе входного запроса. Генератор 328 ответов может, в некоторых вариантах осуществления, использоваться для визуализации группы ответов, чтобы генерировать последовательность ответов для представления пользователю.

Обращаясь теперь к фиг. На фиг.4 показана блок-схема системной архитектуры 400 для управления ответом в среде с ответом на вопрос (QA) в соответствии с вариантами осуществления настоящего раскрытия. В вариантах осуществления системная архитектура 400 может представлять примерную архитектуру для выполнения вариантов осуществления настоящего раскрытия. Например, в некоторых случаях архитектура 400 системы может быть примером представления процессора 332 управления ответами (фиг. 3).

В вариантах осуществления архитектура 400 системы может включать в себя предметный процессор 402, классификатор 408 ответов и сортировщик 414 ответов.

Процессор 402 объекта может быть компьютерным модулем, сконфигурированным для определения объекта данных в среде QA. Как описано в данном документе, данные в среде QA могут включать в себя один или несколько входных запросов и / или группу ответов, сгенерированных в ответ на входные запросы. В вариантах осуществления предметом изобретения может быть контекстная информация для данных в среде QA. Предмет может быть использован для организации группы ответов, как описано здесь. Например, описанный далее в данном документе предмет может быть использован для определения одной или нескольких категорий ответов для группы ответов. В некоторых примерах предмет может быть использован для определения одной или нескольких последовательностей категорий. Например, если предметом является онкология, то последовательности могут включать химиотерапию и лучевую терапию, но альтернативная категория компьютерного поиска неисправностей может быть исключена, поскольку она не имеет отношения к онкологии.

В вариантах осуществления процессор 402 предмета может определять предмет посредством приема выбора предмета от пользователя. Например, пользователь может выбрать устранение неполадок компьютера в качестве предмета данных в среде QA. Система может затем действовать соответствующим образом при определении категорий ответов и / или последовательностей категорий, описанных далее в данном документе.

В некоторых вариантах осуществления процессор 402 объекта может быть сконфигурирован для определения объекта на основе анализа данных на естественном языке в среде QA.

В вариантах осуществления процессор 402 предмета может включать в себя процессор 404 на естественном языке. Процессор 404 на естественном языке может быть сконфигурирован для выполнения различных способов и методик анализа данных на естественном языке в среде QA. Например, процессор 404 на естественном языке может быть сконфигурирован для выполнения синтаксического анализа, семантического анализа, анализа распознавания изображений, сопоставления концепций и других подходящих методов и методик.

В вариантах осуществления предмет может быть определен методами согласования концепций. Методы сопоставления понятий могут включать, но не ограничиваются ими, семантическое сходство, синтаксический анализ и онтологическое сопоставление. Например, в вариантах осуществления процессор на естественном языке может быть сконфигурирован для анализа данных в среде QA для определения семантических признаков (например, повторяющихся слов, ключевых слов и т. Д.) И / или синтаксических признаков (например, местоположения семантических признаков в заголовках, заголовке, и т.д.) в данных. Онтологическое сопоставление может быть использовано для сопоставления семантических и / или синтаксических признаков с конкретной концепцией. Затем эта концепция может быть использована для определения предмета данных.

Например, в некоторых вариантах осуществления процессор 404 на естественном языке может быть сконфигурирован для анализа группы ответов, сгенерированных в ответ на входной запрос. Процессор 404 на естественном языке может идентифицировать в группе ответов повторяющиеся слова, соответствующие определенному типу рака. Кроме того, процессор 404 на естественном языке может идентифицировать местоположение повторяющихся слов в заголовках и заголовках, что может указывать на относительную важность повторяющихся слов. На основе семантических и синтаксических особенностей процессор 404 естественного языка может отобразить группу ответов на конкретную концепцию, такую ​​как онкология. В вариантах осуществления процессор 402 объекта может быть сконфигурирован для выбора концепции в качестве объекта изобретения.

Классификатор 408 ответов может быть сконфигурирован для определения набора категорий ответов для группы ответов. Как описано в данном документе, категории ответов являются классификациями, которые можно применять к группе ответов, чтобы помочь в организации ответов. Например, группа ответов, генерируемых в ответ на вопрос о том, как устранить неполадки с компьютером, может включать ответы, связанные с устранением неполадок оборудования и программным обеспечением для устранения неполадок. Первый набор ответов, соответствующий устранению неполадок оборудования, можно отсортировать по первой категории ответов, соответствующей устранению неполадок оборудования. Второй набор ответов, относящихся к устранению неполадок программного обеспечения, может быть отсортирован во вторую категорию ответов, соответствующую устранению неполадок программного обеспечения.

Кроме того, классификатор 408 ответов может быть сконфигурирован для определения последовательности категорий для категорий ответов. Классификатор ответов может включать в себя процессор 410 категорий ответов и процессор 412 последовательности категорий.

Процессор 410 категорий ответов может быть сконфигурирован для определения одной или нескольких категорий ответов для группы ответов. В вариантах осуществления категории ответов могут быть определены на основе предмета данных в среде QA. Например, предмет, связанный с онкологией, может иметь разные категории ответов, чем предмет, связанный с устранением неполадок компьютера. В некоторых вариантах осуществления категории ответов могут совместно использоваться предметом. В вариантах осуществления процессор 410 категорий ответов может использовать определение предмета от процессора 402 предмета для определения одной или нескольких категорий ответов.

В вариантах осуществления процессор 410 категорий ответов может определять одну или несколько категорий ответов посредством доступа к хранилищу предварительно определенных категорий ответов. В вариантах осуществления хранилище предварительно определенных категорий ответов может храниться в базе данных 413. В вариантах осуществления база данных 413 может включать в себя одну или несколько категорий ответов, которые соответствуют различным предметам. Например, набор категорий ответов, включая лучевую терапию, химиотерапию, эндокринную терапию и хирургическое вмешательство, может соответствовать предмету онкологии. Таким образом, когда предметом является онкология, процессор 410 категорий ответов может осуществлять доступ к набору категорий ответов, соответствующих онкологии. Кроме того, набор категорий ответов, включая устранение неполадок оборудования и программного обеспечения, может соответствовать предмету технической поддержки. В вариантах осуществления различные подходящие категории ответов также могут быть выбраны для различных объектов.

[0101]

В некоторых вариантах процессор 410 категорий ответов может определять категории ответов на основе анализа данных на естественном языке в среде QA. Например, в вариантах осуществления процессор 410 категории ответа может быть сконфигурирован для анализа входного запроса с использованием метода обработки на естественном языке. На основании анализа процессор 410 категорий ответов может определять категории ответов.
[0102]

В некоторых вариантах процессор 410 категории ответов может быть сконфигурирован для анализа группы ответов с использованием метода обработки на естественном языке. На основании анализа процессор 410 категорий ответов может определять категории ответов.
[0103]

Процессор 412 последовательности категорий может быть сконфигурирован для определения одной или нескольких последовательностей категории. В вариантах осуществления процессор 412 последовательности категорий может быть сконфигурирован для определения одной или нескольких последовательностей категории на основе предмета изобретения. В вариантах осуществления процессор 412 последовательностей категорий может определять одну или более последовательностей категорий посредством доступа к хранилищу предварительно определенных последовательностей категорий. В вариантах осуществления хранилище предварительно определенных последовательностей категорий может храниться в базе данных 413. В вариантах осуществления база данных 413 может включать в себя одну или несколько последовательностей категорий, которые соответствуют различным предметам. Например, последовательность категорий первой операции, затем лучевой, затем химиотерапии, а затем эндокринной терапии может соответствовать предмету онкологии. В вариантах осуществления различные категории категории могут быть выбраны для различных предметов. В некоторых вариантах осуществления процессор последовательности категорий может быть в состоянии отсеять / не включать в себя последовательности категорий, которые не являются релевантными или нецелесообразными.
[0104]

Сортировщик 414 ответов может быть сконфигурирован для сортировки группы ответов по различным категориям ответов. Сортировщик 414 ответов может сортировать группу ответов путем классификации ответов, относящихся к одной или нескольким категориям ответов. Например, сортировщик 414 ответов может сортировать первый набор ответов в первую категорию ответов, классифицируя первый набор ответов как относящийся к первой категории ответов.
[0105]

В вариантах осуществления сортировщик 414 ответов может использовать анализ естественного языка для сортировки группы ответов. Например, в вариантах осуществления сортировщик 414 ответов может анализировать группу ответов, чтобы идентифицировать семантические признаки, которые соответствуют одной или нескольким категориям ответов. Сортировщик 414 ответов может затем сортировать ответы группы ответов на категории ответов, которые соответствуют идентифицированным семантическим признакам.

[0106]

В некоторых вариантах осуществления сортировщик ответов может сортировать группу ответов, используя методы сопоставления понятий, как описано в данном документе.
[0107]

Сортировщик ответов может включать в себя секвенсор 416 ответов. Секвенсор 416 ответов может быть сконфигурирован для генерации одной или нескольких последовательностей ответов. В вариантах осуществления секвенсор 416 ответов может генерировать одну или несколько последовательностей ответов на основе группы ответов и одной или нескольких последовательностей категорий. Например, секвенсор ответов может собирать последовательность ответов, включающую в себя группу ответов из каждой категории ответов, включенных в данную последовательность категорий, группу ответов, упорядоченную на основе последовательности категорий.
[0108]

В дополнительном примере сортировщик 414 ответов может сортировать первый набор ответов в первую категорию ответов и второй набор ответов во вторую категорию ответов. От процессора 412 последовательности категорий последовательность категорий может включать в себя первую категорию ответов, за которой следует вторая категория ответов. Секвенсор 416 ответов может генерировать одну или несколько последовательностей ответов из первого и второго наборов ответов. Например, последовательность ответов может включать в себя первый ответ из первого набора ответов, за которым следует второй ответ из второго набора ответов. В вариантах осуществления секвенсор ответов может генерировать различные возможные комбинации ответов в первом и втором наборе ответов, чтобы генерировать одну или несколько последовательностей ответов. В вариантах осуществления одна или несколько последовательностей ответов затем могут быть представлены как ответ на входной запрос.
[0109]

Обращаясь теперь к фиг. На фиг.5 показана схема 500 управления ответами в соответствии с вариантами осуществления настоящего раскрытия. Диаграмма изображает систему, включающую в себя предметный процессор 506, процессор 508 категорий ответов, секвенсор 512 категорий, сортировщик 514 ответов и секвенсор 516 ответов.
[0110]

Данные в среде QA, такие как запрос 502 ввода и группа ответов 504, сгенерированные в ответ на запрос 502 ввода, могут быть введены в процессор 506 предмета. Процессор 506 предмета может быть таким же или по существу аналогичным процессор 402 объекта (фиг. 4), как описано здесь. Процессор 506 предмета может быть сконфигурирован для определения предмета для данных в среде QA, и предмет может использоваться, как описано здесь, для определения категорий ответов и последовательностей категорий для системы QA.

[0111]
Процессор 508 категорий ответов может быть сконфигурирован для определения категорий ответов для системы обеспечения качества. Процессор 508 категории ответа может быть таким же или по существу аналогичным процессору 410 категории ответа (фиг.4). Процессор категорий ответов может определять набор категорий 510A-510C ответов путем доступа к базе данных категорий ответов, соответствующих предмету.

[0112]
Секвенсор 512 категорий может быть сконфигурирован для определения последовательности категорий 510А-510С ответов. Например, секвенсор 512 категорий может определять последовательность категорий первой категории 510А ответа, затем третьей категории 510С ответа и затем второй категории 510В ответа. В вариантах осуществления секвенсор 512 категорий может определять последовательность категорий путем доступа к базе данных последовательностей категорий, соответствующих предмету изобретения.

[0113]
Сортировщик 514 ответов может быть сконфигурирован для сортировки группы 504 ответов по категориям 510А-510С ответов. Сортировщик 514 ответов может быть таким же или по существу похожим на сортировщик 414 ответов (фиг. 4). Как видно на фиг. 5, сортировщик 514 ответов может быть сконфигурирован для сортировки группы ответов 504 по набору категорий 510A-510C ответов для формирования набора отсортированных ответов 515. Например, ответ A и ответ E сортируются в категорию 510A ответов. Ответ B и ответ C сортируются по категории 510C ответа, а ответ D сортируется по категории 510B.

[0114]
Секвенсор 516 ответов может быть сконфигурирован для генерации одной или нескольких последовательностей 517 ответов из набора отсортированных ответов 515. Секвенсор 517 ответов может быть таким же или по существу аналогичным, что и секвенсор 416 ответов (фиг. 4). Секвенсор ответов может быть сконфигурирован для генерации одной или нескольких последовательностей 517 ответов путем выбора ответа из одной или нескольких категорий ответов в порядке, соответствующем последовательности категорий. Например, одна или несколько последовательностей ответов 517 могут включать в себя последовательность ответов ответа A, затем ответа B и затем ответа D. Как видно на фиг. 5, секвенсор 516 ответов может формировать одну или более последовательностей 517 ответов из различных комбинаций отсортированных ответов 515 в порядке согласно последовательности категорий. Одна или несколько последовательностей ответов могут быть представлены пользователю для удовлетворения входного запроса 502.

[0115]
Обращаясь теперь к фиг. 6 показана блок-схема последовательности операций способа 600 управления ответом в среде с ответом на вопрос (QA) в соответствии с вариантами осуществления настоящего раскрытия. На этапе 602 может быть принят входной запрос. Входной запрос может быть запросом данных в систему обеспечения качества от пользователя. Входной запрос может быть таким же или по существу похожим, как описано здесь. На этапе 604 может быть сгенерирована группа ответов. Группа ответов может быть сгенерирована генератором ответов в системе обеспечения качества путем получения ответов из источников данных, таких как базы данных и / или информационные корпуса.

[0116]

На этапе 606 предмет может быть определен. Предмет может быть таким же или по существу похожим, как описано здесь. Предметом может быть контекстная информация, связанная с данными в среде QA. Например, в вариантах осуществления предметом может быть тема входного запроса. В некоторых примерах предметом может быть тема группы ответов, генерируемых в ответ на входной запрос.

[0117]
На этапе 608 может быть определен набор категорий ответов. Набор категорий ответов может быть таким же или по существу похожим, как описано в данном документе. Категории ответов могут быть классификациями для группы ответов, чтобы помочь в организации ответов. В вариантах осуществления категория ответа может быть описанием высокого уровня действия, предложенного ответом, как описано здесь.

[0118]
На этапе 610 группа ответов может быть отсортирована по набору категорий ответов. Группу ответов можно отсортировать путем классификации ответов, относящихся к одной или нескольким категориям ответов. Например, первый набор ответов может быть отсортирован по первой категории ответов путем классификации первого набора ответов как относящегося к первой категории ответов. В вариантах осуществления ответы могут быть отсортированы по категориям ответов с использованием анализа естественного языка, как описано здесь.

[0119]
На этапе 612 может быть определен набор последовательностей категорий. Последовательности категорий могут быть такими же или по существу похожими, как описано в данном документе. Описанная здесь последовательность категорий может представлять собой различные последовательности категорий ответа. Как описано здесь, последовательности категорий могут быть определены на основе предмета изобретения. В вариантах осуществления набор последовательностей категорий может быть доступен из базы данных системой QA. Например, одна или несколько последовательностей категорий могут быть предварительно определены и сохранены для доступа, когда системе QA поручено задание, соответствующее набору последовательностей категорий.

[0120]
На этапе 614 может быть установлена ​​последовательность ответов. Последовательность ответов может быть такой же или практически аналогичной описанной здесь. Как описано в данном документе, последовательность ответов может быть сформирована путем выбора группы ответов из одной или нескольких категорий ответов в порядке, соответствующем последовательности категорий.

[0121]
Обращаясь теперь к фиг. На фиг.7 показана блок-схема последовательности операций способа 700 управления отношениями ответа в среде QA в соответствии с вариантами осуществления настоящего раскрытия. На этапе 702 последовательность ответов может быть идентифицирована. Последовательность ответов может включать любое количество ответов. В некоторых вариантах осуществления последовательность ответов может быть сгенерирована с использованием некоторых или всех операций способа 600, как показано на фиг. 6. На этапе 704 корпус может быть проанализирован с использованием ответов последовательности ответов. В некоторых вариантах осуществления это может принимать форму поиска по ключевым словам с ответами, действующими как ключевые слова. Кроме того, в некоторых вариантах осуществления анализ может включать в себя анализ корпуса на основе ответов.

[0122]
В операциях 706-714 факторы влияния могут быть идентифицированы посредством прямых оценок отношений влияния (для операций 706 и 708) и / или посредством оценок характеристических отношений (для операций 710, 712 и 714). В некоторых вариантах осуществления факторы влияния могут быть идентифицированы на основе факторов настроения (которые описаны здесь в другом месте), связанных с двумя или более ответами. Кроме того, в некоторых вариантах осуществления факторы влияния могут быть такими же или по существу похожими на компоненты влияния (которые также описаны здесь в другом месте). Как описано в данном документе, фактором влияния может быть взаимодействие или результат, который может произойти, если оба ответа пары ответ-ответ последовательности ответов используются оба, как предусмотрено в этой конкретной последовательности ответов. Кроме того, фактором влияния может быть описание или оценка (с точки зрения положительного или отрицательного, вероятного или маловероятного и т. Д.) Эффекта, о котором известно, что один ответ имеет другой ответ (влияние в одном направлении) или два ответа как известно, оказывают друг на друга (влияние двух направлений). Кроме того, фактор влияния может быть мерой или информацией о совместимости двух ответов последовательности ответов, которая выводится на основании взаимодействий между каждым из двух ответов и одной или несколькими общими (например, общими) концепциями. В качестве примера в области выпечки рассмотрим сценарий, в котором последовательность ответов включает в себя первый ответ «добавить ингредиент А» и второй ответ «немедленно перемешать». В этом сценарии возможны несколько различных факторов влияния. Например, если ингредиент А становится сильно комковатым, если его сразу же перемешать, то возможны факторы влияния «вероятность возникновения комкования компонента А» или «второй ответ, который может оказать негативное влияние на первый ответ».

[0123]
На этапе 706 отношения непосредственного влияния в парах ответ-ответ могут быть идентифицированы на основе анализа корпуса. Как описано здесь, отношение прямого влияния может быть явным, непосредственным отношением между ответами конкретной пары ответ-ответ. Кроме того, отношение прямого влияния также может быть связью первой степени между ответами пары ответ-ответ, обнаруженной на основе анализа корпуса. Например, в области онкологии в последовательности ответов, включающей первый ответ «лечить пациента с помощью химиотерапии А в течение четырех недель» и второй ответ «лечить пациента с помощью эндокринной терапии Y», может существовать прямая зависимость между первый и второй ответы, которые могут быть обнаружены в корпусе (например, медицинский журнал), который содержит отрывок, в котором говорится, что «[a] пациент не должен проходить эндокринную терапию Y, если пациент получал или получит более одной недели химиотерапии А. »На этапе 708 факторы влияния могут быть идентифицированы на основе отношений прямого влияния, определенных на этапе 706. В этом примере онкологии сильно отрицательный фактор влияния может быть идентифицирован как соответствующий первому ответу и второму ответу на основе отрывок из медицинского журнала.

[0124]
На этапе 710 характерные отношения между ответами и характеристиками могут быть идентифицированы на основе анализа корпуса. Как описано здесь, характеристика может относиться к элементу, признаку или признаку. Кроме того, как описано в данном документе, характеристическое отношение может относиться к отношению между конкретным ответом последовательности ответов и конкретной характеристикой. В некоторых вариантах осуществления характеристическое отношение может включать или помечаться атрибутами, которые описывают, являются свидетельством и / или количественно определяют характер отношения между ответом и характеристикой. Например, в области ИТ-поддержки ответ «установить новый ЦП» может иметь характерные отношения с характеристиками «дорогой» и «простой в исполнении» (например, когда существует первая взаимосвязь между этапом установки нового ЦП и характеристика того, чтобы быть дорогим и где есть вторая взаимосвязь между этапом установки нового ЦП и характеристикой простоты выполнения). В этом примере характерное соотношение между «установить новый ЦП» и «дорогим» может включать атрибут «примерно 700 долларов» (например, если стоимость около 700 долларов США свидетельствует о том, почему установка нового ЦП имеет отношение с характеристикой дорого), а характерные отношения между «установить новый ЦП» и «легко выполнить» могут включать в себя отрицательную корреляцию (например, если установка нового ЦП считается непростой).

[0125]
На этапе 712 могут быть сделаны сравнения между характеристическими отношениями, имеющими общие (например, общие) характеристики и разные (например, не общие) ответы в последовательности ответов. На этапе 714 на основе сравнения этих характеристических отношений можно определить факторы влияния как соответствующие ответам этих характеристических отношений. Сравнение характеристических отношений описано со ссылкой на фиг. 8.

[0126]
В операции 716 факторы влияния, идентифицированные в операциях 706-714, могут быть сгруппированы в наборы факторов влияния на основе пары ответ-ответ, которой принадлежит каждый фактор влияния. Например, в последовательности ответов, включающей ответы E, F, G и H, в некоторых вариантах осуществления может быть до шести различных пар ответов (EF, EG, EH, FG, FH и GH) и, следовательно, до шести различных наборов факторов влияния, в которые можно сгруппировать данный фактор влияния. На этапе 718 отношения ответов генерируются для каждой возможной пары ответ-ответ на основе набора факторов влияния, соответствующих обоим ответам этой пары ответ-ответ. Каждое отношение ответа может представлять собой совокупность определенного набора факторов влияния. В некоторых вариантах осуществления отношения ответов могут быть мерами или индикаторами того, как ответы могут взаимодействовать или влиять друг на друга (или влиять на последовательность ответов в целом), если используется последовательность ответов. Кроме того, в некоторых вариантах осуществления для пар «ответ-ответ», не имеющих общих факторов влияния, можно считать, что отношения ответов между этими ответами, образующими пару, отсутствуют, или могут рассматриваться как отношения нулевого или нейтрального ответа. Например, чтобы продолжить приведенный выше пример EFGH, если нет никаких факторов влияния, соответствующих паре E-F, то отношение между ответом E и ответом F можно считать нейтральным отношением ответа. На этапе 720 идентифицированная последовательность ответов может оцениваться на основе отношений ответов.

[0127]
Чтобы помочь пониманию, упрощенный вариант способа 700 выполняется в примерном сценарии. В этом примере домовладелец системы обеспечения качества задает вопрос «Какие шаги я должен предпринять, чтобы получить красивый газон в моей собственности в Аризоне?». Система QA идентифицирует несколько последовательностей ответов (на операцию 702). Одна из последовательностей ответов включает в себя первый ответ «сорт X травы растения весной» и второй ответ «добавьте удобрение Y на газон летом». В этом примере оба ответа включены в последовательность ответов, по крайней мере частично, потому что система обеспечения качества определяет, что они оба хорошо работают в жарком и сухом климате. Корпус газонных и садовых журналов анализируется системой QA с использованием двух ответов (на операцию 704). В ходе анализа был обнаружен отрывок, в котором говорится, что «было доказано, что [f] средство для удобрения Y плохо работает на некоторых газонах, имеющих сорт X травы». На основе этого отрывка определяется прямая зависимость между ответами (на операцию 706 ). На основе отношения прямого влияния идентифицируется отрицательный фактор влияния, соответствующий обоим ответам (на операцию 708). Также на основе анализа корпуса, характерные отношения идентифицируются между каждым ответом и характеристикой «переносит жаркий климат» (на операцию 710). Поскольку эти характеристические отношения имеют эту общую характеристику, они сравниваются (для каждой операции 712). На основании сравнения положительный характерный фактор влияния определяется как соответствующий обоим ответам (на операцию 714). Фактор прямого влияния и фактор влияния, основанный на характеристиках, группируются для формирования набора факторов влияния, соответствующих обоим ответам (для операции 716). На основе набора факторов влияния (в данном случае двух факторов влияния) между двумя ответами создается отношение ответа (для каждой операции 718). В этом примере отрицательный фактор прямого влияния и положительный фактор влияния, основанный на характеристике, взвешиваются друг против друга, но в целом отрицательный фактор влияния взвешивается более сильно (например, если отрицательный фактор влияния определяется как более влиятельный), и Итоговый ответ отрицательный. На основе отношения ответа оценивается последовательность ответов (для каждой операции 720). В этом случае из-за отрицательного отношения ответа показатель достоверности последовательности ответов уменьшается, и в результате эта конкретная последовательность ответов представляется домовладельцу с более низким рейтингом (по сравнению с другими последовательностями ответов), чем было бы Был случай, если ответ отношения не были рассмотрены.

[0128]
Обращаясь теперь к фиг. На фиг.8 показана схема примера помеченной последовательности 800 ответов, включающей в себя характерные отношения, отношения прямого влияния и отношения ответа, в соответствии с вариантами осуществления настоящего раскрытия. Как показано, примерная последовательность 800 ответов включает в себя ответ A 801, ответ B 802 и ответ C 803. В некоторых вариантах осуществления это означает, что последовательность 800 ответов может включать в себя множество различных порядков или комбинаций этих трех ответов (ответ A сопровождается ответом B, за которым следуют ответ C, ответ A и ответ C, происходящие практически одновременно, а затем ответ B и т. Д.). В некоторых вариантах осуществления точное упорядочение ответов может иметь или не иметь значения для целей установления отношений ответов (например, в некоторых вариантах осуществления последовательность ABC ответов может рассматриваться как последовательность ответов BCA).

[0129]
Как показано, существует только один интересующий фактор прямого влияния при оценке последовательности 800 ответов. В частности, существует фактор прямого влияния A / B 811, соответствующий как ответу A 801, так и ответу B 802. Этот фактор прямого влияния A / B 811 может основываться на взаимосвязи прямого влияния между ответом A 801 и ответом B 802. Также показаны четыре характеристики (a, b, c и d) 807-810 и шесть характерных взаимосвязей (A / a, A / b, B / b). , B / c, B / d и C / d) 814-819. Две пары характеристических отношений (A / b и B / b, B / d и C / d), 815 и 816, и 818 и 819, имеют общие характеристики (b и d соответственно), 808 и 810, и разные ответы , Путем сравнения этих пар характеристических отношений можно идентифицировать два фактора влияния на основе характеристики, а именно: фактор 812 влияния на основе характеристики b, соответствующий как ответу A 801, так и ответу B 802, и коэффициент 813 влияния на основе характеристики d, соответствующий обоим ответам B 802 и ответ C 803.

[0130]
Кроме того, как показано, отношения ответа могут быть сгенерированы на основе наборов факторов влияния. В частности, первый набор факторов влияния (включая характеристический фактор влияния 812 на основе b и прямой фактор влияния A / B 811) можно использовать для генерации отношения ответа A / B 804 между ответом A 801 и ответом B 802. Аналогично, второй набор факторов влияния (включая характеристический фактор влияния 813 на основе d) может использоваться для генерации отношения ответа B / C 805 между ответом B 802 и ответом C 803. Кроме того, поскольку отсутствуют факторы влияния, соответствующие обоим ответам Отношение 801 и ответ C 803, отношение ответа A / C 806, в некоторых вариантах осуществления может считаться несуществующим или нейтральным. После того как каждое из отношений ответа 804-806 было сгенерировано, их можно использовать для оценки последовательности 800 ответа.

[0131]
Обращаясь теперь к фиг. 9 показана блок-схема последовательности операций способа 900 оценки последовательности ответов на основе отношений ответов в соответствии с вариантами осуществления настоящего раскрытия. На этапе 902 последовательность ответов идентифицируется. На этапе 904 могут быть идентифицированы отношения ответов последовательности ответов. В некоторых вариантах осуществления операция 904 может включать в себя выполнение некоторых или всех операций способа 700, показанного на фиг. 7. На этапе 906 оценка отношения может быть назначена каждому отношению ответа последовательности ответов. Как описано в данном документе, оценка отношения может указывать меру воздействия, которое два ответа могут оказать друг на друга, или того, насколько хорошо они могут взаимодействовать в данной последовательности ответов. Оценка отношений может быть положительной или отрицательной (например, благоприятной или не благоприятной). В некоторых вариантах осуществления оценки отношений могут основываться на факторах влияния. Кроме того, в некоторых вариантах осуществления правила оценки ответов могут использоваться для определения оценок отношений.

[0132]
На этапе 908 принятия решения может быть выполнено определение относительно того, существуют ли какие-либо оценки отношений ниже порога противопоказаний для отношений. Как описано в данном документе, порог противопоказания для отношения может относиться к минимальному приемлемому уровню для оценки отношения (например, наиболее отрицательной, что оценка отношения может быть еще при этом приемлемой). Если данный показатель отношения ниже этого порога, то последовательность ответов, с которой связан данный показатель отношения, может быть противопоказана. Как описано в данном документе, последовательность ответов может считаться противопоказанной, когда она считается непригодной или неподходящей в результате отрицательной оценки отношения ответа для ответов этой конкретной последовательности ответов. В некоторых вариантах осуществления использование такого порогового значения может помочь гарантировать, что строго отрицательная связь между двумя ответами последовательности ответов может помешать пользователю рекомендовать ответ. В вариантах осуществления пороговые значения противопоказаний для отношений могут быть более терпимыми или менее терпимыми к отрицательным оценкам отношений. Менее толерантный порог может применяться, например, в ситуациях, когда более важно убедиться, что отрицательные взаимодействия между ответами конкретной последовательности ответов ограничены, если эта последовательность ответов должна быть представлена ​​пользователю (например, в медицинской установка лечения).

[0133]
Если на этапе 908, по меньшей мере, один показатель отношения ниже порогового значения, то на этапе 910 вся последовательность ответов может быть идентифицирована как противопоказанная. В некоторых вариантах осуществления эта идентификация противопоказания может означать, что последовательность ответов даже не представляется пользователю в качестве возможной последовательности ответов; или, в других вариантах осуществления, ответная последовательность может быть представлена ​​только вместе с предупредительной надписью и описанием причины противопоказания. В качестве примера рассмотрим общую последовательность ответов JKLM. Если отношение ответа между L и M имеет оценку отношения ниже порогового значения, тогда последовательность ответов JKLM может быть идентифицирована как противопоказанная, даже если все остальные отношения ответа (между J и L, между K и M и т. Д.) Все связанные с отношениями оценки выше порога.

[0134]
Если в операции 908 все оценки взаимосвязи превышают порог противопоказания взаимосвязи, то для операции 912 для последовательности ответов может быть назначена доверительная оценка. Оценка достоверности может быть частично основана на оценках отношения, связанных с последовательностью ответов. В некоторых вариантах осуществления, где исходная доверительная оценка была назначена последовательности ответов до оценки отношения ответа, может быть назначена пересмотренная доверительная оценка. Пересмотренная оценка достоверности может основываться как на исходной оценке достоверности, так и на показателях взаимосвязи.

[0135]
ИНЖИР. 10 является блок-схемой, иллюстрирующей способ 1000 для управления последовательностями ответов, в соответствии с вариантами осуществления настоящего раскрытия. Аспекты фиг. 10 направлены на определение первой последовательности ответов с использованием данных заказа для первого набора ответов. Способ 1000 может начинаться в блоке 1002 и заканчиваться в блоке 1012. В соответствии с различными вариантами осуществления способ 1000 может включать в себя блок 1004 синтаксического анализа, блок 1006 обнаружения, блок 1008 идентификации и блок 1010 определения.

[0136]
В соответствии с различными вариантами осуществления, на этапе 1004 способ 1000 может включать в себя синтаксический анализ посредством обработки на естественном языке набора данных для предмета. Предмет может включать контент или данные, относящиеся к конкретной теме, теме или концепции. Техника обработки на естественном языке может быть сконфигурирована для анализа синтаксических и семантических данных совокупности данных. В некоторых вариантах осуществления совокупность данных для предмета может быть базой данных, включающей в себя один или несколько типов контента, относящегося к конкретной теме или предмету. Типы контента могут включать, например, результаты исследований, результаты практических испытаний, журнальные статьи, исторические данные или тому подобное. Например, в некоторых вариантах осуществления база данных может включать в себя медицинские исследования, журнальные статьи и другие виды контента, относящиеся к предмету лечения онкологии. В качестве дополнительного примера база данных может включать в себя контент, относящийся к одному или нескольким другим предметам, таким как садоводство, компьютерная техническая поддержка или пчеловодство. Другие предметы также возможны. В определенных вариантах осуществления предметный контент в базе данных может быть организован, классифицирован и помечен. Например, предметный контент в базе данных может быть организован или структурирован путем связывания понятий и подтем вместе с использованием структуры онтологии. В некоторых вариантах осуществления корпус данных может соответствовать информационному корпусу 326 на фиг. 3.

[0137]
Как описано в данном документе, на этапе 1004 способ может включать в себя синтаксический анализ совокупности данных для предмета с использованием технологии обработки естественного языка. Техника обработки на естественном языке может быть сконфигурирована для анализа как структурированных данных (например, таблиц, графиков), так и неструктурированных данных (например, текстового содержимого, содержащего слова, числа, даты). В некоторых вариантах осуществления технология обработки на естественном языке может представлять собой программный инструмент, виджет или другую программу, сконфигурированную для анализа и идентификации семантических и синтаксических элементов и отношений, присутствующих в корпусе данных. Более конкретно, методика обработки естественного языка может быть сконфигурирована для анализа грамматических составляющих, частей речи, контекста и других взаимосвязей (например, модификаторов) совокупности данных. Техника обработки на естественном языке может быть сконфигурирована для распознавания ключевых слов, контекстной информации и тегов метаданных, связанных со словами, фразами или предложениями в совокупности данных. В некоторых вариантах осуществления технология обработки на естественном языке может анализировать сводную информацию, ключевые слова, подписи к рисункам или текстовые описания, включенные в совокупность данных, и идентифицировать синтаксические и семантические элементы, присутствующие в этой информации. Синтаксические и семантические элементы могут включать в себя такую ​​информацию, как частота слов, значения слов, шрифт текста, курсив, гиперссылки, собственные имена, словосочетания, части речи или контекст окружающих слов. Другие синтаксические и семантические элементы также возможны.

 

[0138]
В определенных вариантах осуществления на этапе 1006 способ 1000 может включать в себя обнаружение, на основе анализа, первого набора ответов и второго набора ответов. Первый набор ответов может включать в себя первый ответ, принадлежащий первой категории ответов, и второй набор ответов, принадлежащий второй категории ответов. В некоторых вариантах осуществления первая и вторая категории ответов могут соответствовать предмету. Обычно ответ (например, первый ответ, второй ответ) может относиться к объекту данных или концепции, которая может быть возвращена в ответ на запрос (например, вопрос в системе ответа на вопрос). В определенных вариантах осуществления ответ может соответствовать конкретному существительному, сущности, операции или действию. Например, в ответ на вопрос о названии национальной птицы ответ может быть возвращен как «белоголовый орлан. В определенных вариантах осуществления ответ может соответствовать категории ответа. Категория ответа может быть разделением или классом понятий или идей, которые включают ответ. Например, ответ «белоголовый орлан» может соответствовать категории ответов «птицы». Кроме того, каждая категория ответов может соответствовать теме. Как описано в данном документе, предметом может быть содержание или данные, относящиеся к конкретной теме, теме или концепции, и они могут включать в себя категорию ответа. В качестве примера, ссылаясь на приведенный выше пример, категория ответа «птицы» может относиться к предмету «животные», «живая природа» и т.п.

[0139]
Как описано в данном документе, на этапе 1006 способ 1000 может включать в себя обнаружение первого набора ответов и второго набора ответов на основе анализа совокупности содержимого, относящегося к предмету. В определенных вариантах осуществления первый и второй набор ответов могут быть обнаружены системой обработки естественного языка. Например, обработка на естественном языке может определять слова, фразы или данные, присутствующие в корпусе, которые соответствуют вопросу, полученному системой ответа на вопрос. Ответы могут быть помечены или помечены идентификатором для обозначения соответствия вопросу. В качестве примера, в определенных вариантах осуществления система ответа на вопрос может получить вопрос, связанный с вариантами лечения для конкретного медицинского состояния. Ответы на этот вопрос могут включать различные виды лечения. Медицинские процедуры могут соответствовать определенным категориям (например, категориям ответов), которые представляют большую группу процедур. Более конкретно, способ 1000 может включать в себя обнаружение первого набора ответов, включающего в себя первый ответ «антиметаболиты» и второй ответ «криохирургия». Первый ответ может соответствовать первой категории ответа «химиотерапия» и второму ответу может соответствовать второй категории ответа «хирургия». Как первая, так и вторая категории ответа могут соответствовать такой теме, как «лечение рака». Также возможны другие типы ответов и категории ответов.

[0140]
В соответствии с различными вариантами осуществления, на этапе 1008 способ 1000 может включать в себя идентификацию, на основе синтаксического и семантического контента, первого набора данных упорядочения для первого набора ответов. Первый набор данных упорядочения может быть структурированными или неструктурированными данными или информацией, которая предлагает (например, явно или неявно) конкретный порядок или последовательность для первого ответа и второго ответа. Первый набор данных упорядочения может быть идентифицирован с использованием синтаксического содержимого совокупности данных, семантического содержимого совокупности данных или обоих. В качестве примера, в определенных вариантах осуществления данные упорядочения могут быть таблицей, которая задает последовательность этапов, на которых выполняются определенные процессы. В некоторых вариантах осуществления данные заказа могут быть извлечены из текстового содержимого совокупности данных. Например, совокупность данных может указывать дату или день недели, когда был выполнен первый шаг, и другую дату или день недели, когда был выполнен второй шаг. Используя указанную дату или день недели, обработка на естественном языке может определить порядок первого шага и второго шага. Кроме того, способ 1000 может идентифицировать ключевые слова, такие как «первый», «после», «до», «последний» и другие слова, которые могут указывать временный порядок. Как описано здесь, методика обработки естественного языка может быть сконфигурирована для идентификации данных упорядочения как из неструктурированных, так и из структурированных сред данных.

[0141]
В качестве примера рассмотрим следующий абзац, который может быть сообщением на доске объявлений, возвращенным в ответ на запрос, связанный с исправлением компьютера:
Чтобы починить свой ноутбук, мне пришлось переустановить операционную систему. Однако до этого я сделал резервную копию всех своих данных на большом внешнем жестком диске, а затем приступил к форматированию внутреннего жесткого диска моего ноутбука. Затем я сделал раздел на только что отформатированном жестком диске для новой ОС. После перезапуска системы и изменения приоритета загрузки для загрузки с привода DVD, я вставил свой компакт-диск с ОС, перезапустил систему и следовал инструкциям по переустановке операционной системы. Затем я заменил свои резервные копии на жесткий диск своего ноутбука, и, прежде чем я это понял, он работал как новый.

[0143]
Как описано в данном документе, способ 1000 может обнаруживать ответы, включая «Резервное копирование данных», «Формат жесткого диска», «Раздел жесткого диска», «Перезагрузка системы», «Изменение приоритета загрузки», «Вставка компакт-диска ОС», «Перезагрузка системы» «Процесс установки ОС» и «Замена данных». На этапе 1008 способ 1000 может идентифицировать данные заказа в форме временных ключевых слов, таких как «после», «до», «затем», «до», «до» а также другие данные заказа, которые предлагают последовательность для обнаруженных ответов. В определенных вариантах осуществления способ 1000 может включать в себя маркировку идентифицированных данных заказа специальными тегами или идентификаторами. Например, способ 1000 может включать в себя выделение идентифицированных данных заказа или прикрепление тега к каждому экземпляру данных заказа. В некоторых вариантах осуществления способ 1000 может быть сконфигурирован для предоставления отчета с данными заказа, указывающего идентифицированные данные заказа в конкретном корпусе данных (например, для пользователя может быть желательно увидеть факторы, которые повлияли на заказ для определенного набора ответы).

[0144]
В соответствии с различными вариантами осуществления, на этапе 1010 способ 1000 может включать в себя определение, в ответ на идентификацию первого набора данных заказа, первой последовательности ответов, соответствующей порядку первого набора ответов. Первая последовательность ответов может представлять собой последовательность, последовательность или последовательность из одного или нескольких ответов (например, первый набор ответов и второй набор ответов). Расположение ответов в первой последовательности ответов может быть связано с положительным воздействием (например, преимуществами производительности и эффективности) по сравнению с другими порядками или конфигурациями ответов. Как описано в данном документе, в некоторых вариантах осуществления первая последовательность ответов может быть определена с использованием первого набора данных упорядочения, идентифицированных для первого набора ответов. Например, ссылаясь на приведенный выше пример, идентифицированные данные упорядочения, такие как временные ключевые слова «после», «до», «затем», «до» и «обработано», могут использоваться для определения первой последовательности ответа « Формат жесткого диска-Раздел жесткого диска-Перезагрузка системы-Изменение приоритета загрузки-Вставка компакт-диска ОС-Перезагрузка системы-Процесс установки-Замена данных. ”

[0145]
В определенных вариантах осуществления способ 1000 может включать в себя определение второй последовательности ответов. В некоторых вариантах осуществления вторая последовательность ответов может быть определена на основе второго набора данных, отличного от набора данных, используемых для идентификации первой последовательности ответов. В некоторых вариантах осуществления первая и вторая последовательности ответов могут быть определены с использованием одного и того же набора данных. Более конкретно, способ 1000 может включать в себя обнаружение третьего набора ответов, включающего в себя третий ответ, соответствующий третьей категории ответов, четвертый набор ответов, включающий четвертый ответ, соответствующий четвертой категории ответов, и пятый набор ответов, включающий пятую ответ, соответствующий пятой категории ответа. В некоторых вариантах осуществления третья, четвертая и пятая категории ответа могут относиться к предмету изобретения. На основе синтаксического и семантического контента способ 1000 может включать в себя идентификацию второго набора данных упорядочения для третьего, четвертого и пятого наборов ответов. В ответ на идентификацию второго набора данных заказа способ 1000 может включать в себя определение второй последовательности ответов, соответствующей порядку третьего, четвертого и пятого наборов ответов.

[0146]
В некоторых вариантах осуществления способ 1000 может включать в себя установление фактора чувствительности для последовательности ответов. Фактором чувствительности может быть целочисленное значение от 1 до 100, которое представляет относительное чувство (например, отношение, положение, мнение, эмоции), связанное с последовательностью ответов. Как описано в данном документе, фактор чувствительности для последовательности ответов может быть определен на основе анализа контекстной информации, лингвистических данных и семантических элементов, связанных с конкретной последовательностью ответов. В качестве примера, последовательность ответов, которая включает в себя слова и фразы, такие как «неэффективно», «плохая работа» и «проблематично», может быть охарактеризована как имеющая по существу отрицательное мнение, тогда как последовательность ответов, которая связана со словами и фразами, такими как «Чрезвычайно эффективный», «эффективный» и «благоприятный исход» можно охарактеризовать как имеющие по существу положительные настроения. Как описано в данном документе, в определенных вариантах осуществления методика обработки естественного языка может определять фактор чувствительности для первой и второй последовательности ответов. Фактор настроения может быть целочисленным значением, которое характеризует отношение или эмоции совокупности данных относительно последовательности ответов. Например, как описано в данном документе, коэффициент чувствительности может быть целочисленным значением от 1 до 100, где более низкие целые числа указывают обычно более низкое (например, по существу отрицательное или неблагоприятное) настроение, а более высокие целые числа указывают в целом более высокое (например, по существу положительное) или благоприятное) настроение.

[0147]
В некоторых вариантах осуществления способ 1000 может включать в себя сравнение первой последовательности ответов и второй последовательности ответов на основе первого фактора чувствительности и второго фактора чувств. Например, рассмотрим сценарий, в котором первая последовательность ответов имеет первый фактор чувствительности 76, а вторая последовательность ответов имеет второй фактор настроения 53. В ответ на сравнение первого и второго факторов настроения способ 1000 может включать в себя ранг — упорядочение (например, ранжирование, организация, классификация) первой и второй последовательностей ответов на основе сравнения первого и второго факторов настроения. Например, в некоторых вариантах осуществления способ 1000 может включать в себя ранжирование первой последовательности ответов (например, последовательности ответов с большим коэффициентом чувствительности) над второй последовательностью ответов (например, последовательности ответов с меньшим коэффициентом чувствительности). Такой вариант осуществления может обеспечить преимущества, связанные с идентификацией последовательности ответов, связанной с наиболее положительными результатами. Другие способы ранжирования первой и второй последовательностей ответов также возможны.

[0148]
ИНЖИР. Фиг.11 — схема, иллюстрирующая примерную архитектуру 1100 системы для управления последовательностями ответов, в соответствии с вариантами осуществления настоящего раскрытия. Аспекты фиг. 11 направлены на систему обнаружения последовательности ответов для определения последовательности ответов для одного или нескольких ответов и использования обнаруженных последовательностей ответов для генерации неоткрытых последовательностей ответов с использованием модуля последовательности ответов. Как показано на фиг. 11, в некоторых вариантах осуществления примерная архитектура 1100 системы может включать в себя систему 1102 обнаружения последовательности ответов и систему 1126 генерации последовательности ответов. Система 1102 обнаружения последовательности ответов может включать в себя базу 1104 данных предмета, компонент 1104 анализа, модуль идентификации темы. 1106, модуль 1108 выбора корпуса, модуль 1110 разбора корпуса, модуль 1112 установления коэффициента чувств, компонент 1113 обнаружения, модуль 1114 обнаружения набора ответов, модуль 1116 обнаружения категории ответа, компонент 1117 идентификации, идентификация данных заказа модуль 1118, компонент 1119 управления последовательностями ответов, модуль 1120 определения последовательностей ответов, модуль 1122 сравнения последовательностей ответов и модуль 1124 ранжирования последовательностей ответов. Система 1126 генерации последовательностей ответов может включать в себя компонент 1127 управления правилами, вывод атрибутов ответа модуль 1128, модуль 1129 определения правила, включающий в себя модуль 1130 и подмодуль 1132 установления правила, модуль 1134 генерации модели последовательности ответа, модуль 1136 добавления правила, компонент 1137 извлечения взаимосвязи, включающий в себя модуль 1138 извлечения компонента порядка и модуль 1140 извлечения компонента влияния, компонент генерации последовательности ответа 1141 и модуль комбинации ответов 1142.

[0149]
В соответствии с различными вариантами осуществления компонент 1104 анализа может по существу соответствовать блоку 1004 синтаксического анализа по фиг. В некоторых вариантах осуществления модуль 1106 идентификации темы может быть сконфигурирован для определения темы вопроса. Вопрос может быть запросом, заявлением или другим вводом, полученным системой ответа на вопрос. Как описано здесь, тема может быть идентифицирована с использованием методов обработки естественного языка. На основании идентифицированной темы вопроса модуль 1108 выбора корпуса может быть сконфигурирован для выбора совокупности данных для предмета. В определенных вариантах осуществления тема вопроса может быть связана с предметом. Как описано в данном документе, модуль 1110 синтаксического анализа корпуса может быть сконфигурирован для использования технологии обработки естественного языка, сконфигурированной для анализа семантического и синтаксического содержимого корпуса данных. Модуль 1112 установления фактора настроения может быть сконфигурирован для использования семантических характеристик совокупности данных, чтобы установить количественное указание относительных эмоций или отношения, связанных с конкретной последовательностью ответов.

[0150]
В соответствии с различными вариантами осуществления компонент 1113 обнаружения может по существу соответствовать блоку 1006 обнаружения по фиг. 10. В некоторых вариантах осуществления модуль 1114 обнаружения набора ответов может быть сконфигурирован для обнаружения первого ответа и второго набора ответов (например, слов, фраз или данных, присутствующих в корпусе, который соответствует вопросу) в ответе. анализу данных, выполненному модулем 1110 анализа данных. Кроме того, в некоторых вариантах осуществления модуль 1116 обнаружения категории ответа может быть сконфигурирован для обнаружения категорий ответа (например, подразделений или классов концепций или идей, которые включают в себя соответствующий набор ответов), которые соответствуют обнаруженному первому и второму набору ответов.

[0151]
В соответствии с различными вариантами осуществления компонент 1117 идентификации может по существу соответствовать блоку 1008 идентификации по фиг. В некоторых вариантах осуществления модуль 1118 идентификации данных заказа может быть сконфигурирован с использованием проанализированного семантического и синтаксического содержимого совокупности данных для идентификации данных заказа. Данные для упорядочения могут быть структурированными или неструктурированными данными или информацией, которая предлагает (например, явно или неявно) конкретный порядок или последовательность для первого ответа и второго ответа.

[0152]
В соответствии с различными вариантами осуществления компонент 1119 управления последовательностями ответов может по существу соответствовать блоку 1010 определения по фиг. В некоторых вариантах осуществления модуль 1120 определения последовательности ответов может быть сконфигурирован для использования данных заказа, идентифицированных модулем 1118 идентификации данных заказа, для определения последовательности ответов, соответствующей порядку первого набора ответов. Последовательность ответов может представлять собой последовательность, последовательность или последовательность из одного или нескольких ответов (например, первый набор ответов и второй набор ответов). В некоторых вариантах осуществления модуль 1120 определения последовательности ответов может определять несколько последовательностей ответов, соответствующих множеству наборов ответов. Соответственно, в таком варианте осуществления модуль 1122 сравнения последовательностей ответов может сравнивать определенные последовательности ответов друг с другом. В некоторых вариантах осуществления определенные последовательности ответов могут сравниваться с использованием коэффициента чувствительности, связанного с каждой последовательностью ответа (например, коэффициента чувствительности, установленного модулем 1112 установления коэффициента чувствительности). Другие методы сравнения последовательностей ответов также возможны. В некоторых вариантах осуществления модуль 1124 ранжирования последовательностей ответов может быть сконфигурирован для ранжирования сравниваемых последовательностей ответов. Например, модуль 1124 ранжирования последовательностей ответов может ранжировать последовательности ответов на основе фактора чувствительности, связанного с каждой последовательностью ответов (например, последовательности ответов с более высокими коэффициентами настроения ранжируются более заметно). Другие способы упорядочения рангов ответных последовательностей также возможны.

[0153]
Как описано в данном документе, определенные варианты осуществления настоящего раскрытия направлены на создание неоткрытых последовательностей ответов. В некоторых вариантах осуществления генерация неоткрытых последовательностей ответов может включать в себя использование модуля последовательности ответов, включающего в себя набор правил, полученных из ранее обнаруженных последовательностей ответов. Соответственно, в некоторых вариантах осуществления архитектура 1100 системы может включать в себя систему 1126 генерации последовательности ответов. Система генерации последовательности ответов может включать в себя компоненты и модули, сконфигурированные для генерации неоткрытых последовательностей ответов.

[0154]
В соответствии с различными вариантами осуществления система 1126 генерации последовательности ответов может включать в себя компонент 1127 управления правилами. Компонент 1127 управления правилами может включать в себя модули и субмодули, направленные на установление правил для облегчения генерации последовательностей ответов. В некоторых вариантах осуществления компонент 1127 управления правилами может включать в себя модуль 1128 получения атрибута ответа. Модуль 1128 получения атрибута ответа может быть сконфигурирован для получения набора атрибутов ответа для набора ответов. В некоторых вариантах осуществления модуль 1128 получения атрибутов ответа может выводить первый набор атрибутов ответа для первого набора ответов и второй набор атрибутов ответа для второго набора ответов. В некоторых вариантах осуществления получение набора атрибутов ответа может включать в себя использование модуля 1130 идентификации характеристик, чтобы идентифицировать группу характеристик для набора ответов, которые указывают соответствие между первым ответом и вторым ответом. Иными словами, набор атрибутов ответа может включать в себя определенные черты или особенности, которые отличаются от конкретного ответа, и предполагают связь между ответом и другим ответом.

[0155]
Например, рассмотрим пример, в котором пользователь желает сделать дополнительные инвестиции на фондовом рынке. Модуль обнаружения набора ответов может обнаружить первый ответ «PMJ Oil» и второй ответ «AKB Entertainment». Для первого ответа «PMJ Oil» модуль 1128 получения атрибута ответа может получить первый атрибут ответа, такой как « Запас в нефтяных компаниях в настоящее время недооценен », а второй атрибут ответа« Запас в радиовещательных и развлекательных компаниях в настоящее время переоценен ». Как описано здесь, в некоторых вариантах осуществления набор атрибутов ответа может быть получен из семантического и синтаксического контента анализируется методом обработки естественного языка (например, финансовая отчетность компании, редакционные статьи экспертов отрасли и т. п.)

[0156]
В некоторых вариантах осуществления модуль 132 установления правил может быть сконфигурирован для установления правил (например, также упоминаемых здесь как правила последовательности ответов) на основе полученных атрибутов / идентифицированных характеристик для первого ответа и второго ответа. Как правило, правила могут включать в себя принципы, руководящие указания, факты или указания, которые могут использоваться для формализации связи, связи или соответствия между первым ответом и вторым ответом. В определенных вариантах осуществления правила могут определять процедуру, которая описывает предлагаемые средства взаимодействия или последовательный порядок для первого ответа и второго ответа. Например, еще раз рассмотрим приведенный выше пример, в котором первый ответ — «PMJ Oil», а второй — «AKB Entertainment». На основе полученного атрибута первого ответа (например, акции нефтяных компаний в настоящее время недооценены ) и второй атрибут ответа (например, Акции в вещательных и развлекательных компаниях в настоящее время переоценены), модуль 1134 установления правил может определять правило (например, правило первой-второй), такое как «Акция в AKB Entertainment не должна приобретаться до акции». в PMJ Oil »(например, финансовое решение лучше покупать недооцененные акции при низкой цене и избегать покупки акций, цена которых завышена.) В некоторых вариантах осуществления модуль 1132 установления правил может быть сконфигурирован для определения нескольких правила, основанные на производных атрибутах для первого и второго ответа. Хотя настоящий пример был описан в терминах первого ответа и второго ответа, правила, созданные для ситуаций с большим или меньшим количеством ответов, также возможны.

[0157]
В соответствии с различными вариантами осуществления модуль 1134 генерации модели последовательности ответа может быть сконфигурирован для генерирования модели последовательности ответа для управления последовательностями ответа. В некоторых вариантах осуществления модель последовательности ответов может быть базой данных или другим хранилищем последовательностей ответов и правил последовательности ответов. В некоторых вариантах осуществления модель последовательности ответов может включать в себя использование методов машинного обучения, сконфигурированных для анализа последовательностей ответов и правил последовательности ответов, для выведения отношений, связей и других связей между различными ответами, категориями ответов и последовательностями ответов. Например, модель последовательности ответов может включать в себя использование алгоритмов логического вывода для извлечения связей и связей между различными последовательностями ответов. В некоторых вариантах осуществления ссылки и соединения, извлеченные алгоритмами вывода, могут использоваться для генерации дополнительных последовательностей ответов (например, неоткрытых последовательностей ответов). В некоторых вариантах осуществления модуль 1136 добавления правил может быть сконфигурирован для идентификации дополнительных правил (например, на основе третий набор атрибутов ответа для третьего ответа и четвертый набор атрибутов ответа для четвертого ответа) и добавьте их в модель последовательности ответов. Например, модуль 1136 добавления правил может быть сконфигурирован для формализации предполагаемых соединений и связей между двумя конкретными ответами и добавления их к модулю 1134 генерации модели последовательности ответов в форме дополнительных правил.

[0158]
В соответствии с различными вариантами осуществления, как описано в данном документе, компонент 1137 извлечения взаимосвязей может быть сконфигурирован для извлечения взаимосвязей между двумя или более последовательностями ответов для генерации дополнительных последовательностей ответов. Как правило, отношения могут быть выведены на основе атрибутов или характеристик, которые совместно используются несколькими ответами или несколькими последовательностями ответов. В некоторых вариантах осуществления отношения могут быть формализованы как правила более высокого порядка (например, более широкие, чем правила последовательности ответов первого порядка) или принципы, которые управляют взаимодействиями между ответами различных последовательностей ответов. В некоторых вариантах осуществления извлечение взаимосвязи может включать в себя определение компонента заказа и компонента влияния данного ответа (например, первого ответа) относительно другого ответа (например, третьего ответа). В определенных вариантах осуществления первый ответ и третий ответ могут принадлежать отдельным последовательностям ответов.

[0159]
Обычно компонент заказа может включать в себя атрибут или характеристику, которая предлагает или управляет (например, явно или неявно) конкретным заказом или последовательностью для первого ответа относительно третьего ответа. Например, компонент заказа может предполагать, что первый ответ встречается до третьего ответа. В некоторых вариантах осуществления компонент заказа может предполагать, что первый ответ происходит после третьего ответа. Компонент влияния может включать в себя атрибут или характеристику, которые указывают степень влияния, воздействия или влияния, которое конкретный ответ оказывает на другой ответ. Компонент влияния может, в некоторых вариантах осуществления, быть выражен как целочисленное значение между 0 и 100, где более высокие числа указывают на существенно высокое влияние, а меньшие числа указывают на существенно меньшее влияние. Например, в определенных ситуациях может быть очень важно, чтобы определенный ответ в последовательности ответов сопровождался другим ответом (например, определенное лечение должно сопровождаться определенным лекарством.) В определенных ситуациях оно может быть относительно небольшим важно, сопровождается ли конкретный ответ другим ответом (например, включены ли в рецепт пирожного или нет брызги). Соответственно, как описано здесь, компонент 1141 генерации последовательности ответов может быть сконфигурирован для генерации последовательности ответов с использованием первого ответа и третий ответ. В некоторых вариантах осуществления генерация последовательности ответов может включать в себя объединение первого ответа и третьего ответа на основе компонента влияния и компонента заказа.

[0160]
Рисунок 12 изображает пример генерации 1200 последовательности ответов в соответствии с различными вариантами осуществления. Аспекты фиг. 12 направлены на создание неоткрытых последовательностей ответов с использованием правил последовательности ответов, определенных для установленных последовательностей ответов. Более конкретно, пример генерации последовательности ответов 1200 иллюстрирует вариант осуществления настоящего изобретения, направленный на планы лечения онкологических заболеваний. Как показано на фиг. 12, пример генерации 1200 последовательности ответов может включать в себя набор обнаруженных последовательностей 1202 ответа с первой последовательностью 1210 ответа и второй последовательностью 1220 ответа. Пример генерации 1200 последовательности ответа также может включать в себя набор сгенерированных последовательностей 1222 ответа с третья последовательность 1230 ответов и четвертая последовательность 1240 ответов. Каждая последовательность ответов может включать в себя набор ответов (например, химиотерапия C, радиация B и т. д., где химиотерапия C и радиация B представляют собой конкретные ответы / типы лечения в соответствующих категориях ответов «Химиотерапия» и «радиация»)

[0161]
Как описано в данном документе, настоящий пример может иметь место в среде системы ответа на вопросы. Например, как описано здесь, в ответ на запрос «Каков наилучший способ лечения рака у пациента с предоставленной историей болезни?», Система ответа на вопрос может определить, используя совокупность данных, включая заметки врача, медицинскую информацию. В журнальных статьях и научных исследованиях говорится, что планы лечения первой последовательности 1210 ответа и второй последовательности 1220 ответа являются двумя известными планами лечения для пациентов с предоставленной историей болезни. Аспекты настоящего раскрытия направлены на использование модели генерации последовательности ответов, снабженной алгоритмами вывода, для анализа первой последовательности ответов и второй последовательности ответов, а также соответствующих правил последовательности ответов и извлечения отношений, которые облегчают генерацию дополнительных последовательностей ответов. Например, на основе семантической и синтаксической информации, связанной с первой последовательностью ответов (например, прошедшие медицинские испытания, история болезни, онкологические журналы), правило первой последовательности ответов, такое как «Эндокринная А, может безопасно следовать излучению B» для первой последовательность ответов. Аналогично, второе правило последовательности ответов, такое как «Радиация B, может сопровождаться любым типом операции при условии, что химиотерапия C применяется сразу после этого».

[0162]
Соответственно, как описано в данном документе, модель последовательности ответов может быть сконфигурирована для анализа первого правила последовательности ответов и второго правила последовательности ответов и извлечения взаимосвязи между первой последовательностью ответов и второй последовательностью ответов для генерации дополнительных последовательностей ответов. Например, модель последовательности ответов может объединять первое правило последовательности ответов и второе правило последовательности ответов, чтобы сделать вывод, что, поскольку излучение B может безопасно применяться после эндокринной системы A, и любой тип операции может применяться после излучения B, при условии, что оно После химиотерапии С возможны также третья последовательность 1230 ответа и четвертая последовательность 1240 ответа. Соответственно, как описано в настоящем документе, модель последовательности ответов может генерировать третью последовательность 1230 ответов и четвертую последовательность 1240 ответов и добавлять их в хранилище или базу данных известных последовательностей ответов.

[0163]
Обращаясь теперь к фиг. 13 показана концептуальная схема, иллюстрирующая систему 1300 QA, которая классифицирует ответы, отсортированные по категории ответов, в соответствии с вариантами осуществления настоящего раскрытия. Система 1300 может включать в себя модуль 1304 сортировщика ответов и систему 1310 классификатора ответов.

[0164]
Модуль 1304 сортировщика ответов может быть таким же или по существу похожим на систему 414 сортировщика ответов (фиг. 4). Модуль 1304 сортировщика ответов может быть сконфигурирован для сортировки ответов, сгенерированных в ответ на входной запрос, в одну или несколько категорий ответов. Как описано в данном документе, ответы могут включать в себя соответствующие оценки 1302 достоверности ответов, которые представляют 1300 доверительных отношений системы обеспечения качества в каждом сгенерированном ответе.

[0165]
Например, модуль 1304 сортировщика ответов может быть сконфигурирован для сортировки первого набора ответов по первой категории ответов и второго набора ответов по второй категории ответов. Набор 1306 доверительных баллов категории ответов, соответствующий первому набору ответов, может быть отсортирован в первую категорию ответов. Набор 1308 доверительных баллов категории ответов, соответствующий второму набору ответов, может быть отсортирован во вторую категорию ответов.

[0166]
Система классификатора ответов может быть сконфигурирована для управления доверительными данными в системе 1300 обеспечения качества. В вариантах осуществления система 1310 классификатора ответов может быть сконфигурирована для приема оценок достоверности 1306, 1308 категории ответа в качестве входных данных. В вариантах осуществления система классификатора ответов может быть сконфигурирована для классификации доверительных оценок в доверительных показателях категории ответов в одно или несколько сегментов, описанных далее в данном документе. Например, на фиг. 13, классификатор 1310 ответов можно видеть, получая оценки 1308 достоверности категории ответа в качестве входных данных и выводя оценки достоверности, отсортированные по одному или нескольким сегментам 1312, 1314, 1316. Описанный далее в данном документе классификатор 1310 ответов может сортировать оценки достоверности категории ответа с использованием статического пороги и / или динамические пороги. Ковши 1312, 1314, 1316 могут включать в себя один или несколько показателей достоверности, помеченных описаниями. Например, на фиг. 13 ведро 1312 помечено как «предпочтительное», ведро 1314 помечено как «для рассмотрения», а ведро 1316 помечено как «не рекомендуется». В вариантах осуществления классификатор 1310 ответов может быть сконфигурирован для классификации ответов на сегменты на основе соответствующего доверительного показателя ответа.

[0167]
Обращаясь теперь к фиг. 14 показана концептуальная схема, иллюстрирующая систему 1400 QA, которая классифицирует ответы по сегментам с использованием множества наборов пороговых значений в соответствии с вариантами осуществления настоящего раскрытия. В вариантах осуществления некоторые или все системы 1400 QA могут быть примерной реализацией классификатора 1310 ответа (фиг. 13). ИНЖИР. 14 изображает систему 1400 QA, включающую в себя модуль 1410 сортировщика ответов, модуль 1401 вычисления порога, модуль 1402 качества ответов и средство 1403 обработки ответов. Как описано в данном документе, модуль 1410 сортировки ответов может быть сконфигурирован для сортировки ответов, сгенерированных в ответ на входной запрос в одну или несколько категорий ответов. Как описано в данном документе, ответы могут включать в себя соответствующие оценки 1404 достоверности ответов, которые представляют 1400 доверительных отношений системы обеспечения качества в каждом сгенерированном ответе.

[0168]
Как описано здесь, ответы и соответствующие оценки достоверности ответов могут служить в качестве входных данных для модуля 1410 сортировщика ответов. В вариантах осуществления модуль 1410 сортировщика ответов может быть таким же или по существу аналогичным системе 414 сортировщика ответов (фиг. 4). Модуль 1410 сортировщика ответов может быть сконфигурирован для сортировки ответов, сгенерированных в ответ на входной запрос, в одну или несколько категорий ответов, таких как категория 1412 ответов. Категория 1412 ответов может быть такой же или по существу аналогичной, как описано здесь. Категория 1412 ответов может включать в себя набор ответов, отсортированных по категории 1412 ответов модулем 1410 сортировщика ответов. Набор ответов может включать в себя соответствующий набор 1404 оценок достоверности категории ответов, представляющих достоверность системы QA для каждого ответа в категории 1412 ответов. ,

[0169]
Оценки 1404 достоверности ответа могут служить в качестве входных данных для модуля 1401 вычисления порога и модуля 1402 качества ответа. Модуль 1401 вычисления порога может быть сконфигурирован для вычисления пороговых значений 1405 на основе оценок 1404 достоверности ответа. В вариантах осуществления модуль 1402 качества ответа. классифицирует некоторые из 1404 оценок достоверности ответов со статическими порогами и одним или несколькими сегментами. Оценки достоверности ответов, не классифицированные по сегменту модулем 1402 качества ответа, представляют собой неклассифицированные оценки 1407 достоверности ответов. Например, на фиг. На фиг.14 показаны три блока, «предпочтительный» блок 1406, «блок для рассмотрения» 1409 и «не рекомендуемый» блок 1408. Неклассифицированные баллы 1407 достоверности ответа и вычисленные пороги 1405 служат в качестве входных данных для группы 1403 ответа.

[0170]
Модуль 1402 качества ответов и модуль 1401 расчета пороговых значений могут быть сконфигурированы для приема оценок 1404 достоверности ответов. Модуль 1401 расчета пороговых значений и модуль 1402 качества ответов могут принимать оценки 1404 доверительных ответов параллельно или последовательно. В некоторых случаях модуль 1402 качества ответа и модуль 1401 вычисления порогового значения получают оценки 1404 достоверности ответа от компонента системы 1400 QA, такого как генератор 328 ответов (фиг. 3), который генерирует оценки 1404 достоверности ответа, и соответствующие ответы.

[0171]
Модуль 1402 качества ответа может быть сконфигурирован для классификации оценок 1404 достоверности ответа с «предпочтительным» сегментом 1406 и «не рекомендуемым» сегментом 1408 на основе статических пороговых значений. Оценки достоверности ответов, не классифицированные в «предпочтительном» сегменте 1406 или в «нерекомендованном» интервале 1408, представляют собой неклассифицированные оценки 1407 достоверности ответов. Например, модуль 1402 качества ответа может применять пороговые значения качества ответа «0,9» и «0,1». для «предпочтительного» ведра 1406 и «не рекомендуемого» ведра 1408 соответственно. Следовательно, в вариантах осуществления оценки 1404 достоверности ответов выше 0,9 могут быть помещены в «предпочтительный» сегмент 1406, а оценки 1404 достоверности ответов ниже 0,1 могут быть помещены в «нерекомендованный» сегмент 1408. В вариантах осуществления статические пороговые значения определяется до получения 1404 доверительных баллов за ответ. В вариантах осуществления статические пороговые значения могут позволять пользователю устанавливать пороговые значения качества ответа, которые помещают определенные оценки достоверности ответов в конкретный сегмент независимо от значения вычисленных пороговых значений 1405. Например, статические пороговые значения могут переопределять вычисленные пороговые значения 1405, так что статические пороги препятствуют тому, чтобы вычисленные пороги 1405 удаляли некоторые оценки 1404 достоверности ответа из «предпочтительного» сегмента 1406 и / или «не рекомендуемого» сегмента 1408.

[0172]
Статические пороги могут определять границы между сегментами. В некоторых вариантах осуществления статические пороги могут быть определены другим компонентом системы 1400 QA. Например, компонент системы QA может отслеживать, как часто пользователи выбирают ответы, которые выходят за пределы «предпочтительного» сегмента 1406, и соответствующим образом корректировать статические пороги.

[0173]
Модуль 1401 вычисления порога может быть сконфигурирован для вычисления порогов 1405. Вычисленные пороги 1405 могут быть рассчитаны различными способами. Например, чтобы вычислить вычисленные пороговые значения 1405, модуль 1401 вычисления пороговых значений может анализировать доверительные оценки 1404. В вариантах осуществления модуль 1401 вычисления пороговых значений может использовать метод кластеризации данных, такой как оптимизация естественных разрывов Дженка. В некоторых вариантах осуществления модуль 1401 вычисления пороговых значений может идентифицировать пропуски и / или скорости изменений, связанные с оценками достоверности ответа, описанными дополнительно ниже. В вариантах осуществления число вычисленных порогов 1405 меньше, чем количество используемых сегментов (например, один вычисленный порог на границу между сегментами). Например, на фиг. 14, вычисляется первый порог (0,88), который отличает «предпочтительный» сегмент 1406 от «1440» для «рассмотрения». Второй порог (0,42) рассчитывается, который различает «14 для рассмотрения» и «не рекомендуется» ”Сегмент 1408. Таким образом, поскольку используются три сегмента, будут рассчитаны два пороговых значения. Эти пороговые значения могут использоваться группировщиком 1403 ответов для классификации ответов на сегменты, описанные далее в данном документе.

[0174]
В вариантах осуществления группер 1403 ответов применяет вычисленные пороги 1405 к неклассифицированным оценкам 1407 достоверности ответов. Группировщик 1403 ответов может использовать вычисленные пороги 1405, чтобы определить, к какому сегменту принадлежит оценка достоверности ответов из неассоциированных оценок 1407 достоверности ответов. В вариантах осуществления группа 1403 ответа сравнивает каждую из неассоциированных оценок 1407 достоверности ответа с наименьшим из вычисленных порогов 1405. Таким образом, группа 1403 ответа может связывать неассоциированные оценки 1407 достоверности ответа, которые меньше, чем самая низкая из вычисленных порогов 1405 (0,42 в этом примере) с «не рекомендуемым» сегментом 1408. В вариантах осуществления группа 1403 ответа затем связывает все еще неассоциированные оценки достоверности ответа, которые меньше, чем следующий наивысший вычисленный порог 1405 (0,88 в этом примере) с «для сегмент 1409 рассмотрения. В вариантах осуществления оставшиеся оценки достоверности ответа связаны с «предпочтительным» сегментом 1406. В вариантах осуществления оценки достоверности ответа, которые группа 1403 ответа ассоциирует с сегментами, являются дополнением к оценкам достоверности ответа, ранее связанным с сегменты по модулю 1402 качества ответа. Группа 1403 ответа может классифицировать оценки достоверности ответа в ведра безотносительно к порядку оценок достоверности ответа или порядку ведер. В вариантах осуществления группер 1403 ответов может использовать методы, в которых оценки достоверности ответов связаны в сегменты в порядке от наименьшего к наибольшему, от наибольшего к наименьшему или в других различных порядках.

[0175]
Как описано в данном документе, пороговые значения качества ответа могут переопределять вычисленные пороговые значения 1405. Например, предположим, что более низкие статические пороговые значения, используемые модулем 1402 качества ответа, были «меньше 0,5». Модуль 1402 качества ответа может связывать оценки достоверности ответа 1404 из 0,43, 0,42, 0,15, 0,08 и 0,07 с «не рекомендуемым» сегментом 108, несмотря на тот факт, что группа 1403 ответа может связывать значения 0,43 и 0,42 с «для рассмотрения». Блок 1409 на основе вычисленных порогов 1405. В некоторых случаях система 1400 QA может иметь рассчитанные пороги, перекрывающие пороги качества ответа. Например, если все возвращенные ответы имеют показатель достоверности ответов в диапазоне от 0,9 до 1,0, система 1400 QA может выбрать, чтобы рассчитанные пороговые значения переопределяли пороговые значения качества ответа, чтобы все ассоциированные возвращенные ответы не связывались с «предпочтительным». ведро 106.

[0176]
Обращаясь теперь к фиг. 15 показана блок-схема последовательности операций, иллюстрирующая примерные операции для ассоциирования оценок достоверности категории ответа с сегментами, в соответствии с вариантами осуществления настоящего раскрытия. На этапе 1501 количество сегментов может быть определено из данных конфигурации. В вариантах осуществления имеется по меньшей мере два ведра. В некоторых вариантах конкретное количество ковшей может варьироваться. Например, на основании пользовательских экспериментов может быть определено, что определенное количество сегментов является оптимальным для данного сценария или набора сценариев (например, для вопросов из конкретного источника).

[0177]
В некоторых случаях слишком большое количество сегментов может уменьшить потенциальные преимущества сегментов. Например, если для каждого ответа было определенное количество сегментов, они могут не генерировать информативное представление ответов. Кроме того, системные ресурсы, такие как скорость процессора и доступная память, могут накладывать практическое ограничение на количество сегментов памяти. Количество сегментов также может быть переменным. Например, количество сегментов может изменяться пропорционально количеству ответов, определенных для конкретного запроса. Как только количество сегментов определено, управление затем может перейти к операции 1502.

[0178]
В некоторых вариантах осуществления можно использовать больше порогов, чем сегментов, чтобы создать набор вложенных сегментов, включающий в себя один или несколько показателей достоверности категории ответа. В вариантах осуществления набор вложенных сегментов может затем быть распределен в сегменты согласно предпочтению распределения пользователя.

[0179]
На этапе 1502 может быть получен набор доверительных оценок категории ответа. Как описано в данном документе, набор доверительных оценок категории ответов может быть доверительными оценками, соответствующими ответам, отсортированным по категории ответов. Как описано здесь, каждый показатель достоверности ответа может быть связан с ответом. Оценка достоверности ответа может быть указана различными способами. Например, доверительные оценки ответов могут быть заданы в виде процентов (или долей 100), целых чисел в определенном диапазоне и т. Д. После получения доверительных оценок ответов управление может затем перейти к операции 1504.

[0180]
На этапе 1504 может быть определено, существует ли больше оценок достоверности ответов, чем сегментов. Количество сегментов — это количество, определенное на этапе 1501. В вариантах осуществления количество оценок достоверности ответов равно количеству оценок достоверности ответов, полученных на этапе 1502. В вариантах осуществления, если имеется больше оценок достоверности ответов, чем сегментов, управление может затем переходим к операции 1618 на фиг. 16. Если достоверности ответов не больше, чем сегментов, управление может затем перейти к операции 1506.

[0181]
В вариантах осуществления на этапе 1506 начинается цикл, в котором повторяется каждый показатель достоверности ответа. Оценка достоверности ответа, в настоящее время повторяемая, может именоваться далее как «выбранная оценка достоверности ответа». В вариантах осуществления во время операции 1506 первого прохода выбранный показатель достоверности ответа инициализируется первым показателем достоверности ответа. На каждой последующей операции 1506 сквозного прохождения выбранная оценка достоверности ответа может обновляться, чтобы быть следующей оценкой достоверности ответа. В вариантах осуществления цикл продолжается до тех пор, пока все оценки достоверности ответов не будут повторены. В вариантах осуществления после того, как выбранный показатель достоверности ответа был инициализирован или обновлен, управление может затем перейти к операции 1508.

[0182]
В вариантах осуществления на этапе 1508 начинается вложенный цикл, в котором набор статических порогов повторяется. В вариантах осуществления статические пороги повторяются от наименьшего к наибольшему. Текущий статический порог, итерируемый в настоящее время, далее может упоминаться как «выбранный статический порог». Статические пороги могут использоваться для различения одного сегмента от другого. Как описано в данном документе, статические пороговые значения могут быть введены пользователем, могут быть вычислены на основе количества сегментов и т. Д. В некоторых вариантах осуществления может использоваться количество блоков, отличное от количества, определенного на этапе 1501. В вариантах осуществления во время операции 1508 начального сквозного прохождения после операции 1506 выбранный статический порог может быть инициализирован до самого низкого статического порога. На каждой последующей сквозной операции 1508 выбранный статический порог может обновляться, чтобы быть следующим наибольшим статическим порогом. В вариантах осуществления цикл продолжается до тех пор, пока выбранный показатель достоверности ответа не станет меньше выбранного статического порога. В вариантах осуществления цикл будет повторно инициализироваться на каждой итерации цикла, начинающегося на операции 1506. После того как выбранный статический порог был инициализирован или обновлен, управление может затем перейти к операции 1510.

[0183]
В вариантах осуществления на этапе 1510 определяется, меньше ли выбранный показатель достоверности ответа, чем выбранный статический порог. Например, выбранный показатель достоверности ответа сравнивается с выбранным статическим порогом. Если показатель достоверности ответа не меньше, чем выбранный статический порог, управление может затем вернуться к операции 1508. В вариантах осуществления, если показатель достоверности ответа меньше, чем выбранный статический порог, вложенный цикл завершается, и управление затем переходит к операции 1512.

[0184]
В вариантах осуществления на этапе 1512 выбранный показатель достоверности ответа ассоциируется с сегментом, соответствующим выбранному статическому порогу. Например, если вложенный цикл в операции 1508 прошел две итерации, то выбранный показатель достоверности ответа становится связанным с сегментом, соответствующим второму наибольшему статическому порогу. Оценка достоверности ответа может быть связана с сегментом путем вставки оценки достоверности ответа или указателя на оценку достоверности ответа в структуру данных, представляющую сегмент, вставку в структуру данных, представляющую оценку достоверности ответа, идентификатора для связанной группы, и т. д. Как только выбранный показатель достоверности ответа был связан с сегментом, управление может затем перейти к операции 1516.

[0185]
В вариантах осуществления на этапе 1516 определяется, существует ли дополнительный показатель достоверности ответа. Если существует дополнительная оценка достоверности ответа, которая не была связана с сегментом, управление может затем вернуться к операции 1506. В вариантах осуществления, если все оценки достоверности ответа были связаны с сегментом, тогда цикл, начинающийся на 1506, завершается, и процесс завершается, и процесс заканчивается.

[0186]
Обращаясь теперь к фиг. 16 показана блок-схема последовательности операций, иллюстрирующая примерные операции для связи ответов с сегментами, в соответствии с вариантами осуществления настоящего раскрытия. В вариантах осуществления управление переходит к операции 1618, если это было определено, на операции 1504 по фиг. 15, что есть больше оценок достоверности ответов, чем ведра.

[0187]
В вариантах осуществления на этапе 1618 алгоритм кластеризации может использоваться для определения динамических порогов. Динамические пороговые значения могут быть определены на основе полученных оценок достоверности ответов и могут быть разными для разных наборов оценок достоверности ответов. Динамические пороги могут быть определены несколькими способами. Например, динамические пороги могут быть определены с помощью метода кластеризации данных, такого как оптимизация естественных разрывов Дженка. В некоторых примерах динамические пороговые значения могут быть определены с использованием методов, которые включают в себя идентификацию пробелов и / или скоростей изменений, связанных с оценками достоверности ответов.

[0188]
Например, размер разрывов между доверительными интервалами ответов можно проанализировать на наличие разрывов, превышающих определенный порог. Размер разрывов можно сравнить, например, со стандартным отклонением всех разрывов. Кроме того, можно рассчитать среднюю дисперсию между оценками достоверности ответов, а разрывы можно сравнить со средней дисперсией. В качестве пороговых значений можно использовать доверительные баллы ответа с пропусками, большими или равными средней дисперсии или стандартному отклонению. В некоторых вариантах осуществления динамические пороги могут быть определены путем определения множества промежутков, причем каждый промежуток из множества промежутков расположен между последовательными доверительными оценками доверительных оценок. Динамические пороговые значения могут быть определены путем определения стандартного отклонения, связанного с множеством промежутков, и определения того, что часть множества промежутков больше или равна стандартному отклонению. В вариантах осуществления часть множества промежутков является пороговой.

[0189]
В некоторых вариантах осуществления динамические пороги могут быть определены путем определения множества изменений скорости. Каждое изменение скорости из множества изменений скорости может быть изменением скорости между последовательными доверительными оценками доверительных оценок. Динамические пороговые значения могут быть определены путем определения части множества изменений скорости, чтобы быть наибольшей из множества изменений скорости. В вариантах осуществления часть может использоваться в качестве динамического порога.

[0190]
В вариантах осуществления динамические пороги связаны с сегментами на основе количества сегментов и динамических порогов. В некоторых вариантах осуществления динамические пороги могут использоваться для определения дополнительных сегментов.

[0191]
В вариантах осуществления на этапе 1620 начинается цикл, в котором повторяется каждый показатель достоверности ответа. В вариантах осуществления на этапе 1622 начинается вложенный цикл, в котором повторяется каждый статический критерий. Критерии качества ответов могут позволять связывать оценки достоверности ответов с определенным сегментом независимо от других оценок достоверности ответов. Критерии качества ответа могут быть сгенерированы модулем системы обеспечения качества. В некоторых вариантах осуществления это можно определить по данным конфигурации.

[0192]
Например, данные конфигурации могут указывать, что оценки достоверности ответов ниже 0,3 должны быть помещены в «не предпочтительный» сегмент. Следовательно, в вариантах осуществления оценки достоверности ответов, меньшие 0,3, будут помещены в «не предпочтительный» сегмент, даже если показатель достоверности ответов будет связан с другим сегментом на основе порогов, определенных в операции 1618.

[0193]
В вариантах осуществления критерии качества ответа могут состоять из числовых параметров, таких как диапазоны или большие или меньшие, чем значения. В некоторых вариантах осуществления критерии качества ответа могут быть нечисловыми параметрами. Например, ответ, в дополнение к тому, что он связан с оценкой достоверности ответа, может быть связан с другими параметрами данных, такими как, является ли ответ известным хорошим ответом, количество раз, когда ответ был просмотрен, или количество доказательств, подтверждающих ответ. Примером другого статического критерия являются «ответы, которые были просмотрены более 100 раз». Выполнение такого критерия может привести, например, к тому, что оценка достоверности ответов будет помещена в «предпочтительное» ведро. Кроме того, например, если ответ является известным хорошим ответом, он может автоматически помещаться в «предпочтительный» сегмент или, наоборот, известный неправильный ответ в «не предпочтительный» набор. Кроме того, статический критерий может заключаться в том, что если ответ поддерживается только небольшим количеством свидетельств, то он может быть связан с корзиной «для рассмотрения». В вариантах осуществления доказательством, поддерживающим ответ, может быть текст из документа, расположенного в корпусе, доступном для системы обеспечения качества.

[0194]

В вариантах осуществления на этапе 1624 определяется, соответствует ли показатель достоверности ответа статическому критерию. Если показатель достоверности ответа не соответствует статическому критерию, управление переходит к операции 1625. В вариантах осуществления, если показатель достоверности ответа действительно соответствует статическому критерию, управление затем переходит к операции 1626.

[0195]
На этапе 1625 может быть определено, существует ли дополнительный статический критерий. Если имеется дополнительный статический критерий, управление может вернуться к операции 1622. Если каждый статический критерий был сравнен с выбранной оценкой достоверности ответа, то вложенный цикл, начинающийся на операции 1622, заканчивается, и управление затем может перейти к операции 1628.

[0196]
В вариантах осуществления управление может переходить к операции 1626, если на операции 1624 было определено, что показатель достоверности ответа действительно соответствует статическому критерию. На этапе 1626 оценка достоверности ответа может быть связана с сегментом, соответствующим статическому критерию. Оценка достоверности ответа может быть связана с сегментом путем вставки оценки достоверности ответа или указателя на оценку достоверности ответа в структуру данных, представляющую сегмент. В некоторых примерах ассоциирование оценки достоверности ответа с сегментом может включать в себя вставку идентификатора для ассоциированного сегмента в структуру данных, которая указывает оценку достоверности ответа. Как только показатель достоверности ответа был связан с сегментом, управление может затем перейти к операции 1628.

[0197]
В вариантах осуществления управление переходит к операции 1628, если на операции 1625 было определено, что не было никаких дополнительных критериев качества ответа. В вариантах осуществления управление также переходит к операции 1628 из операции 1626. На операции 1628 может быть определено, существует ли дополнительный показатель достоверности ответа. В вариантах осуществления, если имеется дополнительная оценка достоверности ответа, тогда управление возвращается к операции 1620. Если оценки достоверности ответа были оценены по критериям качества ответа, то цикл, начинающийся в 1620, заканчивается, и управление может затем переходить к операции 1630.

[0198]
В вариантах осуществления на этапе 1630 начинается цикл, в котором повторяется каждый неассоциированный показатель достоверности ответа. В вариантах осуществления неассоциированные оценки достоверности ответов являются теми, которые не были связаны с сегментом на этапе 1626.

[0199]
В вариантах осуществления на этапе 1632 начинается вложенный цикл, в котором каждый вычисленный порог повторяется. Рассчитанные пороговые значения могут повторяться от наименьшего к наибольшему.

[0200]
В вариантах осуществления на этапе 1634 определяется, меньше ли показатель достоверности несвязанного ответа, чем динамический порог. Если показатель достоверности несвязанного ответа не меньше динамического порога, управление может вернуться к операции 1632. Если показатель достоверности несвязанного ответа меньше динамического порога, вложенный цикл может быть прерван, и управление затем переходит к операции 1636.

[0201]
В вариантах осуществления на этапе 1636 неассоциированный показатель достоверности ответа ассоциируется с сегментом, соответствующим динамическому порогу. Например, если вложенный цикл в операции 1632 прошел две итерации, тогда неклассифицированный показатель достоверности ответа связан с сегментом, соответствующим второму наибольшему динамическому порогу. В вариантах осуществления неассоциированная оценка достоверности ответа может быть связана с сегментом путем вставки оценки достоверности ответа или указателя на оценку достоверности ответа в структуру данных, представляющую сегмент, вставку в структуру данных, представляющую оценку достоверности ответа, идентификатор для ассоциированный сегмент и т. д. В вариантах осуществления, после того, как несвязанный показатель достоверности ответа был ассоциирован с сегментом, управление затем переходит к операции 1638.

[0202]
В вариантах осуществления на этапе 1638 определяется, существует ли дополнительный неассоциированный показатель достоверности ответа. Если существует дополнительная неассоциированная оценка достоверности ответа, которая не была сравнена с динамическими порогами, управление может затем вернуться к операции 1630. В вариантах осуществления, если все неассоциированные оценки достоверности ответа были связаны с сегментом, то цикл, начинающийся на 1630, завершается и процесс заканчивается.

[0203]
Обращаясь теперь к фиг. 17 показана концептуальная схема, иллюстрирующая систему 1700 QA, которая распределяет ответы, классифицированные в соответствии с сегментами, в соответствии с вариантами осуществления настоящего раскрытия. Система 1700 может включать в себя классификатор 1704 ответа и распределитель 1712 ведра.

[0204]
Классификатор 1704 ответа может быть сконфигурирован для приема оценок 1702 достоверности категории ответа в качестве входных данных и вывода оценок достоверности, классифицированных в сегменты 1706, 1708, 1710. Группы 1706, 1708 и 1710 могут быть такими же или по существу аналогичными, как описано в данном документе. Как описано в данном документе, ведро 1706 может быть помечено как «предпочтительное» ведро, ведро 1708 может быть «для рассмотрения ведром», а ведро 1710 может быть «не рекомендуемым» ведром. Классификатор 1704 ответа может быть сконфигурирован для классификации доверительных оценок в одном или нескольких сегментах с использованием статических порогов и / или динамических порогов, как описано здесь. В вариантах осуществления классификатор 1704 ответов может быть таким же или по существу аналогичным, как описано в данном документе.

 

[0205]
Распределитель 1712 ведер может быть сконфигурирован для анализа сегментов 1706, 1708, 1710 и распределения доверительных баллов среди сегментов на основе предпочтительного распределения доверительных баллов. Как описано в данном документе, если слишком много доверительных оценок размещено в одном или нескольких сегментах, это может уменьшить преимущества использования групп для организации доверительных оценок. Таким образом, распределитель 1712 сегментов может быть выполнен с возможностью перераспределения оценок достоверности между сегментами на основе предпочтительного распределения оценок достоверности.

[0206]
В вариантах осуществления распределитель 1712 ковшей может быть выполнен с возможностью приема ковшей 1706, 1708, 1710 в качестве входных данных. Распределитель 1712 ведер может быть сконфигурирован для анализа каждого из ведер 1706, 1708, 1710 для определения количества показателей достоверности, отсортированных в каждом ведре. Распределитель 1712 сегментов может быть сконфигурирован для определения того, достигает ли количество оценок достоверности, отсортированных в одном или нескольких проанализированных сегментах, пороговое значение распределения. Порог распределения может быть значением, представляющим процент оценок доверия в одном сегменте по отношению к общему количеству оценок доверия 1702 категории ответа. В вариантах осуществления число оценок доверия достигает порогового значения, если число оценок доверия превышает порог распределения , Например, в вариантах осуществления порог распределения может быть выбран равным 70%, так что если один из сегментов содержит более 70% от общего числа 1702 баллов достоверности категории ответа, то сегмент достигает порога распределения.

[0207]
Например, распределитель 1712 ведра может принимать ведра 1706, 1708 и 1710 в качестве входных данных и определять, что ведро 1710 содержит одиннадцать оценок достоверности из общего числа пятнадцати оценок достоверности. Таким образом, распределитель 1712 ведра может определить, что ведро 1710 содержит 73% оценок достоверности и что ведро 1712 достигает порога распределения 70%.

[0208]
Распределитель 1712 сегментов затем может быть сконфигурирован для перераспределения оценок достоверности в «большом» сегменте (сегменте, который достигает порога распределения) в ответ на определение того, что количество показателей достоверности достигает порога распределения. В вариантах осуществления распределитель 1712 ковша может быть сконфигурирован для выполнения кластерного анализа ковша для определения естественных разрывов внутри ковша. В вариантах осуществления распределитель 1712 ведра может выполнять кластерный анализ таким же или по существу аналогичным образом, как описано здесь со ссылкой на классификатор 1310 ответов (фиг. 13). Например, в вариантах осуществления ведро 1710 разбито на три вспомогательных ведра 1714, 1716 и 1718 распределителем 1712 ведра.

[0209]
В вариантах осуществления, распределитель 1712 ведра затем может быть сконфигурирован для классификации вложенных ведер в одно или более из ведер 1706, 1708 и 1710. В вариантах осуществления распределитель 1712 ведра может быть сконфигурирован для повышения, понижения или поддержания показателей достоверности в под-ведрах. В вариантах осуществления распределитель ковшей может классифицировать суб-ковши на основе ковша, из которого были сформированы суб-ковши. В вариантах осуществления распределитель 1712 ковшей может перемещать под ковши в ведра, смежные с оригинальным ведром. Например, когда вспомогательные ведра 1714, 1716 и 1718 были сформированы из «не рекомендуемого» ведра 1710. Таким образом, вспомогательные ведра могут быть повышены до «для рассмотрения» ведра 1708 или сохранены в «нерекомендованном» ведре 1710 В вариантах осуществления распределитель 1712 ведра не может удалить все показатели достоверности из большого ведра. Например, на фиг. 17, некоторые доверительные оценки должны сохраняться в «нерекомендованном» ведре 1710. Таким образом, распределитель 1712 ведра может быть сконфигурирован так, чтобы поддерживать третий вспомогательный ковш 1718 в «нерекомендованном» ведре 1710.

[0210]
В вариантах осуществления распределитель 1712 сегментов может быть сконфигурирован для классификации вложенных блоков в одно или несколько сегментов на основе предпочтения распределения. В вариантах осуществления предпочтение распределения может быть введенным пользователем предпочтением относительно того, какой сегмент является предпочтительным для доверительных оценок. Например, если было бы предпочтительным, чтобы большее количество доверительных баллов, как правило, включалось в корзину 1708 «для рассмотрения», поскольку ответы в корзине 1708 «для рассмотрения» с большей вероятностью будут рассматриваться пользователем, чем ответы в «нет» рекомендуется »ведро 1710.
[0211]
Распределитель 1712 сегментов может классифицировать вложенные сегменты в сегменты на основе количества показателей достоверности, которые будут в каждом сегменте после классификации, и предпочтения распределения. Например, распределитель 1712 ведра может определить, что классификация второго вспомогательного ведра 1716 с третьим вспомогательным ведром 1718 приведет к тому, что «не рекомендуемое» ведро 1710 будет больше, чем «для рассмотрения» ведро 1708. Кроме того, распределитель ведра 1712 может определить, что классификация первого и второго вложенных ведер 1714, 1716 в ведро 1708 «для рассмотрения» приведет к тому, что ведро 1708 «для рассмотрения» будет больше, чем «не рекомендуемое ведро». Таким образом, поскольку распределитель 1712 ведра имеет предпочтительное распределение для ковша 1708 «для рассмотрения», распределитель 1712 ведра выберет классификацию первого и второго вспомогательных ковшей 1714, 1716 в ковш 1708 «для рассмотрения».

[0212]
ИНЖИР. 18 показана блок-схема последовательности операций, иллюстрирующая способ 1800 для оценки последовательностей ответов в соответствии с вариантами осуществления настоящего раскрытия. Аспекты фиг. 18 направлены на определение набора правил оценки для первой последовательности ответов и использование набора правил оценки для генерации оценки оценки последовательности для первой последовательности ответов. Способ 1800 может начинаться в блоке 1802 и заканчиваться в блоке 1812. В соответствии с различными вариантами осуществления способ 1800 может включать в себя блок 1804 приема, блок 1806 идентификации, блок 1808 определения и блок 1810 генерации.

[0213]
В соответствии с различными вариантами осуществления, на этапе 1804 способ 1800 может включать в себя прием набора последовательностей ответов, включающих в себя первую последовательность ответов. Как описано в данном документе, последовательность ответов может представлять собой последовательность, последовательность или последовательность из одного или нескольких ответов (например, первый набор ответов). Расположение ответов в первой последовательности ответов может быть связано с положительным воздействием (например, преимуществами производительности и эффективности) по сравнению с другими порядками или конфигурациями ответов. В определенных вариантах осуществления набор последовательностей ответов может быть принят от пользователя через визуальный интерфейс пользователя, сконфигурированный для приема пользовательских вводов. Например, пользователь может вручную ввести желаемую последовательность ответов через визуальный интерфейс пользователя или выбрать одну из набора возможных последовательностей ответов. В определенных вариантах осуществления набор последовательностей ответов может быть получен посредством одного из способов или систем, описанных в данном документе. Например, в некоторых вариантах осуществления способ 1800 может принимать набор последовательностей ответов от системы 1102 обнаружения последовательностей ответов или системы 1126 генерации последовательностей ответов по фиг. 11. В определенных вариантах осуществления способ 1800 может принимать набор последовательностей ответов в ответ на определение одной или нескольких последовательностей ответов в блоке 1010 на фиг. 10.

[0214]
В соответствии с различными вариантами осуществления, на этапе 1806 способ 1800 может включать в себя идентификацию набора оценок, связанных с первым набором ответов. Как правило, набор оценок может включать в себя данные, такие как цифры, буквы или символы, которые представляют собой количественный показатель качества, достоверности, эффективности, успеха или релевантности конкретного ответа из набора ответов. Например, в определенных вариантах осуществления набор оценок может включать в себя доверительные оценки, которые представляют надежность ответа или набор ответов в системе ответов на вопросы. Как описано в данном документе, в определенных вариантах осуществления набор оценок может быть связан с первым набором ответов. Более конкретно, каждый ответ из первого набора ответов может иметь ассоциированную заданную оценку достоверности. В определенных вариантах осуществления каждый ответ может иметь несколько ассоциированных оценок (например, с условиями, определяющими обстоятельства, при которых должна использоваться определенная оценка). Идентификация набора оценок может включать использование технологии обработки на естественном языке, сконфигурированной для анализа структурированных и неструктурированных данных, связанных с первым набором ответов, и извлечение набора оценок.

[0215]
Рассмотрим следующий пример. В некоторых вариантах осуществления способ 1800 может на этапе 1804 принимать первую последовательность ответов. Как описано в данном документе, первая последовательность ответов может быть связана с предметом, таким как садоводство. Кроме того, в определенных вариантах осуществления первая последовательность ответов может включать в себя одну или несколько категорий ответов. Категории ответов могут быть разделами или классами концепций или идей, которые включают в себя один или несколько ответов из первого набора ответов. Категории ответов могут относиться к предмету последовательности ответов. В качестве примера, в определенных вариантах осуществления первая последовательность ответов может относиться к последовательности шагов для выращивания дерева бонсай. В частности, первая последовательность ответов может включать в себя категории ответов, такие как «Горшок», «Выбор места», «Полив» и «Кормление». В каждой категории ответов может быть несколько разных ответов, таких как методы и рекомендуемые процедуры. за каждый шаг последовательности ответов. Например, «Горшок» может включать такие ответы, как «Горшок весной», «Горшок, когда распускаются почки» и «Горшок, когда температура превышает 76 градусов по Фаренгейту», и «Полив» может включать в себя такие ответы, как « Поливайте, когда верхний сантиметр почвы сухой »и« Поливайте, когда корни раскручиваются ». Как описано в настоящем документе, каждый из ответов может иметь соответствующую оценку (например, значение достоверности), которая представляет достоверность ответа. В некоторых вариантах осуществления оценка может быть целым числом от 1 до 100, где более низкие числа связаны с относительно небольшой надежностью, а более высокие числа связаны с относительно большей надежностью. Например, ответ «Горшок весной» может быть связан со счетом 84, «Горшок, когда распускаются почки», может быть связан со счетом 64, и «Горшок, когда температура превышает 76 градусов» Фаренгейт »может быть связан с оценкой 47. Точно так же« Вода, когда верхний сантиметр почвы сухой »может быть связана с оценкой 89, а« Вода, когда корни разлетаются », может быть связана с оценкой достоверности 39 ,

[0216]
В соответствии с различными вариантами осуществления, на этапе 1808 способ 1800 может включать в себя определение, на основе предмета, соответствующего первой последовательности ответов, набора правил оценки. Как описано в данном документе, в определенных вариантах осуществления первая последовательность ответов может соответствовать предмету. Предмет может включать в себя контент или данные, относящиеся к конкретной теме, теме или концепции. В качестве примеров предметом может быть литература 19-го века, полупроводники, хайку или деревообработка. Набор правил оценки может быть группой установленных принципов, руководств или правил, которые могут использоваться для оценки набора ответов определенной последовательности ответов и определения общего балла оценки последовательности ответов для первой последовательности ответов.

[0217]
В некоторых вариантах осуществления определение набора правил оценки для генерации оценки оценки последовательности может быть основано на предмете первой последовательности ответов. Более конкретно, на этапе 1808 способ 1800 может включать в себя выбор одного или нескольких наборов правил оценки на основе характеристик предмета, которые предполагают, что определенный набор правил оценки является подходящим. Например, аспекты настоящего раскрытия относятся к признанию того, что в определенных ситуациях могут быть преимущества, связанные с оценкой последовательности ответов по первому предмету с особой осторожностью (например, лечение, онкология, инвестиционные планы), а ответ Последовательности для других предметов (выпечка пирожных, пошив шарфов), возможно, не нужно оценивать с такой же осторожностью. Кроме того, в определенных ситуациях конкретный набор правил оценки может быть желательным в сценариях, когда имеется определенная соответствующая информация, касающаяся предмета. Соответственно, аспекты настоящего раскрытия направлены на определение набора правил оценки на основе характеристик предмета.

[0218]
Соответственно, в определенных вариантах осуществления определение набора правил оценки может включать в себя вычисление значения предостережения для первой последовательности ответов. В некоторых вариантах осуществления значение предостережения может основываться на предмете. Как правило, значение предостережения может быть количественным показателем серьезности, потенциального риска или серьезности, связанной с конкретным предметом. В некоторых вариантах осуществления значение предостережения может быть целым числом от 1 до 100, где более низкие числа указывают на более низкую степень предостережения, а более высокие числа указывают на более высокую степень предостережения. Как описано в данном документе, в определенных вариантах осуществления значение предостережения может быть вычислено с использованием технологии обработки на естественном языке, сконфигурированной для анализа семантического и синтаксического содержимого, связанного с первой последовательностью ответов. Например, в определенных вариантах осуществления методика обработки естественного языка может быть сконфигурирована для анализа совокупности данных предмета, относящихся к первой последовательности ответов. В некоторых вариантах осуществления вычисление значения предостережения может включать в себя использование техники обработки на естественном языке для идентификации слов, которые указывают, что при рассмотрении заданной последовательности ответов используется определенная степень предосторожности (например, «риск», «опасность», «авария», «Осторожный», «внимательный», «операция», «травма», «серьезный», «угроза», «опасность», «рак».) Кроме того, в некоторых вариантах осуществления способ 1800 может включать в себя сравнение семантического содержания для первого последовательность ответов с онтологической структурой структурированных отношений для определения конкретных предметов, которые были отмечены как «серьезные» (например, онкология, хирургия, инвестиции, суровая погода). Другие методы вычисления значения предостережения также возможны.

[0219]
В некоторых вариантах осуществления в ответ на вычисление значения предостережения для первой последовательности ответов способ 1800 может включать в себя сравнение значения предостережения с первым порогом предостережения. Первый порог предостережения может быть заданным значением предостережения, которое при превышении подсказывает выбор первого правила оценки. В качестве примера, в некоторых вариантах осуществления первый порог предостережения может быть 64. Соответственно, первая последовательность ответов с вычисленным значением предостережения 67 достигает первого порога предостережения 64 и может предлагать выбор первого правила оценки.

[0220]
В некоторых вариантах осуществления первое правило оценки может включать в себя идентификацию первой оценки из набора оценок, объединенного с первым набором ответов. В некоторых вариантах осуществления первая оценка может не достигать (например, быть ниже) первого порога оценки. В качестве примера, в некоторых вариантах осуществления оценки, связанные с первым набором ответов, могут быть распределены по квинтилям оценок, причем каждый квинтиль представляет 20% диапазона оценок, связанных с первым набором ответов. Например, для первой последовательности ответов, имеющей четыре ответа с оценками 0, 34, 51 и 100, могут быть созданы квинтили оценки для охвата диапазонов оценок 1-20, 21-40, 41-60, 61-80 и 81-100. В некоторых вариантах осуществления первый порог оценки может быть значением, соответствующим 20% самого низкого квинтиля. В некоторых вариантах осуществления первый порог оценки может составлять 1% от самого низкого квинтиля. Другие способы установки первого порога оценки также возможны. В некоторых вариантах осуществления первый порог оценки может быть на 5% больше, чем наименьшая оценка, включенная в первый набор ответов. Соответственно, как описано в данном документе, на этапе 1810 способ 1800 может включать в себя назначение первой оценки первой последовательности ответов в качестве оценки оценки последовательности. Аспекты настоящего раскрытия в некоторых вариантах осуществления направлены на выбор наименьшей оценки из набора оценок и ее присвоение первой последовательности ответов в качестве оценки оценки последовательности. Такая конфигурация может быть связана с преимуществами, такими как предоставление (например, пользователю) консервативного прогноза для первой последовательности ответов.

[0221]
Как описано в настоящем документе, аспекты настоящего раскрытия направлены на выбор второго правила оценки для оценки первой последовательности ответов. В некоторых вариантах осуществления второе правило оценки может быть выбрано в ответ на определение того, что значение предостережения для первой последовательности ответов не достигает второго порога предостережения. Как описано в данном документе, второе пороговое значение предостережения может представлять собой заранее определенное значение предостережения, которое при превышении подсказывает выбор второго правила оценки. В определенных вариантах осуществления второй доверительный порог может быть равен первому доверительному порогу. Определение того, что значение предостережения не достигает второго порога предостережения, может включать в себя сравнение значения предостережения со вторым порогом предостережения. Например, в ситуации, когда второй порог предостережения равен 71, значение предостережения 44 может не достичь второго порога предостережения.

[0222]
В ответ на определение того, что значение предостережения не достигает второго порога предостережения, способ 1800 может включать в себя выбор второго правила оценки. В некоторых вариантах осуществления второе правило оценки может включать в себя вычисление совокупного балла для первой последовательности ответов на основе первого набора баллов. Как правило, совокупный балл может быть кумулятивным или составным баллом, сгенерированным с использованием первого набора баллов. Например, совокупный балл может быть рассчитан с использованием статистического алгоритма, такого как алгоритмы противогармонического среднего, алгоритмы квадратичного среднего, алгоритмы арифметического среднего, алгоритмы геометрического среднего и тому подобное. В качестве основного примера, для первой последовательности ответов с набором баллов, включающим в себя 38, 27, 95 и 74, способ 1800 может включать в себя использование алгоритма среднего значения для гармоник, чтобы сгенерировать совокупный балл 71,3 для первой последовательности ответов. В вариантах осуществления способ 1800 может включать в себя вычисление среднего арифметического 58,5. Другие алгоритмы и другие методы расчета совокупного балла также возможны. Соответственно, как описано в данном документе, аспекты настоящего раскрытия направлены на вычисление совокупной оценки и назначение ее первой последовательности ответов в качестве оценки оценки последовательности (например, на этапе 1810 способа 1800). Такая конфигурация может быть связана с такими преимуществами, как предоставление всеобъемлющего общего отчета о надежности первой последовательности ответов.

[0223]
В определенных вариантах осуществления аспекты настоящего раскрытия направлены на выбор третьего правила оценки для оценки первой последовательности ответов. Аспекты третьего правила оценки направлены на обеспечение всесторонней, уточненной оценки первой последовательности ответов. Соответственно, в определенных вариантах осуществления аспекты настоящего раскрытия направлены на идентификацию набора категорий ответов, соответствующих набору ответов первой последовательности ответов. Как описано в данном документе, набор категорий ответов может быть разделами или классами концепций или идей, которые включают в себя один или несколько ответов из набора ответов. В некоторых вариантах осуществления набор категорий ответов может относиться к предмету последовательности ответов. Например, для предмета «онкология» способ 1800 может включать в себя определение категорий ответов «эндокринная», «химиотерапия», «облучение» и «хирургия». Как описано в данном документе, категории ответов могут быть идентифицированы с использованием технология обработки естественного языка и, по существу, соответствует блоку 1006 на фиг. 11.

[0224]
В некоторых вариантах осуществления в ответ на идентификацию набора категорий, соответствующих набору ответов первой последовательности ответов, способ 1800 может включать в себя сбор данных контекста для набора категорий. Данные контекста могут указывать на относительную важность первой категории ответов из набора категорий ответов для первой последовательности ответов в целом. Данные контекста могут также указывать относительную важность первой категории ответов по отношению к другим категориям ответов из набора категорий ответов. Как правило, контекстные данные могут включать в себя совокупность текстовых, видео, аудио или других данных, которые предоставляют информацию, касающуюся предыстории, и дополнительные пояснения, уточнения или подробности, касающиеся конкретной категории ответов. В качестве примера, еще раз обращаясь к приведенному выше примеру относительно выращивания деревьев бонсай с категориями ответов «Горшок», «Выбор места», «Полив» и «Кормление», способ 1800 может включать в себя идентификацию контекстной информации, такой как выращивание бонсай. руководства, журнальные статьи в ботанических журналах и пользовательский видеоконтент, относящийся к деревьям бонсай. Другие типы данных контекста также возможны.

[0225]
В определенных вариантах осуществления способ 1800 может включать в себя оценку собранных данных контекста. Например, в определенных вариантах осуществления данные контекста могут оцениваться с использованием технологии обработки естественного языка, сконфигурированной для анализа семантического и синтаксического содержимого данных контекста. Оценка данных контекста может включать в себя оценку содержания данных контекста и определение полезности данных контекста в отношении первой последовательности ответов. Более конкретно, оценка данных контекста может включать в себя определение того, что данные контекста достигают критерия удовлетворения. Критерием удовлетворенности в некоторых вариантах осуществления может быть стандарт или эталон для измерения относительного качества или актуальности собранных данных контекста. Например, критерий удовлетворенности в некоторых вариантах осуществления может включать в себя условие, что контекстные данные включают упоминание об отношении либо к предмету последовательности ответов, к другой категории ответов последовательности ответов, либо к обоим для того, чтобы достичь критерия удовлетворения , Соответственно, журнальная статья (например, данные контекста), которая включает в себя такое предложение, как «Большинство экспертов согласны с тем, что осторожные методы полива являются единственным наиболее важным фактором в воспитании здорового бонсай» может быть определена для достижения критерия удовлетворенности ( Например, упоминание о «выращивании здорового бонсай» в значительной степени аналогично предмету последовательности ответов.) Кроме того, статья в журнале, которая включает в себя такое предложение, как «Несмотря на важность, выращивание и пересадка бонсай не так важны для здоровья». бонсай, который выбирает подходящее для него место », также может быть определено для достижения критерия удовлетворенности (например, упоминалась связь между категориями ответов« горшок »и« выбор места ».) Другие возможные критерии удовлетворенности: также возможно.

[0226]
Соответственно, аспекты настоящего раскрытия в некоторых вариантах осуществления направлены на выбор третьего правила оценки в ответ на определение того, что контекстные данные достигают критерия удовлетворения. Как описано в данном документе, аспекты третьего правила оценки могут быть направлены на обеспечение всесторонней оценки первой последовательности ответов путем использования данных контекста для каждой категории ответов. В некоторых вариантах осуществления третье правило оценки может включать в себя назначение на основе данных контекста весового значения каждой категории ответов набора категорий ответов. Например, для последовательности ответов, имеющей две категории ответов, третье правило может включать в себя назначение первого весового значения для первой категории ответов и второго весового значения для второй категории ответов. Как правило, весовое значение может быть фактором, который обеспечивает количественное представление величины, влияния или значимости конкретной категории по отношению к другим категориям ответов последовательности ответов или последовательности ответов в целом. Весовое значение может быть назначено каждой категории категорий ответов с использованием информации, которая присутствовала в данных контекста. В некоторых вариантах осуществления весовое значение может быть целым числом от 0 до 10. Например, если снова обратиться к приведенному выше примеру, связанному с выращиванием дерева бонсай, категории ответа «Поттинг» может быть присвоено весовое значение 4, и категории ответа «Выбор местоположения» может быть присвоено весовое значение 7 (например, данные контекста указали, что категория ответа «Выбор местоположения» была более значимой, чем категория ответа «Поттинг».)

[0227]
Соответственно, в ответ на назначение весовых значений для каждой категории ответов последовательности ответов способ 1800 может включать в себя вычисление совокупной оценки для последовательности ответов с использованием индивидуальных весовых значений для каждой соответствующей категории ответа. Как описано в данном документе, вычисление совокупного балла для последовательности ответов может использовать статистический алгоритм или другой метод, такой как метод среднего по гармонике, метод среднего геометрического арифметического или тому подобное.

[0228]
В соответствии с различными вариантами осуществления, на этапе 1810 способ 1800 может включать в себя генерирование, на основе набора оценок и набора правил оценки, оценки оценки последовательности для первой последовательности ответов. Как описано в данном документе, оценка оценки последовательности может представлять общую оценку надежности или достоверности первой последовательности ответов и может быть рассчитана и назначена первой последовательности ответов с использованием одного или нескольких наборов правил оценки. Хотя здесь делается ссылка на выбор конкретного правила оценки, также возможны варианты осуществления, объединяющие множество правил оценки, включая те, которые не раскрыты здесь явно.

[0229]
ИНЖИР. 19 является блок-схемой высокого уровня способа 1900 для оценки последовательностей ответов согласно вариантам осуществления. Аспекты фиг. 19 направлены на определение (например, выбор) правила оценки и его использование для вычисления и назначения оценки оценки последовательности для первой последовательности ответов. Как показано на фиг. 19, способ 1900 может на этапе 1902 принимать последовательности ответов. Прием последовательностей ответов на этапе 1902 может по существу соответствовать этапу 1804 приема способа 1800. На этапе 1904 способ 1900 может включать в себя идентификацию набора оценок (например, доверительных значений) для последовательности ответов. Идентификация набора оценок на этапе 1904 может по существу соответствовать этапу 1806 способа 1800.

[0230]
На этапе 1906 аспекты настоящего раскрытия направлены на определение правила оценки. Как описано в данном документе, определение правила оценки для конкретной последовательности ответов может зависеть от характеристик предмета и доступной информации, касающейся последовательности ответов и категорий ответов, которые она включает. В определенных вариантах осуществления, когда доступен значительный объем информации, касающейся последовательности ответов и категорий ответов, может быть выбрано третье правило оценки. В вариантах осуществления, где доступно меньше информации относительно последовательности ответов и категорий ответов, могут быть выбраны первое или второе правила оценки. Также возможны комбинации правил оценки, а также других правил оценки.

[0231]
На этапе 1908 аспекты настоящего раскрытия направлены на вычисление значения предостережения на основе предмета для последовательности ответов. Значение предостережения может быть количественным показателем серьезности, потенциального риска или серьезности, связанной с конкретным предметом. В блоке 1910 принятия решения о пороге предостережения значение предостережения может сравниваться с порогом предостережения. Если значение предостережения больше порога предостережения, первое правило оценки может быть выбрано в блоке 1912. Если значение предостережения меньше порога предостережения, второе правило оценки может быть выбрано в блоке 1916.

[0232]
Как описано здесь, в ответ на выбор первого правила оценки в блоке 1912, в блоке 1914 аспекты настоящего раскрытия направлены на применение первого правила оценки и идентификацию первой оценки из набора оценок, связанных с набором ответов из последовательность ответов. В некоторых вариантах осуществления первая оценка может быть ниже пороговой величины первой оценки. В вариантах осуществления первая оценка может быть самой низкой оценкой из набора оценок. Соответственно, в ответ на выбор первой оценки в блоке 1932 первая оценка может быть назначена последовательности ответов.

[0233]
Как описано в данном документе, если значение предостережения не достигает порогового значения предостережения, аспекты настоящего раскрытия направлены на выбор второго правила оценки на этапе 1916. На этапе 1918 может применяться второе правило оценки, и совокупная оценка может рассчитать для последовательности ответов. Совокупный балл может быть кумулятивным или составным баллом, сгенерированным с использованием первого набора баллов. Например, совокупный балл может быть рассчитан с использованием метода арифметико-геометрического среднего, метода арифметического среднего, метода с контрастной гармоникой или другого статистического алгоритма с использованием первого набора баллов. Соответственно, в ответ на вычисление совокупной оценки в блоке 1932 совокупная оценка может быть назначена последовательности ответов.

[0234]

На этапе 1920 аспекты настоящего раскрытия направлены на идентификацию и фильтрацию набора категорий ответов для последовательности ответов. Категории ответов могут быть разделами или классами концепций или идей, которые включают в себя один или несколько ответов из первого набора ответов. Категории ответов могут относиться к предмету последовательности ответов. В некоторых вариантах осуществления категории ответов могут быть отфильтрованы из последовательности ответов. Например, в блоке 1920 оценка каждого ответа из набора категорий ответов может сравниваться с порогом оценки, и категории ответов, которые не включают в себя ответ, который достигает порога оценки, могут быть удалены из последовательности ответов. Соответственно, такая конфигурация может быть связана с преимуществами, такими как предоставление надежных и уверенных последовательностей ответов (например, плохой ответ или категория ответа может привести к снижению качества последовательности ответов в противном случае).

[0235]
На этапе 1922 аспекты настоящего раскрытия направлены на сбор и оценку данных контекста для набора категорий ответов. Данные контекста могут быть текстовым, аудио, видео или другим контентом, который указывает на относительную важность первой категории ответов по отношению к другим категориям ответов из набора категорий ответов или последовательности ответов в целом. Контекстные данные могут быть получены из совокупности данных, таких как цифровая энциклопедия, журнальные статьи, результаты исследований, исследования и тому подобное. Данные контекста могут оцениваться с использованием технологии обработки естественного языка, сконфигурированной для анализа семантического и синтаксического содержимого данных контекста. На этапе 1924 аспекты настоящего раскрытия направлены на определение того, достигает ли контекстные данные критерия удовлетворения. Критерий удовлетворенности может быть стандартом или эталоном для измерения относительного качества или актуальности собранных контекстных данных.

[0236]
Как описано в данном документе, в ответ на определение того, что контекстные данные достигают критерия удовлетворения, третье правило оценки может быть выбрано на этапе 1926. Аспекты третьего правила оценки могут быть направлены на назначение весовых значений для каждой категории ответа последовательности ответа, и вычисляют совокупную оценку для последовательности ответов с использованием весовых значений. Соответственно, на этапе 1928 может применяться третье правило оценки, и весовые значения могут назначаться каждой категории ответов на основе данных контекста, собранных на этапе 1922.

[0237]
На этапе 1930 аспекты настоящего раскрытия направлены на регулирование весового значения, назначенного каждой категории ответов последовательности ответов. В некоторых вариантах осуществления настройка значения веса, назначенного каждой категории, может включать в себя прием первого набора данных предпочтения ответа от пользователя. Данные предпочтения ответа могут указывать склонность или отклонение (например, от пользователя) для конкретного ответа или категории ответа последовательности ответов. Соответственно, на основе первого набора данных предпочтений ответа, на этапе 1930 могут быть скорректированы весовые значения, назначенные категориям ответов. Например, рассмотрим пример, связанный с лечением рака, в котором человек имеет серьезные возражения против химиотерапии. Соответственно, весовое значение, присвоенное категории ответа химиотерапии, может быть уменьшено. Точно так же для примера, связанного с вариантами инвестирования, у человека может быть сильная склонность к долгосрочным сбережениям. Соответственно, весовое значение, присвоенное категории ответа «сберегательные облигации», может быть увеличено. Возможны и другие способы корректировки весовых значений.

[0238]
На этапе 1932 аспекты настоящего раскрытия направлены на назначение оценки оценки последовательности для последовательности ответов. Как описано в данном документе, оценка оценки последовательности может быть первой оценкой, идентифицированной в блоке 1914 на основе первого правила оценки, совокупной оценкой, вычисленной в блоке 1918 на основе второго правила оценки, вычисленной в блоке 1932 с использованием весовых значений, назначенных на основе третье правило оценки или генерируется с помощью другого метода. Как описано в данном документе, оценка оценки последовательности может представлять общую оценку надежности или достоверности первой последовательности ответов.

[0239]
В определенных вариантах осуществления на этапе 1932 аспекты настоящего раскрытия направлены на изменение оценки оценки последовательности первой последовательности ответов на основе сравнения со второй последовательностью ответов. Иными словами, надежность последовательности ответов может оцениваться относительно содержимого других последовательностей ответов (например, последовательность ответов, которая не включает в себя важную категорию ответов, может быть оштрафована). Соответственно, в определенных вариантах осуществления аспекты настоящего раскрытия предназначены для сравнения последовательности ответов (например, первой последовательности ответов) с другой последовательностью ответов (например, второй последовательности ответов) и идентификации первой категории ответов, которая принадлежит первой последовательности ответов, но отсутствует во второй последовательности ответов. В ответ на определение первой категории ответов может быть определено, что первая оценка в сочетании с первым ответом первой категории достигает первого порога влияния. Как правило, первый порог влияния может быть количественным показателем степени, в которой первая категория ответов влияет на оценку оценки последовательности. В ответ на определение того, что первая оценка достигает первого порога влияния, оценка оценки последовательности второй последовательности ответа может быть модифицирована. Изменение оценки оценки последовательности второй последовательности ответов может включать в себя увеличение, уменьшение или иное регулирование оценки оценки последовательности второй последовательности ответов.

[0240]
Например, рассмотрим еще раз приведенный выше пример, касающийся выращивания дерева бонсай. Как описано в данном документе, первая последовательность ответов может включать в себя категории ответов «заливка», «выбор местоположения», «полив» и «кормление». Вторая последовательность ответов может включать в себя категории ответа «заливка», «выбор местоположения», »И« Кормление ». Соответственно, аспекты настоящего раскрытия направлены на сравнение первой последовательности ответов со второй последовательностью ответов и определение того, что категория ответа« Полив »включена в первую последовательность ответов, но не во вторую последовательность ответов. , Кроме того, определенная категория ответов может быть оценена, чтобы определить, достигает ли первая оценка в сочетании с первым ответом первый порог влияния. В некоторых вариантах осуществления первый порог влияния может составлять 85. Соответственно, для достижения порога влияния может быть определен ответ «Вода, когда верхний сантиметр почвы сухой» с первым значением 89. Поскольку вторая последовательность ответов не включает в себя категорию ответов «Полив», которая включает в себя существенно важный ответ, оценка оценки последовательности второй последовательности ответов может быть уменьшена. В некоторых вариантах осуществления величина уменьшения может быть пропорциональна первой оценке первого ответа (например, чем больше значимость пропущенного ответа, тем больше штрафуется вторая последовательность ответов). В некоторых вариантах осуществления аспекты настоящего раскрытие направлено на использование нулевого значения заполнителя (например, 0) вместо отсутствующей категории ответа во время вычисления оценки оценки последовательности. Другие способы изменения оценки оценки последовательности второй последовательности ответа также возможны.

[0241]
Настоящее изобретение может представлять собой систему, способ и / или компьютерный программный продукт. Компьютерный программный продукт может включать в себя машиночитаемый носитель данных (или носитель), на котором имеются машиночитаемые программные инструкции для побуждения процессора выполнять аспекты настоящего изобретения.

[0242]
Машиночитаемый носитель данных может представлять собой материальное устройство, которое может сохранять и хранить инструкции для использования устройством исполнения команд. Машиночитаемый носитель данных может представлять собой, например, но не ограничиваясь этим, электронное запоминающее устройство, магнитное запоминающее устройство, оптическое запоминающее устройство, электромагнитное запоминающее устройство, полупроводниковое запоминающее устройство или любую подходящую комбинацию вышеперечисленного. Неполный список более конкретных примеров машиночитаемого носителя информации включает в себя следующее: портативная компьютерная дискета, жесткий диск, оперативное запоминающее устройство (RAM), постоянное запоминающее устройство (ROM), стираемое программируемое постоянное чтение. только память (EPROM или флэш-память), статическая память с произвольным доступом (SRAM), портативное постоянное запоминающее устройство (CD-ROM), цифровой универсальный диск (DVD), карта памяти, дискета, механически закодированное устройство, такое как перфокарты или рельефные структуры в канавке, имеющие записанные на нем инструкции, и любую подходящую комбинацию вышеизложенного. Машиночитаемый носитель данных, используемый в данном документе, не должен быть истолкован как временные сигналы как таковые, такие как радиоволны или другие свободно распространяющиеся электромагнитные волны, электромагнитные волны, распространяющиеся через волновод или другие передающие среды (например, световые импульсы, проходящие через волоконно-оптический кабель) или электрические сигналы, передаваемые по проводам.

[0243]
Машиночитаемые программные инструкции, описанные в данном документе, могут быть загружены в соответствующие вычислительные / обрабатывающие устройства с машиночитаемого носителя данных или на внешний компьютер или внешнее запоминающее устройство через сеть, например Интернет, локальную сеть, глобальную сеть и / или беспроводная сеть. Сеть может содержать медные кабели передачи, оптические волокна передачи, беспроводную передачу, маршрутизаторы, межсетевые экраны, коммутаторы, шлюзовые компьютеры и / или пограничные серверы. Карта сетевого адаптера или сетевой интерфейс в каждом вычислительном / обрабатывающем устройстве принимает машиночитаемые программные инструкции из сети и направляет машиночитаемые программные инструкции для хранения на машиночитаемом носителе данных в соответствующем вычислительном / обрабатывающем устройстве.

[0244]
Машиночитаемые программные инструкции для выполнения операций по настоящему изобретению могут быть инструкциями ассемблера, инструкциями архитектуры набора команд (ISA), машинными инструкциями, машинно-зависимыми инструкциями, микрокодом, инструкциями встроенного программного обеспечения, данными установки состояния или либо исходным кодом, либо объектом. код, написанный на любой комбинации одного или нескольких языков программирования, включая объектно-ориентированный язык программирования, такой как Smalltalk, C ++ или тому подобное, и обычные процедурные языки программирования, такие как язык программирования «C» или аналогичные языки программирования. Машиночитаемые программные инструкции могут выполняться полностью на компьютере пользователя, частично на компьютере пользователя, в виде отдельного программного пакета, частично на компьютере пользователя и частично на удаленном компьютере или полностью на удаленном компьютере или сервере. В последнем сценарии удаленный компьютер может быть подключен к компьютеру пользователя через любой тип сети, включая локальную сеть (LAN) или глобальную сеть (WAN), или может быть установлено соединение с внешним компьютером (для Например, через Интернет с использованием интернет-провайдера). В некоторых вариантах осуществления электронная схема, включающая, например, программируемую логическую схему, программируемые пользователем вентильные матрицы (FPGA) или программируемые логические матрицы (PLA), может выполнять машиночитаемые программные инструкции, используя информацию о состоянии машиночитаемых программных команд для персонализации электронная схема, чтобы выполнить аспекты настоящего изобретения.

[0245]
Аспекты настоящего изобретения описаны в данном документе со ссылкой на иллюстрации блок-схем и / или структурные схемы способов, устройств (систем) и компьютерных программных продуктов в соответствии с вариантами осуществления изобретения. Понятно, что каждый блок иллюстраций блок-схем и / или блок-схем, а также комбинации блоков на рисунках блок-схем и / или блок-схемах могут быть реализованы посредством машиночитаемых программных инструкций.

[0246]
Эти машиночитаемые программные инструкции могут быть предоставлены процессору компьютера общего назначения, компьютера специального назначения или другого программируемого устройства обработки данных для производства машины, так что инструкции, которые выполняются через процессор компьютера или другую программируемую обработку данных устройство, создающее средство для реализации функций / действий, указанных в блок-схеме и / или блок-схеме блока или блоков. Эти машиночитаемые программные инструкции также могут храниться на машиночитаемом носителе данных, который может предписывать компьютеру, программируемому устройству обработки данных и / или другим устройствам функционировать определенным образом, так чтобы машиночитаемый носитель информации имел инструкции, хранящиеся в нем. содержит изделие, содержащее инструкции, которые реализуют аспекты функции / действия, указанные в блок-схеме и / или блок-схеме или блоках.

[0247]
Машиночитаемые программные инструкции также могут быть загружены на компьютер, другое программируемое устройство обработки данных или другое устройство, чтобы вызвать выполнение последовательности операций на компьютере, другом программируемом устройстве или другом устройстве для создания процесса, реализуемого компьютером, например что инструкции, которые выполняются на компьютере, другом программируемом устройстве или другом устройстве, реализуют функции / действия, указанные в блок-схеме и / или блок-схеме или блоках.

[0248]
Блок-схема и блок-схемы на чертежах иллюстрируют архитектуру, функциональные возможности и работу возможных реализаций систем, способов и компьютерных программных продуктов в соответствии с различными вариантами осуществления настоящего изобретения. В связи с этим каждый блок в блок-схеме или блок-схемах может представлять модуль, сегмент или часть инструкций, которые содержат одну или несколько исполняемых инструкций для реализации указанных логических функций. В некоторых альтернативных реализациях функции, отмеченные в блоке, могут происходить в порядке, указанном на фигурах. Например, два блока, показанные последовательно, могут фактически выполняться по существу одновременно, или блоки могут иногда выполняться в обратном порядке, в зависимости от задействованных функциональных возможностей. Также следует отметить, что каждый блок иллюстрации блок-схем и / или блок-схем и комбинаций блоков в блок-схемах и / или блок-схемах может быть реализован аппаратными системами специального назначения, которые выполняют указанные функции или действия, или выполнять комбинации специального оборудования и компьютерных инструкций.

[0249]
Описания различных вариантов осуществления настоящего раскрытия представлены в целях иллюстрации, но не предназначены для того, чтобы быть исчерпывающими или ограниченными раскрытыми вариантами осуществления. Многие модификации и варианты будут очевидны для специалистов в данной области техники без отклонения от объема и сущности описанных вариантов осуществления. Используемая здесь терминология была выбрана для объяснения принципов вариантов осуществления, практического применения или технического улучшения по сравнению с технологиями, имеющимися на рынке, или для того, чтобы другие специалисты в данной области техники могли понять варианты осуществления, раскрытые в данном документе.