US 2018/0322121 A1 | Обнаружение и генерация последовательности ответов

Дата патента

08 ноября 2018 года

Изобретатель патента

Kevin S. Barker, Raleigh, NC (US);

Thomas J. Eggebraaten, Rochester, MN (US);

Mark G. Megerian, Rochester, MN (US);

John E. Petri, St. Charles, MN (US)

Аннотация

Аспекты настоящего раскрытия направлены на обнаружение и генерирование последовательностей ответов. Аспекты направлены на синтаксический анализ с помощью техники обработки естественного языка, сконфигурированной для анализа синтаксического и семантического контента, совокупности данных по предмету. Аспекты также направлены на обнаружение первого набора ответов, включающего в себя первый ответ, соответствующий первой категории ответов, и второй набор ответов, включающий второй ответ, соответствующий второй категории ответов. Как первая, так и вторая категории ответа могут относиться к предмету. Аспекты также направлены на идентификацию первого набора данных заказа для первого набора ответов и второго набора ответов. Аспекты также направлены на определение первой последовательности ответов, соответствующей порядку первого набора ответов и второго набора ответов.

Перекрестная ссылка на связанные приложения

Данная заявка является разделенной заявкой на патент США Сер. № 14/570683, поданной 15 декабря 2014 г., в которой испрашивается приоритет по предварительной заявке США № 62 / 075,635, поданной 5 ноября 2014 г., озаглавленной «Управление параметрами в среде вопросов и ответов», полностью включенной в настоящий документ. здесь по ссылке.

Предпосылка

Настоящее раскрытие относится к управлению ответами в среде вопросов-ответов (QA) и, более конкретно, к созданию последовательности ответов из группы ответов, отсортированных в соответствии с последовательностью категорий ответов.

Системы ответов на вопросы (QA) могут быть спроектированы так, чтобы получать входные вопросы, анализировать их и возвращать соответствующие ответы. Используя различные методы, системы обеспечения качества могут предоставлять механизмы для поиска корпусов (например, базы данных исходных элементов, содержащих релевантный контент) и анализа корпусов для определения ответов на входной вопрос.

Резюме

Аспекты настоящего раскрытия в некоторых вариантах осуществления направлены на анализ совокупности данных для предмета. Корпус данных может быть проанализирован с помощью технологии обработки на естественном языке, сконфигурированной для анализа синтаксического и семантического контента. Аспекты также включают в себя обнаружение, на основе и в ответ на синтаксический анализ, первый набор ответов и второй набор ответов. Первый набор ответов может включать в себя первый ответ, соответствующий первой категории ответов, а второй набор ответов может включать в себя второй ответ, соответствующий второй категории ответов. Как первая, так и вторая категории ответа могут относиться к предмету. Аспекты также включают в себя идентификацию, на основе синтаксического и семантического контента, первого набора данных для упорядочения для первого набора ответов и второго набора ответов. Аспекты также включают определение, в ответ на идентификацию первого набора данных заказа, первой последовательности ответов, соответствующей порядку первого набора ответов и второго набора ответов.

Вышеприведенное краткое изложение не предназначено для описания каждого проиллюстрированного варианта осуществления или каждой реализации настоящего раскрытия.

Краткое описание нескольких видов рисунков

Чертежи, включенные в настоящую заявку, включены в описание и составляют его часть. Они иллюстрируют варианты осуществления настоящего раскрытия и вместе с описанием служат для объяснения принципов раскрытия. Чертежи являются только иллюстрацией некоторых вариантов осуществления и не ограничивают раскрытие.

Рисунок 1 изображает диаграмму примерного набора последовательностей ответов в соответствии с вариантами осуществления настоящего раскрытия.

Рисунок-01 - диаграмма примерного набора последовательностей ответов в соответствии с вариантами осуществления настоящего раскрытия.
Рисунок-01 — диаграмма примерного набора последовательностей ответов в соответствии с вариантами осуществления настоящего раскрытия.

Рисунок 2 изображает блок-схему примерной вычислительной среды для использования с системой ответа на вопросы (QA) согласно вариантам осуществления настоящего раскрытия.

Рисунок-02 - блок-схема примерной вычислительной среды для использования с системой ответа на вопросы (QA) согласно вариантам осуществления настоящего раскрытия
Рисунок-02 — блок-схема примерной вычислительной среды для использования с системой ответа на вопросы (QA) согласно вариантам осуществления настоящего раскрытия

Рисунок 3 изображает блок-схему примерной системы QA, сконфигурированной для генерации ответов в ответ на один или более входных запросов, согласно вариантам осуществления настоящего раскрытия.

Рисунок-03 - блок-схема примерной системы QA, сконфигурированной для генерации ответов в ответ на один или более входных запросов, согласно вариантам осуществления настоящего раскрытия
Рисунок-03 — блок-схема примерной системы QA, сконфигурированной для генерации ответов в ответ на один или более входных запросов, согласно вариантам осуществления настоящего раскрытия

Рисунок 4 изображает архитектуру системы, сконфигурированную для управления ответами, сгенерированными примерной системой QA, согласно вариантам осуществления настоящего раскрытия.

Рисунок-04 - архитектура системы, сконфигурированная для управления ответами, сгенерированными примерной системой QA, согласно вариантам осуществления настоящего раскрытия
Рисунок-04 — архитектура системы, сконфигурированная для управления ответами, сгенерированными примерной системой QA, согласно вариантам осуществления настоящего раскрытия

Рисунок 5 изображает схему использования управления ответами для генерации одной или нескольких последовательностей ответов в соответствии с вариантами осуществления настоящего раскрытия.

Рисунок-05 - схема использования управления ответами для генерации одной или нескольких последовательностей ответов в соответствии с вариантами осуществления настоящего раскрытия
Рисунок-05 — схема использования управления ответами для генерации одной или нескольких последовательностей ответов в соответствии с вариантами осуществления настоящего раскрытия

Рисунок 6 изображает блок-схему последовательности операций способа управления ответами в среде QA согласно вариантам осуществления настоящего раскрытия.

Рисунок-06 - блок-схема последовательности операций способа управления ответами в среде QA согласно вариантам осуществления настоящего раскрытия
Рисунок-06 — блок-схема последовательности операций способа управления ответами в среде QA согласно вариантам осуществления настоящего раскрытия

Рисунок 7 изображает блок-схему последовательности операций способа управления отношениями ответа в среде QA согласно вариантам осуществления настоящего раскрытия.

Рисунок-07 - блок-схема последовательности операций способа управления отношениями ответа в среде QA согласно вариантам осуществления настоящего раскрытия
Рисунок-07 — блок-схема последовательности операций способа управления отношениями ответа в среде QA согласно вариантам осуществления настоящего раскрытия

Рисунок 8 изображает диаграмму примера помеченной последовательности ответов, включающей в себя характерные отношения, отношения прямого влияния и отношения ответа, в соответствии с вариантами осуществления настоящего раскрытия.

Рисунок-08 - диаграмма примера помеченной последовательности ответов, включающей в себя характерные отношения, отношения прямого влияния и отношения ответа, в соответствии с вариантами осущ
Рисунок-08 — диаграмма примера помеченной последовательности ответов, включающей в себя характерные отношения, отношения прямого влияния и отношения ответа, в соответствии с вариантами осущ

Рисунок 9 изображает блок-схему последовательности операций способа оценки последовательности ответов на основе отношений ответов в соответствии с вариантами осуществления настоящего раскрытия.

Рисунок-09 - блок-схема последовательности операций способа оценки последовательности ответов на основе отношений ответов в соответствии с вариантами осуществления настоящего раскрытия
Рисунок-09 — блок-схема последовательности операций способа оценки последовательности ответов на основе отношений ответов в соответствии с вариантами осуществления настоящего раскрытия

Рисунок 10 показана блок-схема последовательности операций, иллюстрирующая способ управления последовательностями ответов в соответствии с вариантами осуществления настоящего раскрытия.

Рисунок-10 - блок-схема последовательности операций, иллюстрирующая способ управления последовательностями ответов в соответствии с вариантами осуществления настоящего раскрытия
Рисунок-10 — блок-схема последовательности операций, иллюстрирующая способ управления последовательностями ответов в соответствии с вариантами осуществления настоящего раскрытия

Рисунок 11 — схема, иллюстрирующая пример архитектуры системы для управления последовательностями ответов в соответствии с вариантами осуществления настоящего раскрытия.

Рисунок-11 - схема, иллюстрирующая пример архитектуры системы для управления последовательностями ответов в соответствии с вариантами осуществления настоящего раскрытия
Рисунок-11 — схема, иллюстрирующая пример архитектуры системы для управления последовательностями ответов в соответствии с вариантами осуществления настоящего раскрытия

Рисунок 12 изображает пример генерации последовательности ответов в соответствии с вариантами осуществления настоящего раскрытия.

Рисунок-12 - пример генерации последовательности ответов в соответствии с вариантами осуществления настоящего раскрытия
Рисунок-12 — пример генерации последовательности ответов в соответствии с вариантами осуществления настоящего раскрытия

Рисунок 13 изображает концептуальную схему системы QA, сконфигурированной для классификации ответов, отсортированных в соответствии с категорией ответов, согласно вариантам осуществления настоящего раскрытия.

Рисунок-13 - концептуальная схема системы QA, сконфигурированной для классификации ответов, отсортированных в соответствии с категорией ответов, согласно вариантам осуществления настоящего
Рисунок-13 — концептуальная схема системы QA, сконфигурированной для классификации ответов, отсортированных в соответствии с категорией ответов, согласно вариантам осуществления настоящего

Рисунок 14 изображает концептуальную схему системы QA, сконфигурированной для классификации ответов по сегментам, используя множество наборов пороговых значений, в соответствии с вариантами осуществления настоящего раскрытия.

Рисунок-14 - концептуальная схема системы QA, сконфигурированной для классификации ответов по сегментам, используя множество наборов пороговых значений, в соответствии с вариантами осуществ
Рисунок-14 — концептуальная схема системы QA, сконфигурированной для классификации ответов по сегментам, используя множество наборов пороговых значений, в соответствии с вариантами осуществ

Рисунок 15 изображает блок-схему последовательности операций, иллюстрирующую примерные операции для связывания доверительных оценок категории ответа с доверительными сегментами, согласно вариантам осуществления настоящего раскрытия.

Рисунок-15 - блок-схема последовательности операций, иллюстрирующую примерные операции для связывания доверительных оценок категории ответа с доверительными сегментами, согласно вариантам о
Рисунок-15 — блок-схема последовательности операций, иллюстрирующую примерные операции для связывания доверительных оценок категории ответа с доверительными сегментами, согласно вариантам о

Рисунок 16 изображает блок-схему последовательности операций, иллюстрирующую примерные операции для связывания доверительных оценок категории ответа с доверительными сегментами, согласно вариантам осуществления настоящего раскрытия.

Рисунок-16 - блок-схема последовательности операций, иллюстрирующую примерные операции для связывания доверительных оценок категории ответа с доверительными сегментами, согласно вариантам о
Рисунок-16 — блок-схема последовательности операций, иллюстрирующую примерные операции для связывания доверительных оценок категории ответа с доверительными сегментами, согласно вариантам о

Рисунок 17 изображает концептуальную схему, иллюстрирующую систему QA, сконфигурированную для распределения ответов, классифицированных в соответствии с доверительными группами, в соответствии с вариантами осуществления настоящего раскрытия.

Рисунок-17 - концептуальная схема, иллюстрирующую систему QA, сконфигурированную для распределения ответов, классифицированных в соответствии с доверительными группами, в соответствии с вар
Рисунок-17 — концептуальная схема, иллюстрирующую систему QA, сконфигурированную для распределения ответов, классифицированных в соответствии с доверительными группами, в соответствии с вар

Рисунок 18 показана блок-схема последовательности операций, иллюстрирующая способ оценки последовательностей ответов в соответствии с вариантами осуществления.

Рисунок-18 - блок-схема последовательности операций, иллюстрирующая способ оценки последовательностей ответов в соответствии с вариантами осуществления
Рисунок-18 — блок-схема последовательности операций, иллюстрирующая способ оценки последовательностей ответов в соответствии с вариантами осуществления

Рисунок 19 является блок-схемой высокого уровня способа для оценки последовательностей ответов согласно вариантам осуществления.

Рисунок-19 - блок-схема высокого уровня способа для оценки последовательностей ответов согласно вариантам осуществления
Рисунок-19 — блок-схема высокого уровня способа для оценки последовательностей ответов согласно вариантам осуществления

Хотя изобретение поддается различным модификациям и альтернативным формам, его особенности были показаны в качестве примера на чертежах и будут подробно описаны. Однако следует понимать, что цель не состоит в том, чтобы ограничивать изобретение конкретными описанными вариантами осуществления. Напротив, цель состоит в том, чтобы охватить все модификации, эквиваленты и альтернативы, подпадающие под сущность и объем изобретения.

Подробное описание

Аспекты настоящего раскрытия относятся к управлению ответами в среде вопросов-ответов (QA), более конкретные аспекты относятся к установлению последовательности ответов из ответов, отсортированных в соответствии с последовательностью категорий ответов. Хотя настоящее раскрытие не обязательно ограничено такими применениями, различные аспекты раскрытия могут быть оценены посредством обсуждения различных примеров, использующих этот контекст.

Варианты осуществления настоящего раскрытия направлены на систему, сконфигурированную для управления ответами в среде QA. В системе обеспечения качества группа ответов может быть сгенерирована в ответ на входные запросы (например, вопросы). Например, система QA может быть сконфигурирована для приема входного запроса, анализа одного или нескольких источников данных и на основе анализа генерирования группы ответов.

В вариантах осуществления ответами могут быть данные, сгенерированные системой QA в ответ на входной запрос. Ответами могут быть данные в различных формах, включая, помимо прочего, текст, документы, изображения, видео и аудио. В вариантах осуществления ответами могут быть данные, которые предполагают операцию или действие. Например, система QA может получить вопрос о том, как лечить конкретное заболевание. В ответ система QA может генерировать группу ответов, которые в совокупности предлагают серию или группу действий для лечения конкретного медицинского состояния. Например, система может анализировать совокупность информации и определять, что конкретное лекарство можно использовать для лечения конкретного заболевания. В ответ система может сгенерировать ответ, указывающий, что следует принимать конкретное лекарство. Далее описанная система QA может генерировать ответы на основе анализа естественного языка совокупности информации.

В некоторых случаях система QA может быть дополнительно сконфигурирована для управления организацией группы ответов. В вариантах осуществления организованная группа ответов может быть выведена пользователю в виде одного организованного полного ответа (например, последовательности ответов, как описано в данном документе). В некоторых вариантах осуществления система может быть сконфигурирована для визуализации организованного ответа для представления ответов пользователю. Организация набора ответов может помочь пользователю в понимании группы ответов. В некоторых вариантах осуществления группа ответов может быть организована в различных формах, таких как, но не ограничиваясь ими, изображения, диаграммы, таблицы, информационные панели, карты и тому подобное.

В некоторых случаях ответы из набора ответов могут быть оценены с помощью значения достоверности (например, показателя достоверности). Система может быть настроена на организацию группы ответов путем генерации списка ответов из группы ответов, упорядоченных в соответствии со значением достоверности каждого ответа. Список ответов затем может быть представлен как выходной ответ для удовлетворения входного запроса.

Однако в некоторых случаях список ответов может не соответствовать входному запросу. Например, система QA может получить вопрос о том, как лечить конкретное заболевание. В ответ система QA может генерировать группу ответов, которые предлагают различные действия. Система может организовать группу ответов, чтобы сформировать список ответов, включающий различные варианты лечения, перечисленные в соответствии с доверительной оценкой. Список ответов может быть выведен пользователю, чтобы попытаться удовлетворить входной запрос. В некоторых вариантах осуществления ответы могут быть ответами на лечение, где ответами на лечение являются ответы, которые предполагают различные действия или операции, связанные с медицинским лечением.

Однако в списке ответов могут быть представлены ответы, так что кажется, что ответы с самым высоким рейтингом в списке составляют предлагаемую обработку. Например, пользователь, увидев список ответов, может подумать, что единственным ответом (например, ответом с самым высоким показателем достоверности) является рекомендуемая обработка. Однако более желательный ответ мог бы включать множество обработок. Например, может быть так, что комбинация из двух ответов, независимо от степени достоверности, представляет лучший ответ, чем один ответ. В дополнительном примере пользователь, увидев список ответов, может подумать, что несколько ответов (например, два верхних ответа) составляют предлагаемую обработку, независимо от категории или типа обработки, предлагаемой несколькими ответами. Однако в некоторых случаях более желательный ответ на входной запрос может включать применение нескольких категорий или типов обработок. Кроме того, более желательный ответ может включать применение нескольких ответов в определенной последовательности.

Например, в области онкологии более желательный ответ на вопрос о том, как лечить конкретный рак, как правило, может включать две категории ответов на лечение. Категории могут включать лучевую терапию и химиотерапию. Кроме того, в некоторых случаях более желательный ответ может включать применение категорий в определенной последовательности. Например, ответ может включать сначала проведение лучевой терапии, а затем химиотерапию. Кроме того, в некоторых случаях категории могут применяться с наложением друг на друга. Например, ответ может включать сначала начало лучевой терапии, а затем, до завершения лучевой терапии, начало химиотерапевтического лечения.

Следовательно, в вариантах осуществления система может быть сконфигурирована для управления группой ответов для организации ответов в соответствии с множеством категорий ответов. В вариантах осуществления категории ответов являются классификациями, которые могут применяться к группе ответов, чтобы помочь в организации ответов.

Например, категории ответов можно использовать для классификации группы ответов в соответствии с типом действия, предложенного каждым ответом. Для группы ответов, сгенерированных в ответ на вопрос о том, как устранить неполадки с компьютером, категории ответов могут включать устранение неполадок оборудования и программного обеспечения. Описанные далее в данном документе категории ответов могут быть определены на основе предмета данных (таких как входные запросы и сгенерированные ответы) в среде QA.

В вариантах осуществления система может быть сконфигурирована для сортировки группы ответов по множеству категорий ответов. Например, система может отсортировать первый набор из группы ответов, связанных с устранением неполадок оборудования, в первую категорию ответов, которая соответствует устранению неполадок оборудования. Система может отсортировать второй набор ответов, связанных с устранением неполадок программного обеспечения, во вторую категорию ответов, которая соответствует устранению неполадок программного обеспечения.

В некоторых вариантах осуществления категории ответа могут быть упорядочены в соответствии с последовательностью. Последовательность категорий ответов может упоминаться в данном документе как последовательность категорий. Например, для ответа на входной запрос, связанный с лечением рака, последовательность категорий может включать упорядоченные этапы, на которых сначала применяют лучевой тип лечения, а затем применяют химиотерапевтический тип лечения. В дополнительном примере для ответа на входной запрос, связанный с устранением неполадок компьютера, последовательность категорий может включать упорядоченные этапы, сначала применяя устранение неполадок оборудования, а затем устранение неполадок программного обеспечения. Описанные далее в данном документе последовательности категорий могут быть определены на основе предмета данных (таких как входные запросы и сгенерированные ответы) в среде QA.

Система может быть сконфигурирована для установки на основе одной или нескольких последовательностей категорий одной или нескольких последовательностей ответов. Одна или несколько последовательностей ответов могут быть установлены из ответов из одной или нескольких категорий ответов, упорядоченных в соответствии с одной или несколькими последовательностями категорий. Например, первый набор ответов может быть отсортирован по первой категории ответов, а второй набор ответов может быть отсортирован по второй категории ответов. Последовательность категорий может включать первую категорию ответов, за которой следует вторая категория ответов. Таким образом, последовательность ответов может включать в себя первый ответ из первого набора ответов, за которым следует второй ответ из второго набора ответов.

В некоторых случаях система QA может генерировать последовательность ответов и представлять последовательность ответов пользователю без надлежащей оценки взаимодействий между ответами, которые формируют представленную последовательность ответов. Это может привести к неправильным уровням достоверности в последовательности ответов (например, к показателям достоверности, которые являются слишком высокими или слишком низкими). Например, в области онкологии система QA может определить показатель достоверности для конкретного плана лечения онкологии (последовательность ответов) без учета того, как конкретные взаимодействия (ответы), которые составляют план лечения, могут взаимодействовать. Это может произойти, например, когда доверительный балл для плана лечения генерируется как совокупность доверительных баллов каждого конкретного лечения плана лечения. В такой ситуации, если отдельные виды лечения не оцениваются с точки зрения их взаимодействия друг с другом (например, когда отдельные виды лечения не оцениваются независимо), составной показатель достоверности для плана лечения может быть неуместным.

В некоторых случаях неспособность принять во внимание взаимодействие ответов может привести к слишком высоким показателям достоверности. Например, в области ИТ-поддержки только потому, что конкретный план устранения неполадок компьютера (последовательность ответов) требует использования отладчика (первый ответ) с наивысшим доверительным счетом среди всех отладчиков, идентифицированных в среде QA, с последующим использованием сети Анализатор (второй ответ) с наивысшей оценкой достоверности среди всех сетевых анализаторов, определенных в среде QA, не означает, что этот конкретный план устранения неполадок компьютера, вероятно, будет лучшим планом или даже тем, что он может быть хорошим планом. Могут быть известные (или, по крайней мере, обнаруживаемые) негативные взаимодействия между двумя ответами (конкретным отладчиком и конкретным анализатором сети), которые можно было бы рассмотреть, прежде чем рекомендовать или представлять этот конкретный план пользователю.

В некоторых вариантах осуществления настоящего раскрытия вероятные взаимодействия между ответами конкретной последовательности ответов могут рассматриваться как часть ранжирующих и / или оценивающих последовательностей ответов. В некоторых вариантах осуществления это может включать в себя создание отношения ответа в последовательности ответа. В частности, это может произойти, сначала идентифицируя последовательность ответов, которая может включать в себя, по меньшей мере, первый ответ и второй ответ. Далее, корпус может быть проанализирован с использованием первого ответа и второго ответа, чтобы определить набор факторов влияния, которые соответствуют обоим ответам. На основе этого набора факторов влияния может быть сформирована связь между первым ответом и вторым ответом.

В некоторых вариантах осуществления последовательность ответов может включать в себя три или более ответов. В таких вариантах осуществления отношения ответов между каждым ответом последовательности ответов и всеми оставшимися ответами последовательности ответов могут быть сгенерированы посредством идентификации наборов факторов влияния между каждым возможным спариванием ответ-ответ в последовательности ответов. Каждый набор факторов влияния может быть использован для создания отдельного отношения ответа. В некоторых вариантах осуществления последовательность ответов может оцениваться, по меньшей мере частично, на основе отношений ответов между составляющими ответами.

В некоторых вариантах осуществления оценка отношения может быть назначена каждому отношению ответа на основе его набора факторов влияния. Кроме того, в некоторых вариантах осуществления одна или более оценок отношений, применяемых к отношениям ответов конкретной последовательности ответов, могут влиять на оценку достоверности последовательности ответов. Кроме того, в некоторых вариантах осуществления пороговые значения могут применяться к оценкам отношений, чтобы определить, следует ли считать соответствующие последовательности ответов неправильными, непригодными или иным образом противопоказанными.

В некоторых вариантах осуществления идентификация набора факторов влияния, соответствующих как первому ответу, так и второму ответу последовательности ответов, может включать в себя идентификацию отношения прямого влияния между первым ответом и вторым ответом. На основе отношения прямого влияния может быть идентифицирован по меньшей мере один фактор влияния из набора факторов влияния.

В некоторых вариантах осуществления идентификация набора факторов влияния, соответствующих как первому ответу, так и второму ответу последовательности ответов, может включать в себя идентификацию первой характеристической взаимосвязи между первым ответом и характеристикой и второй характеристической взаимосвязи между вторым ответом и характеристикой , Первое характеристическое отношение и второе характерное отношение могут сравниваться, чтобы идентифицировать по меньшей мере один фактор влияния из набора факторов влияния.

В последние годы возросшая доступность и доступ к большому количеству контента через Интернет, социальные сети и другие сети привели к увеличению потребности в организации и управлении этим контентом. Как описано в данном документе, системы ответа на вопросы являются одним из инструментов, который можно использовать для облегчения поиска пользователями и доступа к желаемому контенту. Аспекты настоящего раскрытия в некоторых вариантах осуществления относятся к признанию того, что в определенных ситуациях ответы на вопросы, переданные в систему ответа на вопросы, могут быть частью более крупной процедуры или последовательности множественных ответов (например, последовательности ответов), и что один ответ может не дать полную картину желаемого контента, который ищет пользователь. Например, в области онкологии пользователь, ищущий наиболее эффективное лечение рака, может быть ошеломлен количеством доступных вариантов лечения и не уверен в том, какие виды лечения хорошо работают друг с другом или в каком порядке их следует применять. , Соответственно, аспекты настоящего раскрытия в некоторых вариантах осуществления направлены на анализ совокупности данных, относящихся к предмету (например, онкологии), и определение последовательности ответов для ответов, идентифицированных из совокупности. Дополнительные аспекты настоящего раскрытия направлены на создание модели последовательности ответов для анализа известных последовательностей ответов и генерации дополнительных (например, неоткрытых) последовательностей ответов. Аспекты настоящего раскрытия могут быть связаны с преимуществами, включая актуальность контента, экономию времени и эффективность доступности контента.

Варианты осуществления настоящего раскрытия направлены на способ управления доверительными показателями для конкретной категории в среде QA. В вариантах осуществления способ может включать в себя сортировку на основе набора категорий ответов по предмету, первого набора из множества ответов в первую категорию ответов и второго набора из множества ответов во вторую категорию ответов.

В вариантах осуществления каждый из первого набора из множества ответов соответствует, по меньшей мере, одному из набора из множества доверительных оценок, и каждый из второго набора из множества ответов соответствует, по меньшей мере, одному из четвертого набора из множества доверительных баллов. В вариантах осуществления множество доверительных оценок представляет достоверность ответов на входной запрос, представленный в систему обеспечения качества. В вариантах осуществления способ может включать в себя классификацию доверительных оценок третьего набора в одно из множества доверительных интервалов с использованием первого порогового значения. Способ может включать в себя определение пятого набора из множества пороговых значений, используя множество доверительных оценок. Способ может включать в себя классификацию несекретных доверительных оценок третьего набора в одно из множества доверительных интервалов с использованием пятого набора из множества порогов.

Как описано здесь, система QA может принимать входной запрос, и система может генерировать ответы на этот входной запрос. В вариантах осуществления система может быть сконфигурирована для генерирования соответствующих оценок достоверности ответов для одного или нескольких ответов. В некоторых случаях возврат одних только ответов и оценок достоверности может ошеломить пользователя или привести к неправильной интерпретации качества возвращаемого ответа, например, в структуре списка ответов, как описано в данном документе.

Таким образом, в некоторых случаях система может быть сконфигурирована для сортировки ответов по различным категориям ответов, как описано здесь. Например, на основе набора категорий ответов для предмета, первый набор из множества ответов может быть отсортирован в первую категорию ответов, а второй набор из множества ответов — во вторую категорию ответов. В вариантах осуществления каждый из первого набора из множества ответов может соответствовать, по меньшей мере, одному из третьего набора из множества оценок достоверности. Аналогично, в некоторых вариантах осуществления каждый из второго набора из множества ответов может соответствовать по меньшей мере одному из четвертого набора из множества доверительных оценок.

Кроме того, система может быть сконфигурирована для классификации ответов в каждой из категорий ответов в различные доверительные интервалы. Ответы в каждой категории ответов могут быть классифицированы на основе доверительной оценки, соответствующей каждому ответу. В вариантах осуществления доверительные интервалы представляют собой деления или классификации для ответов, основанные на значении доверительной оценки ответа.

Например, система может быть сконфигурирована для классификации третьего набора из множества доверительных оценок в один или несколько доверительных интервалов. Система может быть сконфигурирована так, чтобы классифицировать четвертый набор из множества доверительных оценок к одному или нескольким доверительным сегментам.

В вариантах осуществления доверительные интервалы могут содержать группу ответов и / или доверительных оценок и могут быть связаны с одним или несколькими пороговыми значениями и описательной меткой. Например, ответы с доверительной вероятностью выше 95 по шкале от 0 до 100 могут быть классифицированы в первую группу с пометкой «предпочтительные ответы». Ответы, которые имеют достоверность ниже 95, могут быть классифицированы во вторую группу, помеченную как «ответы для рассмотрения». Классификация ответов по группам доверия может быть полезной, поскольку возвращаемые ответы легче отображать и интерпретировать. Ковши доверия могут упоминаться здесь как «корзины».

При использовании сегментов система QA может определить, какие ответы ассоциировать с какими сегментами, сравнивая оценки достоверности ответов с пороговыми значениями сегментов. В вариантах осуществления могут использоваться статические пороговые значения для предоставления возможности представления ответов в соответствии с принятыми стандартами. Например, достоверность ответа выше 95 по шкале 0-100 может приписывать высокую достоверность соответствующему ответу. Таким образом, в некоторых случаях оценки достоверности, превышающие 95, будут помещены в корзину высокой достоверности.

Однако в некоторых случаях использование только статических пороговых значений может игнорировать относительную ценность набора ответов. Например, если все доверительные оценки превышают статический порог в 95 баллов по шкале от 0 до 100, доверительные оценки могут в конечном итоге классифицироваться в одну группу, такую ​​как предпочтительная группа ответов. Один блок ответов может лишь частично указывать или не может указывать относительную достоверность ответов относительно других ответов.

Таким образом, в некоторых случаях система может быть настроена на использование динамических пороговых значений, основанных на оценочных показателях ответа, для классификации доверительных показателей. В вариантах осуществления пороговые значения динамического сегмента основаны на показателях достоверности ответов, и система QA может создавать пороговые значения сегментов, которые могут фиксировать относительную достоверность ответов. Кроме того, использование как статических, так и динамических пороговых значений может позволить системе представлять ответы таким образом, чтобы получить относительную достоверность в рамках стандарта достоверности.

Как описано в данном документе, в определенных ситуациях ответы на вопросы, переданные в систему ответа на вопросы, могут быть частью более крупной процедуры или последовательности из нескольких ответов (например, последовательности ответов), и что один ответ может не обеспечивать полную картину желаемый контент, который ищет пользователь. Зачастую ответы в последовательности ответов могут быть оценены или ранжированы с помощью значений достоверности или других количественных показателей достоверности или достоверности этого конкретного ответа.

Аспекты настоящего раскрытия в некоторых вариантах осуществления относятся к признанию того, что может быть желательно предоставить общую составную оценку (например, оценку оценки последовательности) для последовательности ответов в целом на основе отдельных оценок ответов, которые она включает , Кроме того, аспекты настоящего раскрытия относятся к осознанию того, что в зависимости от предмета, к которому относится последовательность ответов, могут быть желательны разные способы генерирования оценки оценки последовательности (например, последовательности ответов, относящиеся к серьезным предметам, таким как онкология, инвестиционные планы и т.п. могут оцениваться иначе, чем последовательности ответов, относящиеся к развлечениям, выпечке и т. д.) Соответственно, аспекты настоящего раскрытия направлены на определение правила оценки для конкретной последовательности ответов на основе предмета, к которому оно относится, так как а также другие условия и генерация общего составного балла, чтобы указать надежность последовательности ответов. Аспекты настоящего раскрытия могут быть связаны с преимуществами, включая актуальность контента, экономию времени и эффективность доступности контента.

Обращаясь теперь к фиг. 1 показана схема примерной таблицы 100, показывающая последовательности ответов, в соответствии с вариантами осуществления настоящего раскрытия. Таблица 100 может включать в себя множество ответов на лечение 110-128, организованных в соответствии с различными категориями ответов 102-108. Как видно на фиг. 1, категории ответа 102-108 относятся к различным типам лечения. Например, категория 102 ответа относится к химиотерапии, категория 104 ответа относится к хирургии, категория 106 ответа относится к эндокринной терапии, а категория 108 ответа относится к облучению.

В вариантах осуществления категории ответа 102-108 могут упоминаться как категории лечения. В вариантах осуществления категории лечения являются классификациями, подобными категориям ответов, которые применяются к ответам на лечение, чтобы помочь в организации ответов на лечение. Например, ответы 110 и 118 на лечение относятся к химиотерапевтическому лечению и, таким образом, помещены в столбец под категорией лечения, относящейся к химиотерапии. Точно так же ответы 112, 120 и 124 на лечение относятся к хирургическому лечению и, таким образом, помещены в столбец под категорией лечения, относящейся к хирургическому лечению.

Категории ответов 102-108 можно видеть расположенными в ряду 109 в последовательности категорий. Последовательность категорий представляет собой последовательность категорий ответов, как описано здесь. Например, в строке 109 последовательность категорий может включать в себя первую категорию ответов 102, затем категорию ответов 104, затем категорию ответов 106 и затем категорию ответов 108. В вариантах осуществления последовательность категорий может называться шаблоном обработки. В вариантах осуществления шаблон обработки может быть таким же или по существу аналогичным последовательности категорий. В некоторых вариантах осуществления шаблоны лечения могут представлять собой последовательность определенной категории, которая была определена как приемлемая или возможная либо экспертом, либо самой системой обеспечения качества.

Набор последовательностей ответов можно увидеть в строках 130-134. Набор последовательностей ответов представляет собой упорядоченную последовательность ответов на лечение (или ответов), упорядоченную на основе последовательности категорий. Таким образом, на фиг. 1 первая последовательность ответов может быть видна в строке 130, которая включает ответ 110 на лечение, связанный с химиотерапией A, затем ответ 112 на лечение, связанный с операцией A, затем ответ 114 на лечение, связанный с эндокринной терапией A, затем ответ 116 на лечение, связанный с лучевым лечением A. Первая последовательность ответов предлагает план обработки различных ответов 110-116 лечения, выполняемых в порядке, соответствующем последовательности 109 категорий. В вариантах осуществления последовательность ответов может называться планом лечения. В вариантах осуществления план лечения представляет собой последовательность ответов, сгенерированную из ответов на лечение, упорядоченных в соответствии с шаблоном лечения, как описано в данном документе.

В некоторых вариантах осуществления последовательности ответов могут включать в себя ответы из части категорий ответов в последовательности категорий. Например, в строке 132 и 134, вторая и третья последовательности ответов могут быть видны соответственно. Вторая последовательность ответов включает в себя ответы 118, 120, 122 на лечение из категорий 102, 104 и 108 ответов. Вторая последовательность ответов не включает в себя ответ на лечение из категории 106 ответов.

Обращаясь теперь к фиг. На фиг.2 показана блок-схема примерной вычислительной среды 200 для использования с системой QA в соответствии с вариантами осуществления настоящего раскрытия. В некоторых вариантах осуществления вычислительная среда 200 может включать в себя одно или несколько удаленных устройств 202, 212 и одно или несколько хост-устройств 222. Удаленные устройства 202, 212 и хост-устройство 222 могут быть удалены друг от друга и обмениваться данными по сети 250. В вариантах осуществления хост-устройство 222 может быть центральным концентратором, из которого удаленные устройства 202, 212 устанавливают соединение связи. В вариантах осуществления хост-устройство и удаленные устройства могут быть сконфигурированы в различных подходящих отношениях (например, в одноранговых или других отношениях).

В некоторых вариантах осуществления сеть 250 может быть реализована с помощью подходящих средств связи (например, глобальной сети (WAN), локальной сети (LAN), Интернета и интрасети). В некоторых вариантах осуществления удаленные устройства 202, 212 и хост-устройства 222 могут быть локальными друг для друга и обмениваться данными через соответствующую локальную среду связи (например, локальную сеть (LAN), проводное соединение, беспроводное соединение, интранет). В некоторых вариантах осуществления сеть 250 может быть реализована в среде облачных вычислений или с использованием одной или нескольких служб облачных вычислений. В соответствии с различными вариантами осуществления среда облачных вычислений может включать в себя сетевую распределенную систему обработки данных, которая предоставляет одну или несколько услуг облачных вычислений. Кроме того, среда облачных вычислений может включать в себя несколько компьютеров (например, сотни или тысячи из них или более), расположенных в одном или нескольких центрах обработки данных и сконфигурированных для совместного использования ресурсов по сети 250.

В некоторых вариантах осуществления ведущее устройство 222 может включать в себя систему 230 QA, имеющую приложение 234 поиска и модуль 232 ответа. Приложение 234 поиска может быть сконфигурировано для поиска в одной или нескольких базах данных или других компьютерных системах контента, который связан с входным запросом. пользователем на удаленном устройстве 202, 212.

В некоторых вариантах осуществления удаленные устройства 202, 212 могут предоставлять пользователям возможность отправлять входные запросы (например, поисковые запросы или другие пользовательские запросы) на хост-устройство 222 для получения результатов поиска. Например, удаленные устройства 202, 212 могут включать в себя модуль 210, 220 запросов (например, в форме веб-браузера или другого подходящего программного модуля) и представлять графический интерфейс пользователя или другой интерфейс (запросы командной строки, экраны меню, и т. д.) запрашивать у пользователей запросы на отправку одному или нескольким хост-устройствам 222 и отображать ответы / результаты, полученные от хост-устройств 222, в отношении таких пользовательских запросов (например, последовательностей ответов).

В соответствии с различными вариантами осуществления, ведущее устройство 222 и удаленные устройства 202, 212 могут быть компьютерными системами и каждое из них может быть оснащено дисплеем или монитором. Компьютерные системы могут включать в себя, по меньшей мере, один процессор 206, 216, 226; воспоминания 208, 218, 228; внутренний или внешний сетевой интерфейс или устройства связи 204, 214, 224 (например, модем, сетевые интерфейсные карты); дополнительные устройства ввода (например, клавиатура, мышь, сенсорный экран или другое устройство ввода); и коммерчески доступное или заказное программное обеспечение (например, программное обеспечение для браузера, коммуникационное программное обеспечение, серверное программное обеспечение, программное обеспечение для обработки естественного языка, программное обеспечение для поиска и / или сканирования в Интернете, модули фильтрации для фильтрации контента на основе предварительно определенных критериев). В некоторых вариантах осуществления компьютерные системы могут включать в себя серверы, настольные компьютеры, ноутбуки и портативные устройства. Кроме того, модуль 232 ответа может включать в себя один или несколько модулей или блоков для выполнения различных функций вариантов осуществления, как описано ниже, и может быть реализован посредством комбинации программных и / или аппаратных модулей или блоков.

Обращаясь теперь к фиг. 3 показана блок-схема системы обеспечения качества в соответствии с вариантами осуществления настоящего раскрытия. Аспекты фиг. 3 направлены на системную архитектуру 300, включающую в себя систему 312 QA для генерации группы ответов (или групп последовательностей ответов) в ответ на входной запрос. В некоторых вариантах осуществления один или более пользователей могут отправлять запросы на информацию в систему 312 QA, используя удаленное устройство (такое как удаленные устройства 202, 212 по фиг.2). Удаленное устройство может включать в себя клиентское приложение 308, которое может включать в себя один или несколько объектов, действующих для генерирования информации, которая отправляется в систему 312 QA через сеть 315. Система 312 QA может быть сконфигурирована для выполнения способов и методов для ответа на запросы, отправленные посредством клиентское приложение 308. В некоторых вариантах осуществления информация, полученная в системе 312 QA, может соответствовать запросам ввода, полученным от пользователей, где запросы ввода могут быть выражены на естественном языке или изображениях, или в других формах.

Входной запрос (аналогично называемый здесь вопросом) может быть одним или несколькими словами, которые формируют поисковый термин или запрос данных, информации или знаний. Вопрос может быть выражен в виде одного или нескольких ключевых слов. Вопросы могут включать в себя различные критерии выбора и условия поиска. Вопрос может состоять из сложных языковых функций в дополнение к ключевым словам. Однако поиск ответов по ключевым словам также возможен. В некоторых вариантах осуществления может быть разрешено использование ограниченного синтаксиса для вопросов, заданных пользователями. Использование ограниченного синтаксиса может привести к множеству альтернативных выражений, которые помогут пользователям лучше сформулировать свои потребности. В некоторых вариантах осуществления вопросы могут быть подразумеваемыми (а не явными) вопросами. Кроме того, в некоторых вариантах осуществления вопросы могут быть типа аудио (например, записи произнесенного слова, музыка, научные записи звука), типа видео (например, фильм, немое кино, видео человека, задающего подробный вопрос) тип изображения (например, изображение, фотография, рисунок) или другой тип, который может быть получен и обработан системой обеспечения качества.

В некоторых вариантах осуществления клиентское приложение 308 может работать на множестве устройств. Такие устройства могут включать, но не ограничиваются ими, мобильные и портативные устройства (например, ноутбуки, мобильные телефоны, персональные или корпоративные цифровые помощники и т. П.), Персональные компьютеры, серверы или другие компьютерные системы, которые могут получить доступ к услугам и функциональные возможности, предоставляемые системой 312 QA. В некоторых вариантах осуществления клиентское приложение 308 может включать в себя один или несколько компонентов, таких как мобильный клиент 310. Мобильный клиент 310, действуя в качестве агента клиентского приложения 308, может отправлять запросы пользовательских запросов в систему QA 312.

В соответствии с различными вариантами осуществления клиентское приложение 308 также может включать в себя поисковое приложение 302, либо как часть мобильного клиента 310, либо отдельно, которое может выполнять несколько функций, включая некоторые или все вышеупомянутые функции мобильного клиента 310, перечисленные выше. Например, в некоторых вариантах осуществления приложение 302 поиска может отправлять запросы на информацию в систему 312 QA. В некоторых вариантах осуществления приложение 302 поиска может быть клиентским приложением в системе 312 QA. Приложение 302 поиска может отправлять запросы на ответы в систему 312 QA. Поисковое приложение 302 может быть установлено на персональный компьютер, сервер или другую компьютерную систему.

В некоторых вариантах осуществления приложение 302 поиска может включать в себя графический пользовательский интерфейс 304 поиска (GUI) и менеджер 306 сеансов. В таких ситуациях пользователи могут иметь возможность вводить вопросы в GUI 304 поиска. В некоторых вариантах осуществления GUI 304 поиска может быть поиском. блок или другой компонент GUI, содержимое которого может представлять вопрос, подлежащий отправке в систему 312 QA. Пользователи могут проходить аутентификацию в системе 312 QA через менеджер 306 сеансов. В некоторых вариантах осуществления менеджер 306 сеансов может отслеживать активность пользователей в течение сеансов взаимодействие с системой обеспечения качества 312. Менеджер 306 сеанса также может отслеживать, какие вопросы передаются в течение жизненного цикла сеанса пользователя. Например, менеджер 306 сеанса может сохранять последовательность вопросов, заданных пользователем во время сеанса. В некоторых вариантах осуществления ответы, полученные системой 312 QA в ответ на вопросы, заданные в течение сеанса пользователя, также могут быть сохранены. Информация для сеансов, управляемых администратором 306 сеансов, может совместно использоваться различными компьютерными системами и устройствами.

В некоторых вариантах осуществления клиентское приложение 308 и система 312 QA могут быть коммуникативно связаны через сеть 315, например, Интернет, интрасеть или другую общедоступную или частную компьютерную сеть. В некоторых вариантах осуществления система 312 QA и клиентское приложение 308 могут осуществлять связь с использованием вызовов протокола передачи гипертекста (HTTP) или передачи состояния представления (REST). В некоторых вариантах осуществления система 312 QA может находиться на узле сервера. Клиентское приложение 308 может устанавливать связь сервер-клиент с системой 312 QA или наоборот. В некоторых вариантах осуществления сеть 315 может быть реализована в среде облачных вычислений или с использованием одной или нескольких служб облачных вычислений.

В соответствии с различными вариантами осуществления система 312 QA может отвечать на запрос информации, отправляемый клиентскими приложениями 308 (например, вопрос, заданный пользователем). Система 312 QA может генерировать группу ответов в ответ на запрос. В некоторых вариантах осуществления система 312 QA может включать в себя анализатор 314 вопросов, источники 324 данных и генератор 328 ответов. Анализатор 314 вопросов может быть компьютерным модулем, который анализирует принятые вопросы. Анализатор 314 вопросов может выполнять различные методы и приемы для анализа вопросов (синтаксический анализ, семантический анализ, анализ распознавания изображений и т. Д.). В некоторых вариантах осуществления анализатор 314 вопросов может анализировать принятые вопросы. Анализатор вопросов 314 может включать в себя различные модули для выполнения анализа полученных вопросов. Например, компьютерные модули, которые анализатор вопросов 314 может включать в себя, включают в себя, но не ограничиваются ими, токенизатор 316, тегер 318 части речи (POS), идентификатор 320 семантических отношений и идентификатор 322 синтаксических отношений.

В некоторых вариантах осуществления токенизатор 316 может представлять собой компьютерный модуль, который выполняет лексический анализ. Токенизатор 316 может преобразовывать последовательность символов в последовательность токенов. Токен может быть строкой символов, набранной пользователем и отнесенной к категории значащего символа. Кроме того, в некоторых вариантах осуществления токенизатор 316 может идентифицировать границы слов во входном запросе и разбивать вопрос или текст на его составные части, такие как слова, многословные токены, числа и знаки пунктуации. В некоторых вариантах осуществления токенизатор 316 может принимать строку символов, идентифицировать лексемы в строке и классифицировать их в токены.

В соответствии с различными вариантами осуществления POS-метка 318 может быть компьютерным модулем, который размечает слово в тексте, чтобы соответствовать определенной части речи. POS-тег 318 может читать вопрос или другой текст на естественном языке и назначать часть речи каждому слову или другому токену. POS-тег 318 может определять часть речи, которой соответствует слово, на основе определения слова и контекста слова. Контекст слова может быть основан на его отношении к смежным и связанным словам во фразе, предложении, вопросе или абзаце. В некоторых вариантах осуществления контекст слова может зависеть от одного или нескольких ранее поставленных вопросов. Примеры частей речи, которые могут быть назначены словам, включают, но не ограничиваются ими, существительные, глаголы, прилагательные, наречия и тому подобное. Примеры другой части категорий речи, которые может назначать POS-тегер 318, включают, но не ограничиваются ими, сравнительные или превосходные наречия, белые наречия, союзы, детерминанты, отрицательные частицы, притяжательные маркеры, предлоги, белые местоимения и тому подобное. В некоторых вариантах осуществления POS-метка 318 может маркировать или иным образом аннотировать маркеры вопроса с частью категорий речи. В некоторых вариантах осуществления POS-тегер 318 может маркировать маркеры или слова вопроса, которые должны быть проанализированы системой 312 QA.

В некоторых вариантах осуществления идентификатор 320 семантических отношений может быть компьютерным модулем, который может идентифицировать семантические отношения распознанных объектов (например, слов, фраз) в вопросах, заданных пользователями. В некоторых вариантах осуществления идентификатор 320 семантических отношений может определять функциональные зависимости между объектами и другими семантическими отношениями.

В соответствии с различными вариантами осуществления, идентификатор 322 синтаксической связи может быть компьютерным модулем, который может идентифицировать синтаксические отношения в вопросе, составленном из токенов, заданных пользователями в систему 312 QA. Идентификатор 322 синтаксической связи может определять грамматическую структуру предложений, например, какие группы слов связаны как «фразы», ​​и какое слово является предметом или объектом глагола. Синтаксический идентификатор 322 отношения может соответствовать формальной грамматике.

В некоторых вариантах осуществления анализатор 314 вопросов может быть компьютерным модулем, который может анализировать принятый пользовательский запрос и генерировать соответствующую структуру данных пользовательского запроса. Например, в ответ на прием вопроса в системе 312 QA анализатор 314 вопросов может выводить проанализированный вопрос в виде структуры данных. В некоторых вариантах осуществления анализируемый вопрос может быть представлен в форме дерева разбора или другой структуры графа. Для генерации проанализированного вопроса анализатор 314 вопросов может запускать компьютерные модули 316-322. Кроме того, в некоторых вариантах осуществления анализатор 314 вопросов может использовать внешние компьютерные системы для специальных задач, которые являются частью процесса анализа вопроса.

В некоторых вариантах осуществления выходные данные анализатора 314 вопроса могут использоваться системой 312 QA для выполнения поиска набора (то есть, одного или более) корпусов для извлечения информации, чтобы ответить на вопрос, заданный пользователем. Как используется здесь, корпус может относиться к одному или нескольким источникам данных. В некоторых вариантах осуществления источники 324 данных могут включать в себя базы данных, информационные корпуса, модели данных и хранилища документов. В некоторых вариантах осуществления источник 324 данных может включать в себя информационный корпус 326. Информационный корпус 326 может обеспечивать хранение и поиск данных. В некоторых вариантах осуществления информационный корпус 326 может представлять собой механизм хранения, который содержит стандартизированную, согласованную, чистую и интегрированную форму данных. Данные могут быть получены из различных операционных систем. Данные, хранящиеся в информационном корпусе 326, могут быть структурированы таким образом, чтобы конкретно удовлетворять требованиям отчетности и аналитики. В некоторых вариантах осуществления информационный корпус может представлять собой реляционную базу данных. В некоторых примерных вариантах осуществления источники 324 данных могут включать в себя одно или несколько хранилищ документов.

В некоторых вариантах осуществления генератор 328 ответов может быть компьютерным модулем, который генерирует группу ответов в ответ на поставленные вопросы. Примеры ответов, генерируемых генератором 328 ответов, могут включать в себя, но не ограничиваются ими, предложения на естественном языке, отчеты, диаграммы или другое аналитическое представление, необработанные данные, веб-страницы и тому подобное. В некоторых вариантах осуществления ответы могут быть типа аудио, типа изображения или другого подходящего типа носителя.

В некоторых вариантах осуществления генератор 328 ответов может включать в себя процессор 330 запросов, процессор 332 управления ответами и обработчик 334 обратной связи. Когда находится информация в источнике 324 данных, соответствующая проанализированному вопросу, технический запрос, связанный с шаблоном, может быть выполнен процессором запросов 330. На основе данных, полученных техническим запросом, выполняемым процессором 330 запросов, процессор 332 управления ответами может быть сконфигурирован для организации полученных ответов. В вариантах осуществления процессор 332 управления ответами может быть процессором визуализации, сконфигурированным для визуализации организованных ответов. В вариантах осуществления визуализированная визуализация ответов может представлять ответ на входной запрос. В некоторых вариантах осуществления процессор 332 управления ответами может организовывать ответы в соответствии с различными формами, включая, но не ограничиваясь ими, изображения, диаграммы, таблицы, информационные панели, карты и тому подобное.

Далее описанный процессор 332 управления ответами может быть сконфигурирован для реализации вариантов осуществления настоящего раскрытия. Например, процессор 332 управления ответами может быть выполнен с возможностью сортировки на основе набора категорий ответов первого набора ответов в первой категории ответов и второго набора ответов во второй категории ответов. Категории ответов могут быть такими же или по существу похожими, как описано здесь.

Процессор 332 управления ответами может быть сконфигурирован для определения, используя предмет, последовательности категорий, включающей в себя первую категорию ответов и вторую категорию ответов. Процессор 332 управления ответами может быть сконфигурирован для установки на основе последовательности категорий первой последовательности ответов, установленной из части первого набора ответов из первой категории ответов и части второго набора ответов из второй категории ответов ,

В некоторых вариантах осуществления обработчик 334 обратной связи может быть компьютерным модулем, который обрабатывает обратную связь от пользователей по ответам, сгенерированным генератором 328 ответов. В некоторых вариантах осуществления пользователи могут вступать в диалог с системой 312 QA для оценки релевантности принятых ответов. Например, генератор 328 ответов может генерировать группу ответов, соответствующую вопросу, заданному пользователем. Пользователь может ранжировать каждый ответ в соответствии с его релевантностью к вопросу. В некоторых вариантах осуществления отзывы пользователей о сгенерированных ответах могут использоваться для будущих сеансов ответов на вопросы.

Различные компоненты примерной системы QA, описанной выше, могут использоваться для реализации различных аспектов настоящего раскрытия. Например, клиентское приложение 308 может использоваться для приема входного запроса от пользователя. Анализатор 314 вопросов может, в некоторых вариантах осуществления, использоваться для анализа входных запросов и для генерации группы ответов на основе входного запроса. Генератор 328 ответов может, в некоторых вариантах осуществления, использоваться для визуализации группы ответов, чтобы генерировать последовательность ответов для представления пользователю.

Обращаясь теперь к фиг. На фиг.4 показана блок-схема системной архитектуры 400 для управления ответом в среде с ответом на вопрос (QA) в соответствии с вариантами осуществления настоящего раскрытия. В вариантах осуществления системная архитектура 400 может представлять примерную архитектуру для выполнения вариантов осуществления настоящего раскрытия. Например, в некоторых случаях архитектура 400 системы может быть примером представления процессора 332 управления ответами (фиг. 3).

В вариантах осуществления архитектура 400 системы может включать в себя предметный процессор 402, классификатор 408 ответов и сортировщик 414 ответов.

Процессор 402 объекта может быть компьютерным модулем, сконфигурированным для определения объекта данных в среде QA. Как описано в данном документе, данные в среде QA могут включать в себя один или несколько входных запросов и / или группу ответов, сгенерированных в ответ на входные запросы. В вариантах осуществления предметом изобретения может быть контекстная информация для данных в среде QA. Предмет может быть использован для организации группы ответов, как описано здесь. Например, описанный далее в данном документе предмет может быть использован для определения одной или нескольких категорий ответов для группы ответов. В некоторых примерах предмет может быть использован для определения одной или нескольких последовательностей категорий. Например, если предметом является онкология, то последовательности могут включать химиотерапию и лучевую терапию, но альтернативная категория компьютерного поиска неисправностей может быть исключена, поскольку она не имеет отношения к онкологии.

В вариантах осуществления процессор 402 предмета может определять предмет посредством приема выбора предмета от пользователя. Например, пользователь может выбрать устранение неполадок компьютера в качестве предмета данных в среде QA. Система может затем действовать соответствующим образом при определении категорий ответов и / или последовательностей категорий, описанных далее в данном документе.

В некоторых вариантах осуществления процессор 402 объекта может быть сконфигурирован для определения объекта на основе анализа данных на естественном языке в среде QA.

В вариантах осуществления процессор 402 предмета может включать в себя процессор 404 на естественном языке. Процессор 404 на естественном языке может быть сконфигурирован для выполнения различных способов и методик анализа данных на естественном языке в среде QA. Например, процессор 404 на естественном языке может быть сконфигурирован для выполнения синтаксического анализа, семантического анализа, анализа распознавания изображений, сопоставления концепций и других подходящих методов и методик.

В вариантах осуществления предмет может быть определен методами согласования концепций. Методы сопоставления понятий могут включать, но не ограничиваются ими, семантическое сходство, синтаксический анализ и онтологическое сопоставление. Например, в вариантах осуществления процессор на естественном языке может быть сконфигурирован для анализа данных в среде QA для определения семантических признаков (например, повторяющихся слов, ключевых слов и т. Д.) И / или синтаксических признаков (например, местоположения семантических признаков в заголовках, заголовке, и т.д.) в данных. Онтологическое сопоставление может быть использовано для сопоставления семантических и / или синтаксических признаков с конкретной концепцией. Затем эта концепция может быть использована для определения предмета данных.

Например, в некоторых вариантах осуществления процессор 404 на естественном языке может быть сконфигурирован для анализа группы ответов, сгенерированных в ответ на входной запрос. Процессор 404 на естественном языке может идентифицировать в группе ответов повторяющиеся слова, соответствующие определенному типу рака. Кроме того, процессор 404 на естественном языке может идентифицировать местоположение повторяющихся слов в заголовках и заголовках, что может указывать на относительную важность повторяющихся слов. На основе семантических и синтаксических особенностей процессор 404 естественного языка может отобразить группу ответов на конкретную концепцию, такую ​​как онкология. В вариантах осуществления процессор 402 объекта может быть сконфигурирован для выбора концепции в качестве объекта изобретения.

Классификатор 408 ответов может быть сконфигурирован для определения набора категорий ответов для группы ответов. Как описано в данном документе, категории ответов являются классификациями, которые можно применять к группе ответов, чтобы помочь в организации ответов. Например, группа ответов, генерируемых в ответ на вопрос о том, как устранить неполадки с компьютером, может включать ответы, связанные с устранением неполадок оборудования и программным обеспечением для устранения неполадок. Первый набор ответов, соответствующий устранению неполадок оборудования, можно отсортировать по первой категории ответов, соответствующей устранению неполадок оборудования. Второй набор ответов, относящихся к устранению неполадок программного обеспечения, может быть отсортирован во вторую категорию ответов, соответствующую устранению неполадок программного обеспечения.

Кроме того, классификатор 408 ответов может быть сконфигурирован для определения последовательности категорий для категорий ответов. Классификатор ответов может включать в себя процессор 410 категорий ответов и процессор 412 последовательности категорий.

Процессор 410 категорий ответов может быть сконфигурирован для определения одной или нескольких категорий ответов для группы ответов. В вариантах осуществления категории ответов могут быть определены на основе предмета данных в среде QA. Например, предмет, связанный с онкологией, может иметь разные категории ответов, чем предмет, связанный с устранением неполадок компьютера. В некоторых вариантах осуществления категории ответов могут совместно использоваться предметом. В вариантах осуществления процессор 410 категорий ответов может использовать определение предмета от процессора 402 предмета для определения одной или нескольких категорий ответов.

В вариантах осуществления процессор 410 категорий ответов может определять одну или несколько категорий ответов посредством доступа к хранилищу предварительно определенных категорий ответов. В вариантах осуществления хранилище предварительно определенных категорий ответов может храниться в базе данных 413. В вариантах осуществления база данных 413 может включать в себя одну или несколько категорий ответов, которые соответствуют различным предметам. Например, набор категорий ответов, включая лучевую терапию, химиотерапию, эндокринную терапию и хирургическое вмешательство, может соответствовать предмету онкологии. Таким образом, когда предметом является онкология, процессор 410 категорий ответов может осуществлять доступ к набору категорий ответов, соответствующих онкологии. Кроме того, набор категорий ответов, включая устранение неполадок оборудования и программного обеспечения, может соответствовать предмету технической поддержки. В вариантах осуществления различные подходящие категории ответов также могут быть выбраны для различных объектов.

[0101]

В некоторых вариантах процессор 410 категорий ответов может определять категории ответов на основе анализа данных на естественном языке в среде QA. Например, в вариантах осуществления процессор 410 категории ответа может быть сконфигурирован для анализа входного запроса с использованием метода обработки на естественном языке. На основании анализа процессор 410 категорий ответов может определять категории ответов.
[0102]

В некоторых вариантах процессор 410 категории ответов может быть сконфигурирован для анализа группы ответов с использованием метода обработки на естественном языке. На основании анализа процессор 410 категорий ответов может определять категории ответов.
[0103]

Процессор 412 последовательности категорий может быть сконфигурирован для определения одной или нескольких последовательностей категории. В вариантах осуществления процессор 412 последовательности категорий может быть сконфигурирован для определения одной или нескольких последовательностей категории на основе предмета изобретения. В вариантах осуществления процессор 412 последовательностей категорий может определять одну или более последовательностей категорий посредством доступа к хранилищу предварительно определенных последовательностей категорий. В вариантах осуществления хранилище предварительно определенных последовательностей категорий может храниться в базе данных 413. В вариантах осуществления база данных 413 может включать в себя одну или несколько последовательностей категорий, которые соответствуют различным предметам. Например, последовательность категорий первой операции, затем лучевой, затем химиотерапии, а затем эндокринной терапии может соответствовать предмету онкологии. В вариантах осуществления различные категории категории могут быть выбраны для различных предметов. В некоторых вариантах осуществления процессор последовательности категорий может быть в состоянии отсеять / не включать в себя последовательности категорий, которые не являются релевантными или нецелесообразными.
[0104]

Сортировщик 414 ответов может быть сконфигурирован для сортировки группы ответов по различным категориям ответов. Сортировщик 414 ответов может сортировать группу ответов путем классификации ответов, относящихся к одной или нескольким категориям ответов. Например, сортировщик 414 ответов может сортировать первый набор ответов в первую категорию ответов, классифицируя первый набор ответов как относящийся к первой категории ответов.
[0105]

В вариантах осуществления сортировщик 414 ответов может использовать анализ естественного языка для сортировки группы ответов. Например, в вариантах осуществления сортировщик 414 ответов может анализировать группу ответов, чтобы идентифицировать семантические признаки, которые соответствуют одной или нескольким категориям ответов. Сортировщик 414 ответов может затем сортировать ответы группы ответов на категории ответов, которые соответствуют идентифицированным семантическим признакам.

[0106]

В некоторых вариантах осуществления сортировщик ответов может сортировать группу ответов, используя методы сопоставления понятий, как описано в данном документе.
[0107]

Сортировщик ответов может включать в себя секвенсор 416 ответов. Секвенсор 416 ответов может быть сконфигурирован для генерации одной или нескольких последовательностей ответов. В вариантах осуществления секвенсор 416 ответов может генерировать одну или несколько последовательностей ответов на основе группы ответов и одной или нескольких последовательностей категорий. Например, секвенсор ответов может собирать последовательность ответов, включающую в себя группу ответов из каждой категории ответов, включенных в данную последовательность категорий, группу ответов, упорядоченную на основе последовательности категорий.
[0108]

В дополнительном примере сортировщик 414 ответов может сортировать первый набор ответов в первую категорию ответов и второй набор ответов во вторую категорию ответов. От процессора 412 последовательности категорий последовательность категорий может включать в себя первую категорию ответов, за которой следует вторая категория ответов. Секвенсор 416 ответов может генерировать одну или несколько последовательностей ответов из первого и второго наборов ответов. Например, последовательность ответов может включать в себя первый ответ из первого набора ответов, за которым следует второй ответ из второго набора ответов. В вариантах осуществления секвенсор ответов может генерировать различные возможные комбинации ответов в первом и втором наборе ответов, чтобы генерировать одну или несколько последовательностей ответов. В вариантах осуществления одна или несколько последовательностей ответов затем могут быть представлены как ответ на входной запрос.
[0109]

Обращаясь теперь к фиг. На фиг.5 показана схема 500 управления ответами в соответствии с вариантами осуществления настоящего раскрытия. Диаграмма изображает систему, включающую в себя предметный процессор 506, процессор 508 категорий ответов, секвенсор 512 категорий, сортировщик 514 ответов и секвенсор 516 ответов.
[0110]

Данные в среде QA, такие как запрос 502 ввода и группа ответов 504, сгенерированные в ответ на запрос 502 ввода, могут быть введены в процессор 506 предмета. Процессор 506 предмета может быть таким же или по существу аналогичным процессор 402 объекта (фиг. 4), как описано здесь. Процессор 506 предмета может быть сконфигурирован для определения предмета для данных в среде QA, и предмет может использоваться, как описано здесь, для определения категорий ответов и последовательностей категорий для системы QA.

[0111]
Процессор 508 категорий ответов может быть сконфигурирован для определения категорий ответов для системы обеспечения качества. Процессор 508 категории ответа может быть таким же или по существу аналогичным процессору 410 категории ответа (фиг.4). Процессор категорий ответов может определять набор категорий 510A-510C ответов путем доступа к базе данных категорий ответов, соответствующих предмету.

[0112]
Секвенсор 512 категорий может быть сконфигурирован для определения последовательности категорий 510А-510С ответов. Например, секвенсор 512 категорий может определять последовательность категорий первой категории 510А ответа, затем третьей категории 510С ответа и затем второй категории 510В ответа. В вариантах осуществления секвенсор 512 категорий может определять последовательность категорий путем доступа к базе данных последовательностей категорий, соответствующих предмету изобретения.

[0113]
Сортировщик 514 ответов может быть сконфигурирован для сортировки группы 504 ответов по категориям 510А-510С ответов. Сортировщик 514 ответов может быть таким же или по существу похожим на сортировщик 414 ответов (фиг. 4). Как видно на фиг. 5, сортировщик 514 ответов может быть сконфигурирован для сортировки группы ответов 504 по набору категорий 510A-510C ответов для формирования набора отсортированных ответов 515. Например, ответ A и ответ E сортируются в категорию 510A ответов. Ответ B и ответ C сортируются по категории 510C ответа, а ответ D сортируется по категории 510B.

[0114]
Секвенсор 516 ответов может быть сконфигурирован для генерации одной или нескольких последовательностей 517 ответов из набора отсортированных ответов 515. Секвенсор 517 ответов может быть таким же или по существу аналогичным, что и секвенсор 416 ответов (фиг. 4). Секвенсор ответов может быть сконфигурирован для генерации одной или нескольких последовательностей 517 ответов путем выбора ответа из одной или нескольких категорий ответов в порядке, соответствующем последовательности категорий. Например, одна или несколько последовательностей ответов 517 могут включать в себя последовательность ответов ответа A, затем ответа B и затем ответа D. Как видно на фиг. 5, секвенсор 516 ответов может формировать одну или более последовательностей 517 ответов из различных комбинаций отсортированных ответов 515 в порядке согласно последовательности категорий. Одна или несколько последовательностей ответов могут быть представлены пользователю для удовлетворения входного запроса 502.

[0115]
Обращаясь теперь к фиг. 6 показана блок-схема последовательности операций способа 600 управления ответом в среде с ответом на вопрос (QA) в соответствии с вариантами осуществления настоящего раскрытия. На этапе 602 может быть принят входной запрос. Входной запрос может быть запросом данных в систему обеспечения качества от пользователя. Входной запрос может быть таким же или по существу похожим, как описано здесь. На этапе 604 может быть сгенерирована группа ответов. Группа ответов может быть сгенерирована генератором ответов в системе обеспечения качества путем получения ответов из источников данных, таких как базы данных и / или информационные корпуса.

[0116]

На этапе 606 предмет может быть определен. Предмет может быть таким же или по существу похожим, как описано здесь. Предметом может быть контекстная информация, связанная с данными в среде QA. Например, в вариантах осуществления предметом может быть тема входного запроса. В некоторых примерах предметом может быть тема группы ответов, генерируемых в ответ на входной запрос.

[0117]
На этапе 608 может быть определен набор категорий ответов. Набор категорий ответов может быть таким же или по существу похожим, как описано в данном документе. Категории ответов могут быть классификациями для группы ответов, чтобы помочь в организации ответов. В вариантах осуществления категория ответа может быть описанием высокого уровня действия, предложенного ответом, как описано здесь.

[0118]
На этапе 610 группа ответов может быть отсортирована по набору категорий ответов. Группу ответов можно отсортировать путем классификации ответов, относящихся к одной или нескольким категориям ответов. Например, первый набор ответов может быть отсортирован по первой категории ответов путем классификации первого набора ответов как относящегося к первой категории ответов. В вариантах осуществления ответы могут быть отсортированы по категориям ответов с использованием анализа естественного языка, как описано здесь.

[0119]
На этапе 612 может быть определен набор последовательностей категорий. Последовательности категорий могут быть такими же или по существу похожими, как описано в данном документе. Описанная здесь последовательность категорий может представлять собой различные последовательности категорий ответа. Как описано здесь, последовательности категорий могут быть определены на основе предмета изобретения. В вариантах осуществления набор последовательностей категорий может быть доступен из базы данных системой QA. Например, одна или несколько последовательностей категорий могут быть предварительно определены и сохранены для доступа, когда системе QA поручено задание, соответствующее набору последовательностей категорий.

[0120]
На этапе 614 может быть установлена ​​последовательность ответов. Последовательность ответов может быть такой же или практически аналогичной описанной здесь. Как описано в данном документе, последовательность ответов может быть сформирована путем выбора группы ответов из одной или нескольких категорий ответов в порядке, соответствующем последовательности категорий.

[0121]
Обращаясь теперь к фиг. На фиг.7 показана блок-схема последовательности операций способа 700 управления отношениями ответа в среде QA в соответствии с вариантами осуществления настоящего раскрытия. На этапе 702 последовательность ответов может быть идентифицирована. Последовательность ответов может включать любое количество ответов. В некоторых вариантах осуществления последовательность ответов может быть сгенерирована с использованием некоторых или всех операций способа 600, как показано на фиг. 6. На этапе 704 корпус может быть проанализирован с использованием ответов последовательности ответов. В некоторых вариантах осуществления это может принимать форму поиска по ключевым словам с ответами, действующими как ключевые слова. Кроме того, в некоторых вариантах осуществления анализ может включать в себя анализ корпуса на основе ответов.

[0122]
В операциях 706-714 факторы влияния могут быть идентифицированы посредством прямых оценок отношений влияния (для операций 706 и 708) и / или посредством оценок характеристических отношений (для операций 710, 712 и 714). В некоторых вариантах осуществления факторы влияния могут быть идентифицированы на основе факторов настроения (которые описаны здесь в другом месте), связанных с двумя или более ответами. Кроме того, в некоторых вариантах осуществления факторы влияния могут быть такими же или по существу похожими на компоненты влияния (которые также описаны здесь в другом месте). Как описано в данном документе, фактором влияния может быть взаимодействие или результат, который может произойти, если оба ответа пары ответ-ответ последовательности ответов используются оба, как предусмотрено в этой конкретной последовательности ответов. Кроме того, фактором влияния может быть описание или оценка (с точки зрения положительного или отрицательного, вероятного или маловероятного и т. Д.) Эффекта, о котором известно, что один ответ имеет другой ответ (влияние в одном направлении) или два ответа как известно, оказывают друг на друга (влияние двух направлений). Кроме того, фактор влияния может быть мерой или информацией о совместимости двух ответов последовательности ответов, которая выводится на основании взаимодействий между каждым из двух ответов и одной или несколькими общими (например, общими) концепциями. В качестве примера в области выпечки рассмотрим сценарий, в котором последовательность ответов включает в себя первый ответ «добавить ингредиент А» и второй ответ «немедленно перемешать». В этом сценарии возможны несколько различных факторов влияния. Например, если ингредиент А становится сильно комковатым, если его сразу же перемешать, то возможны факторы влияния «вероятность возникновения комкования компонента А» или «второй ответ, который может оказать негативное влияние на первый ответ».

[0123]
На этапе 706 отношения непосредственного влияния в парах ответ-ответ могут быть идентифицированы на основе анализа корпуса. Как описано здесь, отношение прямого влияния может быть явным, непосредственным отношением между ответами конкретной пары ответ-ответ. Кроме того, отношение прямого влияния также может быть связью первой степени между ответами пары ответ-ответ, обнаруженной на основе анализа корпуса. Например, в области онкологии в последовательности ответов, включающей первый ответ «лечить пациента с помощью химиотерапии А в течение четырех недель» и второй ответ «лечить пациента с помощью эндокринной терапии Y», может существовать прямая зависимость между первый и второй ответы, которые могут быть обнаружены в корпусе (например, медицинский журнал), который содержит отрывок, в котором говорится, что «[a] пациент не должен проходить эндокринную терапию Y, если пациент получал или получит более одной недели химиотерапии А. »На этапе 708 факторы влияния могут быть идентифицированы на основе отношений прямого влияния, определенных на этапе 706. В этом примере онкологии сильно отрицательный фактор влияния может быть идентифицирован как соответствующий первому ответу и второму ответу на основе отрывок из медицинского журнала.

[0124]
На этапе 710 характерные отношения между ответами и характеристиками могут быть идентифицированы на основе анализа корпуса. Как описано здесь, характеристика может относиться к элементу, признаку или признаку. Кроме того, как описано в данном документе, характеристическое отношение может относиться к отношению между конкретным ответом последовательности ответов и конкретной характеристикой. В некоторых вариантах осуществления характеристическое отношение может включать или помечаться атрибутами, которые описывают, являются свидетельством и / или количественно определяют характер отношения между ответом и характеристикой. Например, в области ИТ-поддержки ответ «установить новый ЦП» может иметь характерные отношения с характеристиками «дорогой» и «простой в исполнении» (например, когда существует первая взаимосвязь между этапом установки нового ЦП и характеристика того, чтобы быть дорогим и где есть вторая взаимосвязь между этапом установки нового ЦП и характеристикой простоты выполнения). В этом примере характерное соотношение между «установить новый ЦП» и «дорогим» может включать атрибут «примерно 700 долларов» (например, если стоимость около 700 долларов США свидетельствует о том, почему установка нового ЦП имеет отношение с характеристикой дорого), а характерные отношения между «установить новый ЦП» и «легко выполнить» могут включать в себя отрицательную корреляцию (например, если установка нового ЦП считается непростой).

[0125]
На этапе 712 могут быть сделаны сравнения между характеристическими отношениями, имеющими общие (например, общие) характеристики и разные (например, не общие) ответы в последовательности ответов. На этапе 714 на основе сравнения этих характеристических отношений можно определить факторы влияния как соответствующие ответам этих характеристических отношений. Сравнение характеристических отношений описано со ссылкой на фиг. 8.

[0126]
В операции 716 факторы влияния, идентифицированные в операциях 706-714, могут быть сгруппированы в наборы факторов влияния на основе пары ответ-ответ, которой принадлежит каждый фактор влияния. Например, в последовательности ответов, включающей ответы E, F, G и H, в некоторых вариантах осуществления может быть до шести различных пар ответов (EF, EG, EH, FG, FH и GH) и, следовательно, до шести различных наборов факторов влияния, в которые можно сгруппировать данный фактор влияния. На этапе 718 отношения ответов генерируются для каждой возможной пары ответ-ответ на основе набора факторов влияния, соответствующих обоим ответам этой пары ответ-ответ. Каждое отношение ответа может представлять собой совокупность определенного набора факторов влияния. В некоторых вариантах осуществления отношения ответов могут быть мерами или индикаторами того, как ответы могут взаимодействовать или влиять друг на друга (или влиять на последовательность ответов в целом), если используется последовательность ответов. Кроме того, в некоторых вариантах осуществления для пар «ответ-ответ», не имеющих общих факторов влияния, можно считать, что отношения ответов между этими ответами, образующими пару, отсутствуют, или могут рассматриваться как отношения нулевого или нейтрального ответа. Например, чтобы продолжить приведенный выше пример EFGH, если нет никаких факторов влияния, соответствующих паре E-F, то отношение между ответом E и ответом F можно считать нейтральным отношением ответа. На этапе 720 идентифицированная последовательность ответов может оцениваться на основе отношений ответов.

[0127]
Чтобы помочь пониманию, упрощенный вариант способа 700 выполняется в примерном сценарии. В этом примере домовладелец системы обеспечения качества задает вопрос «Какие шаги я должен предпринять, чтобы получить красивый газон в моей собственности в Аризоне?». Система QA идентифицирует несколько последовательностей ответов (на операцию 702). Одна из последовательностей ответов включает в себя первый ответ «сорт X травы растения весной» и второй ответ «добавьте удобрение Y на газон летом». В этом примере оба ответа включены в последовательность ответов, по крайней мере частично, потому что система обеспечения качества определяет, что они оба хорошо работают в жарком и сухом климате. Корпус газонных и садовых журналов анализируется системой QA с использованием двух ответов (на операцию 704). В ходе анализа был обнаружен отрывок, в котором говорится, что «было доказано, что [f] средство для удобрения Y плохо работает на некоторых газонах, имеющих сорт X травы». На основе этого отрывка определяется прямая зависимость между ответами (на операцию 706 ). На основе отношения прямого влияния идентифицируется отрицательный фактор влияния, соответствующий обоим ответам (на операцию 708). Также на основе анализа корпуса, характерные отношения идентифицируются между каждым ответом и характеристикой «переносит жаркий климат» (на операцию 710). Поскольку эти характеристические отношения имеют эту общую характеристику, они сравниваются (для каждой операции 712). На основании сравнения положительный характерный фактор влияния определяется как соответствующий обоим ответам (на операцию 714). Фактор прямого влияния и фактор влияния, основанный на характеристиках, группируются для формирования набора факторов влияния, соответствующих обоим ответам (для операции 716). На основе набора факторов влияния (в данном случае двух факторов влияния) между двумя ответами создается отношение ответа (для каждой операции 718). В этом примере отрицательный фактор прямого влияния и положительный фактор влияния, основанный на характеристике, взвешиваются друг против друга, но в целом отрицательный фактор влияния взвешивается более сильно (например, если отрицательный фактор влияния определяется как более влиятельный), и Итоговый ответ отрицательный. На основе отношения ответа оценивается последовательность ответов (для каждой операции 720). В этом случае из-за отрицательного отношения ответа показатель достоверности последовательности ответов уменьшается, и в результате эта конкретная последовательность ответов представляется домовладельцу с более низким рейтингом (по сравнению с другими последовательностями ответов), чем было бы Был случай, если ответ отношения не были рассмотрены.

[0128]
Обращаясь теперь к фиг. На фиг.8 показана схема примера помеченной последовательности 800 ответов, включающей в себя характерные отношения, отношения прямого влияния и отношения ответа, в соответствии с вариантами осуществления настоящего раскрытия. Как показано, примерная последовательность 800 ответов включает в себя ответ A 801, ответ B 802 и ответ C 803. В некоторых вариантах осуществления это означает, что последовательность 800 ответов может включать в себя множество различных порядков или комбинаций этих трех ответов (ответ A сопровождается ответом B, за которым следуют ответ C, ответ A и ответ C, происходящие практически одновременно, а затем ответ B и т. Д.). В некоторых вариантах осуществления точное упорядочение ответов может иметь или не иметь значения для целей установления отношений ответов (например, в некоторых вариантах осуществления последовательность ABC ответов может рассматриваться как последовательность ответов BCA).

[0129]
Как показано, существует только один интересующий фактор прямого влияния при оценке последовательности 800 ответов. В частности, существует фактор прямого влияния A / B 811, соответствующий как ответу A 801, так и ответу B 802. Этот фактор прямого влияния A / B 811 может основываться на взаимосвязи прямого влияния между ответом A 801 и ответом B 802. Также показаны четыре характеристики (a, b, c и d) 807-810 и шесть характерных взаимосвязей (A / a, A / b, B / b). , B / c, B / d и C / d) 814-819. Две пары характеристических отношений (A / b и B / b, B / d и C / d), 815 и 816, и 818 и 819, имеют общие характеристики (b и d соответственно), 808 и 810, и разные ответы , Путем сравнения этих пар характеристических отношений можно идентифицировать два фактора влияния на основе характеристики, а именно: фактор 812 влияния на основе характеристики b, соответствующий как ответу A 801, так и ответу B 802, и коэффициент 813 влияния на основе характеристики d, соответствующий обоим ответам B 802 и ответ C 803.

[0130]
Кроме того, как показано, отношения ответа могут быть сгенерированы на основе наборов факторов влияния. В частности, первый набор факторов влияния (включая характеристический фактор влияния 812 на основе b и прямой фактор влияния A / B 811) можно использовать для генерации отношения ответа A / B 804 между ответом A 801 и ответом B 802. Аналогично, второй набор факторов влияния (включая характеристический фактор влияния 813 на основе d) может использоваться для генерации отношения ответа B / C 805 между ответом B 802 и ответом C 803. Кроме того, поскольку отсутствуют факторы влияния, соответствующие обоим ответам Отношение 801 и ответ C 803, отношение ответа A / C 806, в некоторых вариантах осуществления может считаться несуществующим или нейтральным. После того как каждое из отношений ответа 804-806 было сгенерировано, их можно использовать для оценки последовательности 800 ответа.

[0131]
Обращаясь теперь к фиг. 9 показана блок-схема последовательности операций способа 900 оценки последовательности ответов на основе отношений ответов в соответствии с вариантами осуществления настоящего раскрытия. На этапе 902 последовательность ответов идентифицируется. На этапе 904 могут быть идентифицированы отношения ответов последовательности ответов. В некоторых вариантах осуществления операция 904 может включать в себя выполнение некоторых или всех операций способа 700, показанного на фиг. 7. На этапе 906 оценка отношения может быть назначена каждому отношению ответа последовательности ответов. Как описано в данном документе, оценка отношения может указывать меру воздействия, которое два ответа могут оказать друг на друга, или того, насколько хорошо они могут взаимодействовать в данной последовательности ответов. Оценка отношений может быть положительной или отрицательной (например, благоприятной или не благоприятной). В некоторых вариантах осуществления оценки отношений могут основываться на факторах влияния. Кроме того, в некоторых вариантах осуществления правила оценки ответов могут использоваться для определения оценок отношений.

[0132]
На этапе 908 принятия решения может быть выполнено определение относительно того, существуют ли какие-либо оценки отношений ниже порога противопоказаний для отношений. Как описано в данном документе, порог противопоказания для отношения может относиться к минимальному приемлемому уровню для оценки отношения (например, наиболее отрицательной, что оценка отношения может быть еще при этом приемлемой). Если данный показатель отношения ниже этого порога, то последовательность ответов, с которой связан данный показатель отношения, может быть противопоказана. Как описано в данном документе, последовательность ответов может считаться противопоказанной, когда она считается непригодной или неподходящей в результате отрицательной оценки отношения ответа для ответов этой конкретной последовательности ответов. В некоторых вариантах осуществления использование такого порогового значения может помочь гарантировать, что строго отрицательная связь между двумя ответами последовательности ответов может помешать пользователю рекомендовать ответ. В вариантах осуществления пороговые значения противопоказаний для отношений могут быть более терпимыми или менее терпимыми к отрицательным оценкам отношений. Менее толерантный порог может применяться, например, в ситуациях, когда более важно убедиться, что отрицательные взаимодействия между ответами конкретной последовательности ответов ограничены, если эта последовательность ответов должна быть представлена ​​пользователю (например, в медицинской установка лечения).

[0133]
Если на этапе 908, по меньшей мере, один показатель отношения ниже порогового значения, то на этапе 910 вся последовательность ответов может быть идентифицирована как противопоказанная. В некоторых вариантах осуществления эта идентификация противопоказания может означать, что последовательность ответов даже не представляется пользователю в качестве возможной последовательности ответов; или, в других вариантах осуществления, ответная последовательность может быть представлена ​​только вместе с предупредительной надписью и описанием причины противопоказания. В качестве примера рассмотрим общую последовательность ответов JKLM. Если отношение ответа между L и M имеет оценку отношения ниже порогового значения, тогда последовательность ответов JKLM может быть идентифицирована как противопоказанная, даже если все остальные отношения ответа (между J и L, между K и M и т. Д.) Все связанные с отношениями оценки выше порога.

[0134]
Если в операции 908 все оценки взаимосвязи превышают порог противопоказания взаимосвязи, то для операции 912 для последовательности ответов может быть назначена доверительная оценка. Оценка достоверности может быть частично основана на оценках отношения, связанных с последовательностью ответов. В некоторых вариантах осуществления, где исходная доверительная оценка была назначена последовательности ответов до оценки отношения ответа, может быть назначена пересмотренная доверительная оценка. Пересмотренная оценка достоверности может основываться как на исходной оценке достоверности, так и на показателях взаимосвязи.

[0135]
ИНЖИР. 10 является блок-схемой, иллюстрирующей способ 1000 для управления последовательностями ответов, в соответствии с вариантами осуществления настоящего раскрытия. Аспекты фиг. 10 направлены на определение первой последовательности ответов с использованием данных заказа для первого набора ответов. Способ 1000 может начинаться в блоке 1002 и заканчиваться в блоке 1012. В соответствии с различными вариантами осуществления способ 1000 может включать в себя блок 1004 синтаксического анализа, блок 1006 обнаружения, блок 1008 идентификации и блок 1010 определения.

[0136]
В соответствии с различными вариантами осуществления, на этапе 1004 способ 1000 может включать в себя синтаксический анализ посредством обработки на естественном языке набора данных для предмета. Предмет может включать контент или данные, относящиеся к конкретной теме, теме или концепции. Техника обработки на естественном языке может быть сконфигурирована для анализа синтаксических и семантических данных совокупности данных. В некоторых вариантах осуществления совокупность данных для предмета может быть базой данных, включающей в себя один или несколько типов контента, относящегося к конкретной теме или предмету. Типы контента могут включать, например, результаты исследований, результаты практических испытаний, журнальные статьи, исторические данные или тому подобное. Например, в некоторых вариантах осуществления база данных может включать в себя медицинские исследования, журнальные статьи и другие виды контента, относящиеся к предмету лечения онкологии. В качестве дополнительного примера база данных может включать в себя контент, относящийся к одному или нескольким другим предметам, таким как садоводство, компьютерная техническая поддержка или пчеловодство. Другие предметы также возможны. В определенных вариантах осуществления предметный контент в базе данных может быть организован, классифицирован и помечен. Например, предметный контент в базе данных может быть организован или структурирован путем связывания понятий и подтем вместе с использованием структуры онтологии. В некоторых вариантах осуществления корпус данных может соответствовать информационному корпусу 326 на фиг. 3.

[0137]
Как описано в данном документе, на этапе 1004 способ может включать в себя синтаксический анализ совокупности данных для предмета с использованием технологии обработки естественного языка. Техника обработки на естественном языке может быть сконфигурирована для анализа как структурированных данных (например, таблиц, графиков), так и неструктурированных данных (например, текстового содержимого, содержащего слова, числа, даты). В некоторых вариантах осуществления технология обработки на естественном языке может представлять собой программный инструмент, виджет или другую программу, сконфигурированную для анализа и идентификации семантических и синтаксических элементов и отношений, присутствующих в корпусе данных. Более конкретно, методика обработки естественного языка может быть сконфигурирована для анализа грамматических составляющих, частей речи, контекста и других взаимосвязей (например, модификаторов) совокупности данных. Техника обработки на естественном языке может быть сконфигурирована для распознавания ключевых слов, контекстной информации и тегов метаданных, связанных со словами, фразами или предложениями в совокупности данных. В некоторых вариантах осуществления технология обработки на естественном языке может анализировать сводную информацию, ключевые слова, подписи к рисункам или текстовые описания, включенные в совокупность данных, и идентифицировать синтаксические и семантические элементы, присутствующие в этой информации. Синтаксические и семантические элементы могут включать в себя такую ​​информацию, как частота слов, значения слов, шрифт текста, курсив, гиперссылки, собственные имена, словосочетания, части речи или контекст окружающих слов. Другие синтаксические и семантические элементы также возможны.

[0138]
В определенных вариантах осуществления на этапе 1006 способ 1000 может включать в себя обнаружение, на основе анализа, первого набора ответов и второго набора ответов. Первый набор ответов может включать в себя первый ответ, принадлежащий первой категории ответов, и второй набор ответов, принадлежащий второй категории ответов. В некоторых вариантах осуществления первая и вторая категории ответов могут соответствовать предмету. Обычно ответ (например, первый ответ, второй ответ) может относиться к объекту данных или концепции, которая может быть возвращена в ответ на запрос (например, вопрос в системе ответа на вопрос). В определенных вариантах осуществления ответ может соответствовать конкретному существительному, сущности, операции или действию. Например, в ответ на вопрос о названии национальной птицы ответ может быть возвращен как «белоголовый орлан. В определенных вариантах осуществления ответ может соответствовать категории ответа. Категория ответа может быть разделением или классом понятий или идей, которые включают ответ. Например, ответ «белоголовый орлан» может соответствовать категории ответов «птицы». Кроме того, каждая категория ответов может соответствовать теме. Как описано в данном документе, предметом может быть содержание или данные, относящиеся к конкретной теме, теме или концепции, и они могут включать в себя категорию ответа. В качестве примера, ссылаясь на приведенный выше пример, категория ответа «птицы» может относиться к предмету «животные», «живая природа» и т.п.

[0139]
Как описано в данном документе, на этапе 1006 способ 1000 может включать в себя обнаружение первого набора ответов и второго набора ответов на основе анализа совокупности содержимого, относящегося к предмету. В определенных вариантах осуществления первый и второй набор ответов могут быть обнаружены системой обработки естественного языка. Например, обработка на естественном языке может определять слова, фразы или данные, присутствующие в корпусе, которые соответствуют вопросу, полученному системой ответа на вопрос. Ответы могут быть помечены или помечены идентификатором для обозначения соответствия вопросу. В качестве примера, в определенных вариантах осуществления система ответа на вопрос может получить вопрос, связанный с вариантами лечения для конкретного медицинского состояния. Ответы на этот вопрос могут включать различные виды лечения. Медицинские процедуры могут соответствовать определенным категориям (например, категориям ответов), которые представляют большую группу процедур. Более конкретно, способ 1000 может включать в себя обнаружение первого набора ответов, включающего в себя первый ответ «антиметаболиты» и второй ответ «криохирургия». Первый ответ может соответствовать первой категории ответа «химиотерапия» и второму ответу может соответствовать второй категории ответа «хирургия». Как первая, так и вторая категории ответа могут соответствовать такой теме, как «лечение рака». Также возможны другие типы ответов и категории ответов.

[0140]
В соответствии с различными вариантами осуществления, на этапе 1008 способ 1000 может включать в себя идентификацию, на основе синтаксического и семантического контента, первого набора данных упорядочения для первого набора ответов. Первый набор данных упорядочения может быть структурированными или неструктурированными данными или информацией, которая предлагает (например, явно или неявно) конкретный порядок или последовательность для первого ответа и второго ответа. Первый набор данных упорядочения может быть идентифицирован с использованием синтаксического содержимого совокупности данных, семантического содержимого совокупности данных или обоих. В качестве примера, в определенных вариантах осуществления данные упорядочения могут быть таблицей, которая задает последовательность этапов, на которых выполняются определенные процессы. В некоторых вариантах осуществления данные заказа могут быть извлечены из текстового содержимого совокупности данных. Например, совокупность данных может указывать дату или день недели, когда был выполнен первый шаг, и другую дату или день недели, когда был выполнен второй шаг. Используя указанную дату или день недели, обработка на естественном языке может определить порядок первого шага и второго шага. Кроме того, способ 1000 может идентифицировать ключевые слова, такие как «первый», «после», «до», «последний» и другие слова, которые могут указывать временный порядок. Как описано здесь, методика обработки естественного языка может быть сконфигурирована для идентификации данных упорядочения как из неструктурированных, так и из структурированных сред данных.

[0141]
В качестве примера рассмотрим следующий абзац, который может быть сообщением на доске объявлений, возвращенным в ответ на запрос, связанный с исправлением компьютера:
Чтобы починить свой ноутбук, мне пришлось переустановить операционную систему. Однако до этого я сделал резервную копию всех своих данных на большом внешнем жестком диске, а затем приступил к форматированию внутреннего жесткого диска моего ноутбука. Затем я сделал раздел на только что отформатированном жестком диске для новой ОС. После перезапуска системы и изменения приоритета загрузки для загрузки с привода DVD, я вставил свой компакт-диск с ОС, перезапустил систему и следовал инструкциям по переустановке операционной системы. Затем я заменил свои резервные копии на жесткий диск своего ноутбука, и, прежде чем я это понял, он работал как новый.

[0143]
Как описано в данном документе, способ 1000 может обнаруживать ответы, включая «Резервное копирование данных», «Формат жесткого диска», «Раздел жесткого диска», «Перезагрузка системы», «Изменение приоритета загрузки», «Вставка компакт-диска ОС», «Перезагрузка системы» «Процесс установки ОС» и «Замена данных». На этапе 1008 способ 1000 может идентифицировать данные заказа в форме временных ключевых слов, таких как «после», «до», «затем», «до», «до» а также другие данные заказа, которые предлагают последовательность для обнаруженных ответов. В определенных вариантах осуществления способ 1000 может включать в себя маркировку идентифицированных данных заказа специальными тегами или идентификаторами. Например, способ 1000 может включать в себя выделение идентифицированных данных заказа или прикрепление тега к каждому экземпляру данных заказа. В некоторых вариантах осуществления способ 1000 может быть сконфигурирован для предоставления отчета с данными заказа, указывающего идентифицированные данные заказа в конкретном корпусе данных (например, для пользователя может быть желательно увидеть факторы, которые повлияли на заказ для определенного набора ответы).

[0144]
В соответствии с различными вариантами осуществления, на этапе 1010 способ 1000 может включать в себя определение, в ответ на идентификацию первого набора данных заказа, первой последовательности ответов, соответствующей порядку первого набора ответов. Первая последовательность ответов может представлять собой последовательность, последовательность или последовательность из одного или нескольких ответов (например, первый набор ответов и второй набор ответов). Расположение ответов в первой последовательности ответов может быть связано с положительным воздействием (например, преимуществами производительности и эффективности) по сравнению с другими порядками или конфигурациями ответов. Как описано в данном документе, в некоторых вариантах осуществления первая последовательность ответов может быть определена с использованием первого набора данных упорядочения, идентифицированных для первого набора ответов. Например, ссылаясь на приведенный выше пример, идентифицированные данные упорядочения, такие как временные ключевые слова «после», «до», «затем», «до» и «обработано», могут использоваться для определения первой последовательности ответа « Формат жесткого диска-Раздел жесткого диска-Перезагрузка системы-Изменение приоритета загрузки-Вставка компакт-диска ОС-Перезагрузка системы-Процесс установки-Замена данных. ”

[0145]
В определенных вариантах осуществления способ 1000 может включать в себя определение второй последовательности ответов. В некоторых вариантах осуществления вторая последовательность ответов может быть определена на основе второго набора данных, отличного от набора данных, используемых для идентификации первой последовательности ответов. В некоторых вариантах осуществления первая и вторая последовательности ответов могут быть определены с использованием одного и того же набора данных. Более конкретно, способ 1000 может включать в себя обнаружение третьего набора ответов, включающего в себя третий ответ, соответствующий третьей категории ответов, четвертый набор ответов, включающий четвертый ответ, соответствующий четвертой категории ответов, и пятый набор ответов, включающий пятую ответ, соответствующий пятой категории ответа. В некоторых вариантах осуществления третья, четвертая и пятая категории ответа могут относиться к предмету изобретения. На основе синтаксического и семантического контента способ 1000 может включать в себя идентификацию второго набора данных упорядочения для третьего, четвертого и пятого наборов ответов. В ответ на идентификацию второго набора данных заказа способ 1000 может включать в себя определение второй последовательности ответов, соответствующей порядку третьего, четвертого и пятого наборов ответов.

[0146]
В некоторых вариантах осуществления способ 1000 может включать в себя установление фактора чувствительности для последовательности ответов. Фактором чувствительности может быть целочисленное значение от 1 до 100, которое представляет относительное чувство (например, отношение, положение, мнение, эмоции), связанное с последовательностью ответов. Как описано в данном документе, фактор чувствительности для последовательности ответов может быть определен на основе анализа контекстной информации, лингвистических данных и семантических элементов, связанных с конкретной последовательностью ответов. В качестве примера, последовательность ответов, которая включает в себя слова и фразы, такие как «неэффективно», «плохая работа» и «проблематично», может быть охарактеризована как имеющая по существу отрицательное мнение, тогда как последовательность ответов, которая связана со словами и фразами, такими как «Чрезвычайно эффективный», «эффективный» и «благоприятный исход» можно охарактеризовать как имеющие по существу положительные настроения. Как описано в данном документе, в определенных вариантах осуществления методика обработки естественного языка может определять фактор чувствительности для первой и второй последовательности ответов. Фактор настроения может быть целочисленным значением, которое характеризует отношение или эмоции совокупности данных относительно последовательности ответов. Например, как описано в данном документе, коэффициент чувствительности может быть целочисленным значением от 1 до 100, где более низкие целые числа указывают обычно более низкое (например, по существу отрицательное или неблагоприятное) настроение, а более высокие целые числа указывают в целом более высокое (например, по существу положительное) или благоприятное) настроение.

[0147]
В некоторых вариантах осуществления способ 1000 может включать в себя сравнение первой последовательности ответов и второй последовательности ответов на основе первого фактора чувствительности и второго фактора чувств. Например, рассмотрим сценарий, в котором первая последовательность ответов имеет первый фактор чувствительности 76, а вторая последовательность ответов имеет второй фактор настроения 53. В ответ на сравнение первого и второго факторов настроения способ 1000 может включать в себя ранг — упорядочение (например, ранжирование, организация, классификация) первой и второй последовательностей ответов на основе сравнения первого и второго факторов настроения. Например, в некоторых вариантах осуществления способ 1000 может включать в себя ранжирование первой последовательности ответов (например, последовательности ответов с большим коэффициентом чувствительности) над второй последовательностью ответов (например, последовательности ответов с меньшим коэффициентом чувствительности). Такой вариант осуществления может обеспечить преимущества, связанные с идентификацией последовательности ответов, связанной с наиболее положительными результатами. Другие способы ранжирования первой и второй последовательностей ответов также возможны.

[0148]
ИНЖИР. Фиг.11 — схема, иллюстрирующая примерную архитектуру 1100 системы для управления последовательностями ответов, в соответствии с вариантами осуществления настоящего раскрытия. Аспекты фиг. 11 направлены на систему обнаружения последовательности ответов для определения последовательности ответов для одного или нескольких ответов и использования обнаруженных последовательностей ответов для генерации неоткрытых последовательностей ответов с использованием модуля последовательности ответов. Как показано на фиг. 11, в некоторых вариантах осуществления примерная архитектура 1100 системы может включать в себя систему 1102 обнаружения последовательности ответов и систему 1126 генерации последовательности ответов. Система 1102 обнаружения последовательности ответов может включать в себя базу 1104 данных предмета, компонент 1104 анализа, модуль идентификации темы. 1106, модуль 1108 выбора корпуса, модуль 1110 разбора корпуса, модуль 1112 установления коэффициента чувств, компонент 1113 обнаружения, модуль 1114 обнаружения набора ответов, модуль 1116 обнаружения категории ответа, компонент 1117 идентификации, идентификация данных заказа модуль 1118, компонент 1119 управления последовательностями ответов, модуль 1120 определения последовательностей ответов, модуль 1122 сравнения последовательностей ответов и модуль 1124 ранжирования последовательностей ответов. Система 1126 генерации последовательностей ответов может включать в себя компонент 1127 управления правилами, вывод атрибутов ответа модуль 1128, модуль 1129 определения правила, включающий в себя модуль 1130 и подмодуль 1132 установления правила, модуль 1134 генерации модели последовательности ответа, модуль 1136 добавления правила, компонент 1137 извлечения взаимосвязи, включающий в себя модуль 1138 извлечения компонента порядка и модуль 1140 извлечения компонента влияния, компонент генерации последовательности ответа 1141 и модуль комбинации ответов 1142.

[0149]
В соответствии с различными вариантами осуществления компонент 1104 анализа может по существу соответствовать блоку 1004 синтаксического анализа по фиг. В некоторых вариантах осуществления модуль 1106 идентификации темы может быть сконфигурирован для определения темы вопроса. Вопрос может быть запросом, заявлением или другим вводом, полученным системой ответа на вопрос. Как описано здесь, тема может быть идентифицирована с использованием методов обработки естественного языка. На основании идентифицированной темы вопроса модуль 1108 выбора корпуса может быть сконфигурирован для выбора совокупности данных для предмета. В определенных вариантах осуществления тема вопроса может быть связана с предметом. Как описано в данном документе, модуль 1110 синтаксического анализа корпуса может быть сконфигурирован для использования технологии обработки естественного языка, сконфигурированной для анализа семантического и синтаксического содержимого корпуса данных. Модуль 1112 установления фактора настроения может быть сконфигурирован для использования семантических характеристик совокупности данных, чтобы установить количественное указание относительных эмоций или отношения, связанных с конкретной последовательностью ответов.

[0150]
В соответствии с различными вариантами осуществления компонент 1113 обнаружения может по существу соответствовать блоку 1006 обнаружения по фиг. 10. В некоторых вариантах осуществления модуль 1114 обнаружения набора ответов может быть сконфигурирован для обнаружения первого ответа и второго набора ответов (например, слов, фраз или данных, присутствующих в корпусе, который соответствует вопросу) в ответе. анализу данных, выполненному модулем 1110 анализа данных. Кроме того, в некоторых вариантах осуществления модуль 1116 обнаружения категории ответа может быть сконфигурирован для обнаружения категорий ответа (например, подразделений или классов концепций или идей, которые включают в себя соответствующий набор ответов), которые соответствуют обнаруженному первому и второму набору ответов.

[0151]
В соответствии с различными вариантами осуществления компонент 1117 идентификации может по существу соответствовать блоку 1008 идентификации по фиг. В некоторых вариантах осуществления модуль 1118 идентификации данных заказа может быть сконфигурирован с использованием проанализированного семантического и синтаксического содержимого совокупности данных для идентификации данных заказа. Данные для упорядочения могут быть структурированными или неструктурированными данными или информацией, которая предлагает (например, явно или неявно) конкретный порядок или последовательность для первого ответа и второго ответа.

[0152]
В соответствии с различными вариантами осуществления компонент 1119 управления последовательностями ответов может по существу соответствовать блоку 1010 определения по фиг. В некоторых вариантах осуществления модуль 1120 определения последовательности ответов может быть сконфигурирован для использования данных заказа, идентифицированных модулем 1118 идентификации данных заказа, для определения последовательности ответов, соответствующей порядку первого набора ответов. Последовательность ответов может представлять собой последовательность, последовательность или последовательность из одного или нескольких ответов (например, первый набор ответов и второй набор ответов). В некоторых вариантах осуществления модуль 1120 определения последовательности ответов может определять несколько последовательностей ответов, соответствующих множеству наборов ответов. Соответственно, в таком варианте осуществления модуль 1122 сравнения последовательностей ответов может сравнивать определенные последовательности ответов друг с другом. В некоторых вариантах осуществления определенные последовательности ответов могут сравниваться с использованием коэффициента чувствительности, связанного с каждой последовательностью ответа (например, коэффициента чувствительности, установленного модулем 1112 установления коэффициента чувствительности). Другие методы сравнения последовательностей ответов также возможны. В некоторых вариантах осуществления модуль 1124 ранжирования последовательностей ответов может быть сконфигурирован для ранжирования сравниваемых последовательностей ответов. Например, модуль 1124 ранжирования последовательностей ответов может ранжировать последовательности ответов на основе фактора чувствительности, связанного с каждой последовательностью ответов (например, последовательности ответов с более высокими коэффициентами настроения ранжируются более заметно). Другие способы упорядочения рангов ответных последовательностей также возможны.

[0153]
Как описано в данном документе, определенные варианты осуществления настоящего раскрытия направлены на создание неоткрытых последовательностей ответов. В некоторых вариантах осуществления генерация неоткрытых последовательностей ответов может включать в себя использование модуля последовательности ответов, включающего в себя набор правил, полученных из ранее обнаруженных последовательностей ответов. Соответственно, в некоторых вариантах осуществления архитектура 1100 системы может включать в себя систему 1126 генерации последовательности ответов. Система генерации последовательности ответов может включать в себя компоненты и модули, сконфигурированные для генерации неоткрытых последовательностей ответов.

[0154]
В соответствии с различными вариантами осуществления система 1126 генерации последовательности ответов может включать в себя компонент 1127 управления правилами. Компонент 1127 управления правилами может включать в себя модули и субмодули, направленные на установление правил для облегчения генерации последовательностей ответов. В некоторых вариантах осуществления компонент 1127 управления правилами может включать в себя модуль 1128 получения атрибута ответа. Модуль 1128 получения атрибута ответа может быть сконфигурирован для получения набора атрибутов ответа для набора ответов. В некоторых вариантах осуществления модуль 1128 получения атрибутов ответа может выводить первый набор атрибутов ответа для первого набора ответов и второй набор атрибутов ответа для второго набора ответов. В некоторых вариантах осуществления получение набора атрибутов ответа может включать в себя использование модуля 1130 идентификации характеристик, чтобы идентифицировать группу характеристик для набора ответов, которые указывают соответствие между первым ответом и вторым ответом. Иными словами, набор атрибутов ответа может включать в себя определенные черты или особенности, которые отличаются от конкретного ответа, и предполагают связь между ответом и другим ответом.

[0155]
Например, рассмотрим пример, в котором пользователь желает сделать дополнительные инвестиции на фондовом рынке. Модуль обнаружения набора ответов может обнаружить первый ответ «PMJ Oil» и второй ответ «AKB Entertainment». Для первого ответа «PMJ Oil» модуль 1128 получения атрибута ответа может получить первый атрибут ответа, такой как « Запас в нефтяных компаниях в настоящее время недооценен », а второй атрибут ответа« Запас в радиовещательных и развлекательных компаниях в настоящее время переоценен ». Как описано здесь, в некоторых вариантах осуществления набор атрибутов ответа может быть получен из семантического и синтаксического контента анализируется методом обработки естественного языка (например, финансовая отчетность компании, редакционные статьи экспертов отрасли и т. п.)

[0156]
В некоторых вариантах осуществления модуль 132 установления правил может быть сконфигурирован для установления правил (например, также упоминаемых здесь как правила последовательности ответов) на основе полученных атрибутов / идентифицированных характеристик для первого ответа и второго ответа. Как правило, правила могут включать в себя принципы, руководящие указания, факты или указания, которые могут использоваться для формализации связи, связи или соответствия между первым ответом и вторым ответом. В определенных вариантах осуществления правила могут определять процедуру, которая описывает предлагаемые средства взаимодействия или последовательный порядок для первого ответа и второго ответа. Например, еще раз рассмотрим приведенный выше пример, в котором первый ответ — «PMJ Oil», а второй — «AKB Entertainment». На основе полученного атрибута первого ответа (например, акции нефтяных компаний в настоящее время недооценены ) и второй атрибут ответа (например, Акции в вещательных и развлекательных компаниях в настоящее время переоценены), модуль 1134 установления правил может определять правило (например, правило первой-второй), такое как «Акция в AKB Entertainment не должна приобретаться до акции». в PMJ Oil »(например, финансовое решение лучше покупать недооцененные акции при низкой цене и избегать покупки акций, цена которых завышена.) В некоторых вариантах осуществления модуль 1132 установления правил может быть сконфигурирован для определения нескольких правила, основанные на производных атрибутах для первого и второго ответа. Хотя настоящий пример был описан в терминах первого ответа и второго ответа, правила, созданные для ситуаций с большим или меньшим количеством ответов, также возможны.

[0157]
В соответствии с различными вариантами осуществления модуль 1134 генерации модели последовательности ответа может быть сконфигурирован для генерирования модели последовательности ответа для управления последовательностями ответа. В некоторых вариантах осуществления модель последовательности ответов может быть базой данных или другим хранилищем последовательностей ответов и правил последовательности ответов. В некоторых вариантах осуществления модель последовательности ответов может включать в себя использование методов машинного обучения, сконфигурированных для анализа последовательностей ответов и правил последовательности ответов, для выведения отношений, связей и других связей между различными ответами, категориями ответов и последовательностями ответов. Например, модель последовательности ответов может включать в себя использование алгоритмов логического вывода для извлечения связей и связей между различными последовательностями ответов. В некоторых вариантах осуществления ссылки и соединения, извлеченные алгоритмами вывода, могут использоваться для генерации дополнительных последовательностей ответов (например, неоткрытых последовательностей ответов). В некоторых вариантах осуществления модуль 1136 добавления правил может быть сконфигурирован для идентификации дополнительных правил (например, на основе третий набор атрибутов ответа для третьего ответа и четвертый набор атрибутов ответа для четвертого ответа) и добавьте их в модель последовательности ответов. Например, модуль 1136 добавления правил может быть сконфигурирован для формализации предполагаемых соединений и связей между двумя конкретными ответами и добавления их к модулю 1134 генерации модели последовательности ответов в форме дополнительных правил.

[0158]
В соответствии с различными вариантами осуществления, как описано в данном документе, компонент 1137 извлечения взаимосвязей может быть сконфигурирован для извлечения взаимосвязей между двумя или более последовательностями ответов для генерации дополнительных последовательностей ответов. Как правило, отношения могут быть выведены на основе атрибутов или характеристик, которые совместно используются несколькими ответами или несколькими последовательностями ответов. В некоторых вариантах осуществления отношения могут быть формализованы как правила более высокого порядка (например, более широкие, чем правила последовательности ответов первого порядка) или принципы, которые управляют взаимодействиями между ответами различных последовательностей ответов. В некоторых вариантах осуществления извлечение взаимосвязи может включать в себя определение компонента заказа и компонента влияния данного ответа (например, первого ответа) относительно другого ответа (например, третьего ответа). В определенных вариантах осуществления первый ответ и третий ответ могут принадлежать отдельным последовательностям ответов.

[0159]
Обычно компонент заказа может включать в себя атрибут или характеристику, которая предлагает или управляет (например, явно или неявно) конкретным заказом или последовательностью для первого ответа относительно третьего ответа. Например, компонент заказа может предполагать, что первый ответ встречается до третьего ответа. В некоторых вариантах осуществления компонент заказа может предполагать, что первый ответ происходит после третьего ответа. Компонент влияния может включать в себя атрибут или характеристику, которые указывают степень влияния, воздействия или влияния, которое конкретный ответ оказывает на другой ответ. Компонент влияния может, в некоторых вариантах осуществления, быть выражен как целочисленное значение между 0 и 100, где более высокие числа указывают на существенно высокое влияние, а меньшие числа указывают на существенно меньшее влияние. Например, в определенных ситуациях может быть очень важно, чтобы определенный ответ в последовательности ответов сопровождался другим ответом (например, определенное лечение должно сопровождаться определенным лекарством.) В определенных ситуациях оно может быть относительно небольшим важно, сопровождается ли конкретный ответ другим ответом (например, включены ли в рецепт пирожного или нет брызги). Соответственно, как описано здесь, компонент 1141 генерации последовательности ответов может быть сконфигурирован для генерации последовательности ответов с использованием первого ответа и третий ответ. В некоторых вариантах осуществления генерация последовательности ответов может включать в себя объединение первого ответа и третьего ответа на основе компонента влияния и компонента заказа.

[0160]
Рисунок 12 изображает пример генерации 1200 последовательности ответов в соответствии с различными вариантами осуществления. Аспекты фиг. 12 направлены на создание неоткрытых последовательностей ответов с использованием правил последовательности ответов, определенных для установленных последовательностей ответов. Более конкретно, пример генерации последовательности ответов 1200 иллюстрирует вариант осуществления настоящего изобретения, направленный на планы лечения онкологических заболеваний. Как показано на фиг. 12, пример генерации 1200 последовательности ответов может включать в себя набор обнаруженных последовательностей 1202 ответа с первой последовательностью 1210 ответа и второй последовательностью 1220 ответа. Пример генерации 1200 последовательности ответа также может включать в себя набор сгенерированных последовательностей 1222 ответа с третья последовательность 1230 ответов и четвертая последовательность 1240 ответов. Каждая последовательность ответов может включать в себя набор ответов (например, химиотерапия C, радиация B и т. д., где химиотерапия C и радиация B представляют собой конкретные ответы / типы лечения в соответствующих категориях ответов «Химиотерапия» и «радиация»)

[0161]
Как описано в данном документе, настоящий пример может иметь место в среде системы ответа на вопросы. Например, как описано здесь, в ответ на запрос «Каков наилучший способ лечения рака у пациента с предоставленной историей болезни?», Система ответа на вопрос может определить, используя совокупность данных, включая заметки врача, медицинскую информацию. В журнальных статьях и научных исследованиях говорится, что планы лечения первой последовательности 1210 ответа и второй последовательности 1220 ответа являются двумя известными планами лечения для пациентов с предоставленной историей болезни. Аспекты настоящего раскрытия направлены на использование модели генерации последовательности ответов, снабженной алгоритмами вывода, для анализа первой последовательности ответов и второй последовательности ответов, а также соответствующих правил последовательности ответов и извлечения отношений, которые облегчают генерацию дополнительных последовательностей ответов. Например, на основе семантической и синтаксической информации, связанной с первой последовательностью ответов (например, прошедшие медицинские испытания, история болезни, онкологические журналы), правило первой последовательности ответов, такое как «Эндокринная А, может безопасно следовать излучению B» для первой последовательность ответов. Аналогично, второе правило последовательности ответов, такое как «Радиация B, может сопровождаться любым типом операции при условии, что химиотерапия C применяется сразу после этого».

[0162]
Соответственно, как описано в данном документе, модель последовательности ответов может быть сконфигурирована для анализа первого правила последовательности ответов и второго правила последовательности ответов и извлечения взаимосвязи между первой последовательностью ответов и второй последовательностью ответов для генерации дополнительных последовательностей ответов. Например, модель последовательности ответов может объединять первое правило последовательности ответов и второе правило последовательности ответов, чтобы сделать вывод, что, поскольку излучение B может безопасно применяться после эндокринной системы A, и любой тип операции может применяться после излучения B, при условии, что оно После химиотерапии С возможны также третья последовательность 1230 ответа и четвертая последовательность 1240 ответа. Соответственно, как описано в настоящем документе, модель последовательности ответов может генерировать третью последовательность 1230 ответов и четвертую последовательность 1240 ответов и добавлять их в хранилище или базу данных известных последовательностей ответов.

[0163]
Обращаясь теперь к фиг. 13 показана концептуальная схема, иллюстрирующая систему 1300 QA, которая классифицирует ответы, отсортированные по категории ответов, в соответствии с вариантами осуществления настоящего раскрытия. Система 1300 может включать в себя модуль 1304 сортировщика ответов и систему 1310 классификатора ответов.

[0164]
Модуль 1304 сортировщика ответов может быть таким же или по существу похожим на систему 414 сортировщика ответов (фиг. 4). Модуль 1304 сортировщика ответов может быть сконфигурирован для сортировки ответов, сгенерированных в ответ на входной запрос, в одну или несколько категорий ответов. Как описано в данном документе, ответы могут включать в себя соответствующие оценки 1302 достоверности ответов, которые представляют 1300 доверительных отношений системы обеспечения качества в каждом сгенерированном ответе.

[0165]
Например, модуль 1304 сортировщика ответов может быть сконфигурирован для сортировки первого набора ответов по первой категории ответов и второго набора ответов по второй категории ответов. Набор 1306 доверительных баллов категории ответов, соответствующий первому набору ответов, может быть отсортирован в первую категорию ответов. Набор 1308 доверительных баллов категории ответов, соответствующий второму набору ответов, может быть отсортирован во вторую категорию ответов.

[0166]
Система классификатора ответов может быть сконфигурирована для управления доверительными данными в системе 1300 обеспечения качества. В вариантах осуществления система 1310 классификатора ответов может быть сконфигурирована для при