US 2009/0327224 A1 | Автоматическая классификация качества поисковой системы

Аннотация

Аспекты предмета, описанного в данном документе, относятся к прогнозированию лучшей поисковой системы для использования для данного запроса. В аспектах предиктор может использовать различные подходы для определения лучшей поисковой системы для данного запроса. Например, предиктор может использовать функции, полученные из самого запроса, то, насколько хорошо запрос соответствует набору результатов, возвращенному поисковой системой в ответ на запрос, и / или информации, которая сравнивает наборы результатов, возвращенные несколькими поисковыми системами, которые предоставляются. запрос. Кроме того, другие данные, такие как пользовательские предпочтения, данные взаимодействия с пользователем, атрибуты метаданных и / или другие данные, могут использоваться при прогнозировании наилучшей поисковой системы для данного запроса. В сочетании с прогнозированием прогнозирующий может использовать классификатор, который был обучен в учебном центре.

 

Предпосылка

Поисковые системы в Интернете предоставляют пользователям быстрый доступ к большей части веб-контента. Хотя пользователи иногда используют другие механизмы, они, как правило, лояльны к одной поисковой системе, даже если она не может удовлетворить их потребности. Пользователь может быть лояльным к одной поисковой системе, несмотря на тот факт, что стоимость переключения механизмов является относительно низкой. Хотя большинство пользователей могут быть довольны своим опытом работы с выбранным им механизмом, могут быть и другие причины, по которым пользователи не выбирают другой поисковик, если им не удалось найти нужную информацию. Например, пользователь может не хотеть неудобств или бремени адаптации к новому движку, не знать, как изменить настройки по умолчанию в своем веб-браузере, чтобы указывать на конкретный механизм, или не знать о других механизмах веб-поиска, которые предоставляют лучший сервис. Так как разные поисковые системы работают хорошо по сравнению с другими поисковыми системами для одних запросов и плохо для других, чрезмерная лояльность поисковых систем может фактически препятствовать способности пользователей осуществлять эффективный поиск.

Коммерческие мета-поисковые системы помогают людям использовать коллективную мощь нескольких поисковых систем. Механизм метапоиска запрашивает несколько поисковых систем, получает результаты от поисковых систем, объединяет результаты и отправляет объединенные результаты пользователю, который запросил поиск. Подход мета-поисковой системы к поиску информации, однако, имеет недостатки по сравнению с поощрением пользователей к активному переключению поисковых систем. Например, при объединении результатов мета-поисковая система может уничтожить преимущества функций интерфейса и оптимизации глобальных страниц, включая разнообразие результатов поиска отдельных движков.

Предмет изобретения, заявленный в данном документе, не ограничен вариантами осуществления, которые устраняют любые недостатки или которые работают только в средах, таких как описанные выше. Скорее, этот фон предоставлен только для иллюстрации одной примерной области технологии, где могут быть реализованы некоторые варианты осуществления, описанные здесь.

 

Резюме

Вкратце, аспекты предмета, описанного в данном документе, относятся к прогнозированию лучшей поисковой системы для использования для данного запроса. В аспектах предиктор может использовать различные подходы для определения лучшей поисковой системы для данного запроса. Например, предиктор может использовать функции, полученные из самого запроса, то, насколько хорошо запрос соответствует набору результатов, возвращенному поисковой системой в ответ на запрос, и / или информации, которая сравнивает наборы результатов, возвращенные несколькими поисковыми системами, которые предоставляются. запрос. Кроме того, другие данные, такие как пользовательские предпочтения, данные взаимодействия с пользователем, атрибуты метаданных и / или другие данные, могут использоваться при прогнозировании наилучшей поисковой системы для данного запроса. В сочетании с прогнозированием прогнозирующий может использовать классификатор, который был обучен в учебном центре.

Это краткое изложение предоставлено для краткого определения некоторых аспектов предмета, который дополнительно описан ниже в подробном описании. Это краткое изложение не предназначено для идентификации ключевых или существенных признаков заявленного предмета изобретения, а также не предназначено для ограничения объема заявленного предмета изобретения.

Фраза «предмет, описанный в данном документе» относится к предмету, описанному в подробном описании, если контекст явно не указывает на иное. Термин «аспекты» следует понимать как «по меньшей мере, один аспект». Идентификация аспектов предмета, описанного в подробном описании, не предназначена для идентификации ключевых или существенных признаков заявленного предмета.

Описанные выше аспекты и другие аспекты предмета, описанного в данном документе, проиллюстрированы в качестве примера и не ограничиваются сопровождающими фигурами, на которых одинаковые ссылочные позиции обозначают подобные элементы и на которых:

 

Краткое описание рисунков

Рисунок 1 — это диаграмма, которая обычно представляет нахождение маршрута с использованием ограничений в соответствии с аспектами предмета, описанного в данном документе;

Рисунок 2 является блок-схемой, которая обычно представляет компоненты и данные, которые могут использоваться и генерироваться в учебном средстве в соответствии с аспектами предмета, описанного в данном документе;

Рисунок 3 является блок-схемой, иллюстрирующей устройство, сконфигурированное для прогнозирования наилучшей поисковой системы для обслуживания запроса в соответствии с аспектами предмета, описанного в данном документе; а также

Рисунок 4-6 являются блок-схемами, которые обычно представляют действия, которые могут происходить при прогнозировании лучшей поисковой системы в соответствии с аспектами предмета, описанного в данном документе.

 

 

 

Подробное описание

Определения

Используемый здесь термин «включает» и его варианты следует понимать как открытые термины, которые означают «включает, но не ограничивается ими». Термин «или» следует понимать как «и / или», если только контекст явно диктует иное.

Автоматическая классификация качества поисковых систем

Как упоминалось ранее, лояльность поисковой системы может фактически препятствовать способности пользователей осуществлять эффективный поиск. В соответствии с аспектами предмета, описанного в данном документе, описан механизм, который прогнозирует наиболее эффективную поисковую систему для данного запроса. Пользователь может использовать любую поисковую систему, которую пожелает пользователь, и предложить альтернативную подсистему, когда, например, предсказано, что другая подсистема работает лучше для текущего запроса пользователя, или когда пользователь кажется неудовлетворенным текущим набором результатов поиска, или когда можно сделать вывод (или пользователь явно указывает), что пользователь желает охватить тему, актуальность набора результатов или другие подобные отличительные признаки в наборе результатов.

Механизм поощряет пользователя использовать несколько поисковых систем, переключаясь на наиболее эффективную систему для данного запроса. В одном варианте осуществления механизм создается как категориальный классификатор и обучается особенностям запроса и страницам результатов от различных механизмов, которые включают заголовки / фрагменты / URL-адреса документов высшего ранга. Другие возможные функции обучения включают в себя рейтинг кликов на каждом из механизмов, перекрытие между наборами результатов, предлагаемыми различными механизмами, временную информацию на страницах в наборах результатов (например, дату создания), информацию о веб-ссылках между страницами и нравится для разных запросов.

Эффективность поисковой системы для данного поискового запроса может быть предсказана на основе ряда характеристик, полученных из таких источников, включая взаимодействие с пользователем (например, доля раз, когда был выполнен запрос и нажатие на результат, средняя позиция рейтинга клика для этого запроса ), оценочная релевантность (например, оценка релевантности, назначенная набору результатов поиска, полученных в результате процесса человеческого суждения), статистика разнесения (например, количество совпадений / корреляция / расхождение между наборами результатов), атрибуты метаданных (например, недавность страниц в наборе результатов), другие источники и тому подобное. Компонент, который оценивает производительность поисковой системы, может определять относительное качество нескольких наборов результатов вместо качества любого отдельного набора результатов.

Релевантность может быть определена алгоритмически в поисковых системах как сила тематической связи между запросом и каждым документом в найденном наборе. Результаты поиска обычно представлены в порядке убывания предполагаемой релевантности.

Разнообразие набора результатов относительно текущей поисковой системы может быть вычислено путем определения того, возвращает ли другая поисковая система результаты, которые охватывают аспекты темы (запросов), которые не охватываются текущей поисковой системой для текущего запроса. Определение относительного разнообразия наборов результатов может включать в себя, например, изучение различий в URL-адресах или содержимом (например, посредством распределений терминов и теоретико-информационных методов) из лучших результатов, возвращаемых каждым из сравниваемых механизмов.

Задание набора результатов указывает, возвращает ли другая поисковая система результаты, которые являются более своевременными, чем текущая поисковая система для текущего запроса. Время ожидания набора результатов может быть определено посредством автоматической проверки времени создания / редактирования результатов поиска, доступной через информацию заголовка протокола передачи гипертекста (HTTP) для страниц результатов, или с помощью других автоматических средств, таких как запрос к услуге (например, предоставленных третьей стороной). или самой поисковой системой) для свежести страницы, или путем извлечения информации из страницы результатов, если она предоставлена поисковой системой.

По данным журналов взаимодействия из поисковой системы можно оценить релевантность результатов поиска, обслуживаемых обработчиком для конкретного запроса, по доле экземпляров запроса, которые приводят к клику по результату поиска (т. Е. По рейтингу кликов). ) или ранжирование клика по результату поиска (т. е. клики по результатам поиска с высоким рейтингом указывают на очень релевантные результаты поиска). Однако, если журналы взаимодействия недоступны, может использоваться альтернативный подход. Один примерный альтернативный подход может быть основан исключительно на особенностях результатов поиска с самым высоким рейтингом от каждого механизма (или даже только от текущего механизма поиска). Эти функции легко доступны.

 

Классификатор переключения

Сравнение наборов результатов поиска из разных поисковых систем может быть смоделировано несколькими способами. Один из подходов состоит в том, чтобы прогнозировать качество результатов для каждого двигателя независимо и затем сравнивать их оценки. Альтернативный подход заключается в одновременном рассмотрении различных двигателей, при этом единственной целью предиктора является правильное определение того, дает ли один двигатель результаты лучшего или равного качества, чем другие двигатели. Поскольку основная проблема, стоящая перед пользователем, — это решение задачи, основанной на паре наборов результатов, этот «связанный» подход является более подходящей абстракцией. Таким образом, цель состоит в том, чтобы научиться принимать классификационные решения о том, выгодно ли переключаться на конкретную альтернативную поисковую систему E ‘с текущей подсистемы E.

Моделирование разницы в качестве между наборами результатов поиска можно рассматривать как задачу регрессии (прогнозирование реальной разницы в качестве между наборами результатов) или как задачу классификации (где предсказание представляет собой вывод того, переключается ли на конкретный Двигатель стоит, без непосредственного обучения количественной оценке ожидаемой разницы в качестве результата). Для моделирования задачи решения о переключении классификация может быть более подходящим выбором, поскольку она наиболее точно отражает задачу принятия решения о переключении. Фактическая полезность переключения для данного пользователя зависит от таких факторов, как относительные затраты на прерывание и выгоды от получения более качественных и / или различных результатов поиска, и может быть включена в задачу классификации посредством концепции разницы в качестве между результатом наборы (путем присвоения «положительных» меток наборам результатов, где разница в качестве превышает минимальное значение, соответствующее утилите переключения).

Формально, пусть данный экземпляр проблемы состоит из запроса q и двух страниц результатов поиска, R из текущей поисковой машины и R ‘для альтернативной поисковой системы. Этот параметр может быть тривиально расширен до более чем двух страниц результатов поиска, однако в следующих обсуждениях для ясности используются два механизма. Пусть заданный запрос q имеет результирующий набор результатов R * = {(d1, s1),. , , , (d ^ Sj,)}, состоящий из k упорядоченных пар URL-суждений, где каждое суждение отражает, насколько хорошо URL удовлетворяет потребности в информации, выраженной в запросе, возможно, в масштабе от 0 (плохо) до 5 (идеально). Затем производительность каждой поисковой системы для запроса можно вычислить с помощью их оценок нормализованного дисконтированного совокупного усиления (NDCG) на основе возвращенных наборов результатов: U (R) = ND-CGJJ- (R) и U (R ‘) = NDCGJ }-(Р’). DCG является мерой актуальности. «Уцененные» означает, что URL-адреса, расположенные ниже по списку, оказывают меньшее влияние на показатель. «Кумулятивный» означает, что это показатель по верхним N результатам, а не только один результат. «Усиление» означает, что чем больше, тем лучше. DCG может быть нормализованным (например, NDCG), где N означает «нормализованный», что означает, что для данного запроса DCG делится на максимально возможную DCG для этого запроса. Поэтому NDCG принимает значения в диапазоне [0,1]. Производительность также может быть измерена с использованием других метрик, включая, например, MAP (средняя средняя точность), другие метрики и тому подобное.

Предположим, что пользователь выигрывает от переключения поддержки, если альтернативный поисковик предоставляет результаты, полезность которых отличается как минимум на eisO. Затем набор данных таких запросов Q = {(q, R, R ‘, R *)} дает набор соответствующих экземпляров и меток, D = {(x, y)}, где каждый экземпляр x = f (q, Rl5R2) состоит из признаков, полученных на страницах запросов и результатов, как описано в следующем разделе, и соответствующая двоичная метка y кодирует, отличается ли производительность механизма назначения от производительности механизма источника по крайней мере на e: y = IsTrue (NDCGJ} — (R «) gNDCGJ} — (R) +6). Хотя NDCG оптимизируется при создании экземпляра классификатора, его можно оптимизировать для любого разумного показателя производительности извлечения (например, точности, отзыва, других показателей производительности и т.п.). Если M (R) является метрикой, измеренной на множестве R (и M (R ‘) для R’), можно сказать, что y = IsTrue (M ^ R’jgMjj- (R) + e.

В соответствии с аспектами предмета, описанного в данном документе, фактически любой классификатор может быть обучен для задачи определения, дает ли другая поисковая система лучшие результаты. Однако для большинства приложений реального времени низкие вычислительные затраты и затраты на память могут иметь больший вес при выборе подходящего алгоритма. Когда поиск выполняется в браузере, структура поддержки переключения может выполнять тот же поиск в альтернативных механизмах в фоновом режиме, впоследствии вычисляя функции для классификатора, который затем может предсказать, следует ли предлагать альтернативные механизмы.

Кроме того, взаимодействие пользователей с системой поддержки переключения может предоставить дополнительную обучающую информацию для классификатора. Для поддержки такого типа обучения может быть создан классификатор, где обучение выполняется с использованием непрерывно поступающего потока экземпляров с метками, полученными в результате взаимодействия с пользователем (например, с использованием таких показателей удовлетворенности пользователя, как переход по ссылке на странице результатов поиска или задержка). время на страницах результатов). В одном варианте осуществления в качестве классификатора может использоваться усредненный по персептрону максимальный запас. Однако будет признано, что классификатор персептрона, однако, является лишь примером классификатора, который можно использовать в этой настройке. Другие подходящие классификаторы могут варьироваться по сложности и степени автоматизации от техники машинного обучения, такой как описанная здесь, до набора рукописных правил.

Классификатор предсказывает, получит ли пользователь выгоду от получения результатов поиска по текущему запросу от других механизмов. В одном варианте осуществления это прогнозирование предоставляется в режиме реального времени. Предсказание основано только на характеристиках, полученных из запроса, и на разных наборах результатов (как у текущей поисковой машины, так и у альтернативной поисковой машины (ей)) для обеспечения эффективности.

Функции могут быть разделены по крайней мере на три широкие категории: (i) функции, полученные из страниц результатов, (ii) функции, основанные на запросе, и (iii) функции, основанные на сопоставлении запроса и страницы результатов. Последующие разделы описывают каждый из этих наборов функций более подробно, в то время как Таблица 1 предоставляет примерный список функций. Эти функции являются лишь примерами типов функций, которые могут быть использованы. Также могут быть использованы дополнительные функции, включая характер предложений запросов, мгновенных ответов или поисковой рекламы. Кроме того, функции могут быть основаны на других данных, таких как структура графика набора результатов и веб-страницы «рядом» с набором результатов, информация о регистрации домена, IP-адреса, структура веб-сообщества и тому подобное. Например, в среде интрасети, в которой поиск выполняется из корпоративной сети, могут также использоваться дополнительные функции, связанные с авторами и их положением на предприятии. На рабочем столе также могут использоваться функции пользователя и долгосрочные интересы и предпочтения пользователя. Особенности набора результатов могут использоваться для обучения классификаторов, которые автоматизируют сравнение наборов результатов поиска.

Страница результатов каждого механизма содержит ранжированный список результатов поиска, где каждый результат может быть описан заголовком, фрагментом (краткой сводкой) и его URL-адресом. Функции страницы результатов фиксируют следующие свойства каждого результата:

1. Текстовая статистика для заголовка, URL-адреса и фрагмента, такая как количество символов, количество токенов, количество появлений эллипсов (т. Е., «…»), другая текстовая статистика и тому подобное.
2. Свойства URL. Некоторые примерные свойства URL включают его тип (например, является ли он «.com», «.net» или каким-либо другим типом), какой тип расширения имеет страница (например, .html, .aspx и т. д.) количество каталогов в URL-пути, наличие специальных символов, другие свойства и тому подобное.

Кроме того, на странице результатов имеются функции, которые не фиксируются самими списками результатов. Например, поисковые системы часто информируют пользователя о том, сколько всего страниц в их индексе содержат данные условия запроса (например, «Результаты 1-10 из 64 500»). Общее количество страниц также является функцией. Другие функции кодируют такие свойства страницы результатов, как включение исправления орфографии, функции предложений по изменению запросов и функции, основанные на любых рекламных объявлениях, также найденных на странице.

Особенности запроса. Различные поисковые системы могут иметь алгоритмы ранжирования, которые особенно хорошо (или особенно плохо) работают с определенными классами запросов. Например, один механизм может фокусироваться на ответах на редкие («длинные хвосты») запросы, а другой — на общих запросах. Таким образом, функции также могут быть получены из свойств запроса, таких как длина запроса, наличие стоп-слов (общие термины, такие как «the», «and», другие общие термины и т. П.), Именованные объекты и так далее.

Особенности матча. Набор функций может отражать, насколько хорошо страница результатов соответствует запросу. Например, функции соответствия могут кодировать, как часто слова запроса появляются в заголовке, фрагментах или URL-адресах результатов, как часто весь запрос, биграммы, триграммы или какая-либо другая последовательность запроса появляются в этих сегментах и т.п. Поскольку поисковые системы пытаются создать фрагмент, представляющий наиболее релевантный фрагмент документа, фрагменты, содержащие много слов запроса, часто указывают на релевантный результат, в то время как несколько слов запроса или его отсутствие, вероятно, соответствуют менее релевантному результату.

Особенности высшего порядка. Нелинейные преобразования каждого признака также могут быть предоставлены классификатору, так что он может напрямую использовать наиболее подходящее представление признака. Некоторые примерные нелинейные преобразования включают в себя логарифм и квадрат каждого значения признака, хотя другие нелинейные преобразования также могут использоваться без отклонения от сущности или объема аспектов предмета, описанного в данном документе. Группа мета-функций может быть основана на комбинациях значений признаков для двух механизмов. Например, можно использовать двоичную функцию, которая указывает, является ли количество результатов, содержащих запрос, как минимум на 50% больше в альтернативном механизме, чем в текущем механизме. Простые различия между признаками (например, количество результатов на альтернативном двигателе минус число на текущем двигателе) могут быть представлены путем придания более высокого положительного веса первому компоненту разности и меньшего отрицательного веса второму.

Ниже приведена таблица 1, в которой указаны некоторые примерные признаки, которые могут быть использованы при классификации.

 

Таблица 1

Примерные признаки, используемые в классификации

Возможности страницы результатов

10 бинарных функций, указывающих, есть ли 1-10 результатов

Количество результатов

Для каждого заголовка и фрагмента:

• количество символов
• Количество слов
• Количество тегов HTML
• # Из «…» (указать пропущенный текст во фрагменте)
• # Из «.» (указывает на границу предложения во фрагменте)
• Количество символов в URL
• Количество символов в домене (например, «apple com»)
• Количество символов в пути URL (например, «download / quicktime.html»)
• Количество символов в параметрах URL (например, «? uid = 45 & p = 2»)
• 3 двоичные функции: URF начинается с «http», «ftp» или «https»
• 5 бинарных функций: URF оканчивается на «html», «aspx», «php», «htm»
• 9 бинарных функций: .com, .net, .org, .edu, .gov, .info, .tv, .biz или .uk
• Количество «/» в URL-пути (т.е. глубина пути)
• Количество «&» в пути URF (то есть количество параметров)
• Количество «=» в URL-пути (то есть количество параметров)
• Количество совпадающих документов (например, «результаты 1-10 из 2375»)

 

Особенности запроса

• Количество символов в запросе
• Количество слов в запросе
• Количество стоп-слов (a, an, …)
• 8 бинарных функций: является ли i-й запрос токеном стоп-слова
• 8 функций: длина слова (# символов) упорядочена от наименьшего к наибольшему
• 8 функций: длина слова упорядочена от самой большой до самой маленькой
• Средняя длина слова

Особенности матча

Для каждого типа текста (заголовок, фрагмент, URF):

• результатов, где текст содержит точный запрос
• 3 функции: # из топ-1, топ-2, топ-3 результатов, содержащих запрос
• Количество биграмм запроса, содержащихся в результатах
• Количество биграмм в результатах топ-1, топ-2, топ-3

 

Улучшение производительности классификатора

В дополнение к тому, что было описано выше, могут быть предприняты другие меры для улучшения производительности классификатора. Некоторые примеры повышения производительности включают использование текущего механизма в качестве фильтра, использование поведенческих данных и включение пользовательских настроек, как более подробно описано ниже.

Используйте текущие функции двигателя или используйте текущий двигатель в качестве фильтра. Признаки результатов нескольких поисковых систем могут быть использованы при их сравнении (как было описано здесь), или, если есть необходимость ограничить сетевой трафик или нагрузку поисковой системы, результаты из одной (например, текущей) поисковой системы могут использоваться с небольшим снижением точности прогнозирования. В одном подходе классификатор с одним механизмом может использоваться, чтобы отфильтровать запросы, которые с наименьшей вероятностью будут лучше обслуживаться альтернативным механизмом (ами). Запросы, которые проходят этот начальный тест, могут затем оцениваться с использованием классификатора, основанного на функциях из нескольких механизмов, для повышения общей точности.

Используйте данные взаимодействия с пользователем для повышения производительности классификатора. Пользовательские настройки, извлеченные из данных взаимодействия с пользователем, могут улучшить производительность классификатора. После выпуска приложения, содержащего классификатор, журналы взаимодействия пользователя с приложением могут быть добыты, и из журналов могут быть извлечены доказательства удовлетворенности или неудовлетворенности пользователя. Обратная связь с пользователем может быть зафиксирована явно (например, после переключения двигателя появляется сообщение, спрашивающее пользователя, был ли переключатель полезен), или неявно (например, могут быть изучены взаимодействия после переключения, чтобы увидеть, нажимают ли пользователи на результат поиска в месте назначения двигатель или возврат к исходному двигателю). Это свидетельство может быть использовано для (i) повышения производительности будущих версий классификатора путем предоставления обратной связи разработчикам о том, когда классификатор работает хорошо, и / или (ii) для повышения производительности классификатора на лету путем динамического обновление значений характеристик и периодическая переподготовка классификатора на стороне клиента.

Включите пользовательские настройки. Пользователи приложения, которое включает в себя классификатор, также могут устанавливать параметры своего любимого движка и специфических функций для использования, которые важны для них при принятии решения о переключении движков. Эти параметры могут включать в себя идентификацию / назначение весов для функций, важных для пользователя, или предоставление пользователям возможности идентифицировать характеристики на основе их предполагаемой ценности в механизмах дифференциации. Дополнительная информация о предпочтениях также может быть автоматически выведена из данных об использовании о том, как часто пользователи используют конкретную поисковую систему, и их средние результаты по количеству кликов по результатам на каждой используемой ими системе (в качестве меры успеха поиска). В дополнение к выгоде для отдельного пользователя, настройки параметров пула от нескольких пользователей могут периодически загружаться на центральный сервер, агрегироваться и использоваться для взвешивания функций в будущих версиях классификатора, исходя из их очевидной важности для многих пользователей.

Рисунок 1 является блок-схемой, представляющей примерную среду, в которой могут быть реализованы аспекты предмета, описанного в данном документе. Аспекты предмета, описанного в данном документе, работают с многочисленными средами или конфигурациями вычислительных систем общего или специального назначения. Примеры хорошо известных вычислительных систем, сред или конфигураций, которые могут подходить для использования с аспектами предмета, описанного в данном документе, включают персональные компьютеры, серверные компьютеры, портативные или портативные устройства, многопроцессорные системы, системы на основе микроконтроллеров, телевизионные приставки программируемая бытовая электроника, сетевые ПК, мини-компьютеры, мэйнфреймы, персональные цифровые помощники (PDA), игровые устройства, принтеры, устройства, включая приставку, медиацентр или другие устройства, встраиваемые в автомобиль или подключенные вычислительные устройства, другие мобильные устройства, распределенные вычислительные среды, которые включают в себя любую из вышеупомянутых систем или устройств и тому подобное. Используемый здесь термин «компьютер» может включать любое одно или несколько устройств, упомянутых выше, или любые подобные устройства.

Аспекты предмета, описанного в данном документе, могут быть описаны в общем контексте машино-исполняемых инструкций, таких как программные модули, выполняемые компьютером. Обычно программные модули включают в себя процедуры, программы, объекты, компоненты, структуры данных и т. д., Которые выполняют конкретные задачи или реализуют конкретные абстрактные типы данных. Аспекты предмета, описанного в данном документе, могут также применяться на практике в распределенных вычислительных средах, где задачи выполняются удаленными устройствами обработки, которые связаны через сеть связи. В распределенной вычислительной среде программные модули могут быть расположены как на локальных, так и на удаленных компьютерных носителях данных, включая запоминающие устройства.

Машино-читаемые носители, как описано в данном документе, могут быть любыми доступными носителями, к которым компьютер может осуществлять доступ, и включают в себя как энергозависимые, так и энергонезависимые носители, а также съемные и несъемные носители. В качестве примера, а не ограничения, машиночитаемые носители могут содержать компьютерные носители данных и средства связи. Компьютерные носители данных включают в себя энергозависимые и энергонезависимые, съемные и несъемные носители, реализованные любым способом или технологией для хранения информации, такой как машиночитаемые инструкции, структуры данных, программные модули или другие данные. Компьютерные носители данных включают в себя, но не ограничиваются ими, RAM, ROM, EEPROM, флэш-память или другие технологии памяти, CD-ROM, цифровые универсальные диски (DVD) или другие оптические дисковые накопители, магнитные кассеты, магнитные ленты, магнитные диски или другие магнитные запоминающие устройства или любой другой носитель, который может использоваться для хранения требуемой информации и к которому может обращаться компьютер 110.

Среда связи обычно воплощает машиночитаемые инструкции, структуры данных, программные модули или другие данные в модулированном сигнале данных, таком как несущая волна или другой транспортный механизм, и включает в себя любые средства доставки информации. Термин «модулированный сигнал данных» означает сигнал, одна или несколько характеристик которого установлены или изменены таким образом, чтобы кодировать информацию в сигнале. В качестве примера, а не ограничения, коммуникационные среды включают в себя проводные носители, такие как проводная сеть или прямое проводное соединение, и беспроводные носители, такие как акустические, радиочастотные, инфракрасные и другие беспроводные носители. Комбинации любого из вышеперечисленного также должны быть включены в объем машиночитаемых носителей.

Обращаясь к рисунку 1, среда включает в себя сетевое устройство 110, веб-браузеры 115-117, поисковые системы 120-122, сеть 125, средство обучения 135 и может включать в себя другие объекты (не показаны). Различные объекты могут связываться друг с другом через различные сети, в том числе внутри- и меж-ведомственные сети и сеть 125. В варианте осуществления сеть 125 может содержать Интернет. В варианте осуществления сеть 125 может содержать одну или несколько частных сетей, виртуальные частные сети или тому подобное. Веб-браузеры 115-117, устройства, на которых размещаются веб-браузеры 115-117, и / или сетевое устройство 110, могут включать в себя компоненты 130-133 прогнозирования, соответственно.

Каждый из веб-браузеров 115-117, поисковые системы 120-122 и средство обучения 135 могут быть размещены на одном или нескольких компьютерах. Веб-браузеры 115-117 могут отправлять запросы и получать результаты от любой из поисковых систем 120-122. Связь с веб-браузерами и из них может проходить через сетевое устройство 110.

Учебное средство 135 может содержать один или несколько компьютеров, которые могут обучать классификаторы, используемые компонентами 130-133 прогнозирования. Учебное заведение 135 может использовать информацию, которая собирается автоматически, полуавтоматически или вручную в классификаторах обучения.

Сетевое устройство 110 может содержать компьютер общего назначения, сконфигурированный для передачи сетевого трафика, или компьютер специального назначения (например, брандмауэр, маршрутизатор, мост или тому подобное). Сетевое устройство 110 может принимать пакеты в и из веб-браузеров 115-117.

Компоненты 130-133 прогнозирования могут включать в себя логику и данные, которые предсказывают, какая поисковая система является наилучшей для удовлетворения конкретного запроса. Эта логика и данные могут содержать логику и данные, описанные ранее. Компонент прогнозирования может отслеживать взаимодействие пользователя с поисковыми системами и может использовать эту информацию при прогнозировании наилучшей поисковой системы. Компонент прогнозирования также может предоставлять эту информацию средству 135 обучения для использования в классификаторах обучения, которые используются компонентами 130-133 прогнозирования.

В одном варианте осуществления компонент 133 прогнозирования на сетевом устройстве 110 является необязательным. Когда присутствует компонент 133 прогнозирования, компоненты ISO-132 прогнозирования могут быть опущены, поскольку компонент 133 прогнозирования может отслеживать взаимодействия с пользователем, прогнозировать лучшие поисковые системы для запросов и использовать эту информацию соответствующим образом, чтобы побудить пользователя переключиться на другой поиск. двигатель как указано ранее.

В одном варианте осуществления один или несколько дополнительных объектов (не показаны) могут быть подключены к сети 125 для выполнения функции прогнозирования наилучшего поискового механизма. Эти объекты могут размещать веб-службы, например, которые могут быть вызваны процессом (например, одним из веб-браузеров 115-117), который пытается предсказать лучшую поисковую систему для конкретного запроса. Вызывающий процесс может передать запрос вместе с любой другой дополнительной информацией объекту и может получить прогноз лучшей поисковой системы в ответ.

Хотя описанная выше среда включает в себя сетевое устройство, веб-браузеры, поисковые системы и средства обучения в различных конфигурациях, будет понятно, что можно использовать больше, меньше и / или различную комбинацию этих и других объектов без отхода от дух или объем аспектов предмета, описанного здесь. Кроме того, объекты и сети связи, включенные в среду, могут быть сконфигурированы различными способами, как будет понятно специалистам в данной области техники, без отклонения от сущности или объема аспектов предмета, описанного в данном документе.

Рисунок 2 является блок-схемой, которая обычно представляет компоненты и данные, которые могут использоваться и генерироваться в учебном средстве в соответствии с аспектами предмета, описанного в данном документе. Обучающие данные 205 могут включать в себя, например, кортежи, которые связывают запросы с поисковыми системами. Каждый кортеж может включать в себя запрос и поисковую систему, которая была помечена как наилучшая для запроса. Кортеж также может включать данные из результата, возвращаемого при отправке запроса в поисковую систему. Кортеж также может включать в себя другую информацию (например, данные взаимодействия с пользователем и другую ранее описанную информацию), которая может использоваться при обучении.

Обучающие данные 205 вводятся в генератор 210 признаков, который извлекает / извлекает признаки 215 из обучающих данных 205. Признаки могут включать в себя любые из описанных здесь признаков.

Признаки 215 и метки вводятся в обучающее устройство 220, которое создает классификатор 225. Классификатор 225 может включать в себя данные, правила или другую информацию, которая может использоваться во время выполнения, чтобы предсказать лучшую поисковую систему для данного запроса. Классификатор 225 может содержать один классификатор или набор классификаторов, которые работают вместе, чтобы предсказать лучшую поисковую систему. На основании приведенных здесь идей специалисты в данной области техники могут распознавать другие механизмы для создания классификатора, который также может использоваться без отклонения от сущности или объема аспектов предмета, описанного здесь.

Рисунок 3 — это блок-схема, иллюстрирующая устройство, сконфигурированное для прогнозирования наилучшей поисковой системы для обслуживания запроса в соответствии с аспектами предмета, описанного в данном документе. Компоненты, показанные на рисунке 3 являются примерными и не предназначены для полного включения компонентов, которые могут быть необходимы или включены. В других вариантах осуществления компоненты или функции, описанные в связи с рисунком 3, могут быть включены в другие компоненты, размещены в подкомпонентах или распределены по нескольким устройствам без отклонения от сущности или объема аспектов предмета, описанного в данном документе.

Обращаясь к рисунку 3, устройство 305 может включать в себя браузер 340, компоненты 310 прогнозирования и хранилище 345 данных. Компоненты 310 прогнозирования могут включать в себя генератор 312 признаков, запрос 315 поисковой системы, онлайн-тренажер 320, прогнозатор 325, монитор взаимодействия 330 и процессор запросов 335. Хотя в одном варианте осуществления компоненты 310 прогнозирования могут находиться на устройстве 305, в других вариантах осуществления один или несколько из этих компонентов могут находиться на других устройствах. Например, один или несколько из этих компонентов могут быть предоставлены в качестве услуг одним или несколькими другими устройствами. В этой конфигурации устройство 305 может вызывать выполнение функций этих компонентов путем взаимодействия со службами на одном или нескольких других устройствах и предоставления соответствующей информации.

Процессор 335 запросов выполнен с возможностью принимать запрос, который должен быть отправлен поисковой системе. Например, когда пользователь вводит запрос в браузер 340, процессор 335 запросов может принять этот запрос до или после того, как запрос отправлен в поисковую систему. Затем процессор 335 запросов может предоставлять запрос другим компонентам 310 прогнозирования.

Генератор признаков 312 работает аналогично генератору признаков 210, описанному в связи с рисунком 2. Генератор 312 признаков выполнен с возможностью извлечения признаков, связанных с запросом. Как описано ранее, эти функции могут быть получены из двух или более страниц результатов, возвращаемых в ответ на запрос, могут основываться непосредственно на запросе и / или могут основываться на сопоставлении между запросом и страницами результатов. Кроме того, генератор 312 признаков может генерировать дополнительную информацию, такую как взаимодействие пользователя с браузером или любые другие упомянутые здесь функции.

Опрос 315 поисковой машины выполнен с возможностью предоставлять запрос одной или нескольким поисковым машинам и получать от них страницы результатов. Запросчик 315 поисковых систем может отправлять запрос одной или нескольким поисковым машинам в фоновом режиме, чтобы не задерживать или иным образом не препятствовать текущему поиску, который выполняет пользователь. Страницы результатов могут быть предоставлены в генератор 312 признаков для получения признаков, которые должны быть предоставлены предиктору 325.

Монитор 330 взаимодействия выполнен с возможностью получения информации о взаимодействии с пользователем, связанной с запросом, и предоставления информации о взаимодействии с пользователем в генератор 312 признаков для получения дополнительных признаков для предиктора 325, который следует использовать для определения наилучшего поискового механизма для удовлетворения запроса.

Онлайн-тренер 320 может модифицировать классификатор, связанный с компонентами 310 прогнозирования, в сочетании с информацией, полученной относительно запросов, отправленных пользователем с использованием браузера 340. Например, как описано ранее, информация, касающаяся взаимодействия с пользователем во время запроса, может быть захвачена взаимодействием монитор 330. Эта информация может использоваться для изменения классификатора, чтобы получить лучшую поисковую систему для конкретного пользователя, который использует браузер 340. Онлайн-тренер 320 также может проверять результаты запросов, предпочтений пользователя и другую информацию для дальнейшей настройки классификатор к поисковым привычкам конкретного пользователя.

Хранилище 345 данных содержит любой носитель данных, способный хранить данные, полезные для прогнозирования лучшей поисковой системы. Термин «данные» должен читаться широко, чтобы включать в себя все, что может храниться на компьютерном носителе данных. Некоторые примеры данных включают в себя информацию, программный код, состояние программы, данные программы, правила, информацию классификатора, другие данные и тому подобное. Хранилище 345 данных может содержать файловую систему, базу данных, энергозависимую память, такую как ОЗУ, другое хранилище, некоторую комбинацию вышеперечисленного и т.п., и может быть распределено по нескольким устройствам. Хранилище 345 данных может быть внешним или внутренним по отношению к устройству 305.

Предиктор 325 содержит компонент, который может использовать по меньшей мере один или несколько признаков, сгенерированных генератором 312 признаков, вместе с ранее созданным классификатором для определения наилучшего поискового механизма для удовлетворения запроса. Предсказатель 325 может использовать любой из методов, упомянутых в данном документе, чтобы предсказать лучшую поисковую систему для конкретного запроса.

Браузер 340 содержит один или несколько программных компонентов, которые позволяют пользователю осуществлять доступ к ресурсам (например, поисковым системам, веб-страницам) в сети (например, в Интернете). В одном варианте осуществления браузер 340 может включать в себя, например, компоненты 310 прогнозирования в качестве подключаемого модуля.

Рисунки с 4 по 6 являются блок-схемами, которые обычно представляют действия, которые могут происходить при прогнозировании лучшей поисковой системы в соответствии с аспектами предмета, описанного в данном документе. Для простоты объяснения методология, описанная в связи с рисунками 4-6 изображены и описаны как серия действий. Следует понимать и принимать во внимание, что аспекты предмета, описанного в данном документе, не ограничены проиллюстрированными действиями и / или порядком действий. В одном варианте осуществления действия происходят в порядке, как описано ниже. В других вариантах осуществления, однако, действия могут происходить параллельно, в другом порядке и / или с другими действиями, не представленными и не описанными в данном документе. Кроме того, не все проиллюстрированные действия могут потребоваться для реализации методологии в соответствии с аспектами предмета, описанного в данном документе. Кроме того, специалисты в данной области техники поймут и оценят, что методология альтернативно может быть представлена в виде последовательности взаимосвязанных состояний через диаграмму состояний или в виде событий.

Обращаясь к рисунку 4, в блоке 405 начинаются действия. На этапе 410 получается запрос. Например, ссылаясь на рисунок 3, процессор 335 запросов получает запрос от браузера 340.

На этапе 415 выводятся признаки запроса. Например, ссылаясь на рисунок 3, генератор 312 признаков получает признаки из запроса, полученного процессором 335 запросов.

На этапе 420 определяется подход к использованию в прогнозировании наилучшего поискового механизма. Например, ссылаясь на рисунок 3, компоненты 310 прогнозирования могут определять, что должен использоваться только запрос, насколько хорошо запрос соответствует результатам, что должны использоваться результаты из нескольких поисковых систем, или что должен использоваться другой подход для оценить лучший поисковик.

На этапе 425 подход используется, как описано более подробно в связи с рисунками 5 и 6.

На этапе 430 выполняются другие действия, если таковые имеются.

Рисунок 5 является блок-схемой, которая обычно представляет примерные действия, которые могут происходить при оценке наилучшего поискового движка на основе подхода, в котором результаты различных поисковиков сравниваются в соответствии с аспектами предмета, описанного в данном документе. Обращаясь к рисунку 5, на этапе 505 действия начинаются. На этапе 510 второй запрос для отправки в другую поисковую систему извлекается из запроса. Второй запрос соответствует первому запросу и отформатирован соответствующим образом для другой поисковой системы. Например, ссылаясь на рисунок 1, компоненты 130 прогнозирования принимают запрос для поисковой машины 120 и генерируют запрос для поисковой машины 121. Кроме того, из запроса могут быть получены другие запросы для отправки нескольким поисковым машинам, так что результаты от множества поисковых машин могут сравните, чтобы оценить лучшую поисковую систему для запроса.

На этапе 515 запросы предоставляются поисковым системам. Например, ссылаясь на рисунок 1, запросы предоставляются поисковым системам 120, 121 и 122.

На этапе 520 ответ, который включает в себя наборы результатов, принимается поисковыми системами. Например, ссылаясь на рисунке 1, наборы результатов от поисковых машин 120, 121 и 122 принимаются.

На этапе 525 прогнозируется лучшая поисковая система для запроса. Например, ссылаясь на рисунке 3, генератор 312 признаков генерирует признаки из полученных наборов результатов и предоставляет эти признаки предиктору 325, который прогнозирует наилучшую поисковую систему для запроса.

На этапе 530 выполняются другие действия, если таковые имеются.

Рисунок 6 является блок-схемой, которая обычно представляет примерные действия, которые могут происходить при оценке наилучшего поискового движка на основе информации, отличной от результатов различных поисковых движков, в соответствии с аспектами предмета, описанного в данном документе. Действия, описанные в связи с рисунком 6, может выполняться многими различными способами без отклонения от сущности или объема аспектов предмета, описанного в данном документе. Действительно, нет намерения ограничивать порядок действий порядком, показанным на рисунке 6. В одном варианте осуществления действия могут происходить в порядке, показанном на рисунке 6. В других вариантах осуществления, однако, действия могут выполняться параллельно или в других порядках, чем показано на рисунке. Например, действия, связанные с блоками 650, могут происходить до действий, связанных с блоками 610. В качестве другого примера, действия, связанные с блоками 630 и 640, могут выполняться параллельно. В другом варианте осуществления действия блоков могут выполняться в любых других порядках и / или параллельно.

В качестве другого примера, в одном варианте осуществления вместо добавления различных факторов к основе, которая впоследствии используется для прогнозирования, предиктор может принимать всю доступную информацию, касающуюся запроса, и делать прогноз на основе этой информации. В качестве другого примера, в другом варианте осуществления набор правил может определять, что предиктор использует при создании предсказания. Действительно, на основе представленных здесь идей специалисты в данной области техники могут распознать множество различных механизмов для определения того, что использовать при прогнозировании лучшей поисковой системы, без отклонения от сущности или объема аспектов предмета, описанного в данном документе.

Обращаясь к рисунку 6, на этапе 605 действия начинаются. На этапе 610 делается определение относительно того, использовать ли функции запроса при создании прогноза. Если это так, действия продолжаются в блоке 615; в противном случае действия продолжаются на этапе 615.

На этапе 615 функции запроса добавляются к основе для прогнозирования. Например, ссылаясь на рисунок 3 генератор 312 признаков может генерировать признаки из запроса, принятого процессором 335 запросов. В одном варианте осуществления признаки запроса всегда могут использоваться при прогнозировании. В этом варианте осуществления действия, связанные с блоками 610 и 615, могут быть пропущены.

На этапе 620 выполняется определение относительно того, использовать ли сопоставление результатов при выполнении прогнозирования. Если это так, действия продолжаются в блоке 625; в противном случае действия продолжаются на этапе 630. На этапе 625 информация соответствия результатов добавляется к основе для прогнозирования. Например, ссылаясь на рисунок 3, если информация о совпадении, которая указывает, насколько хорошо запрос соответствует его результатам, может быть введена в предиктор 325 (например, через генератор 312 признаков).

На этапе 630 делается определение относительно того, использовать ли предпочтения пользователя при создании прогноза. Если это так, действия продолжаются на этапе 635; в противном случае действия продолжаются на этапе 640. На этапе 635 информация о предпочтениях пользователя добавляется в основу для прогнозирования. Например, ссылаясь на рисунок 3, информация о предпочтениях пользователя может быть введена в предиктор 325.

На этапе 640 делается определение относительно того, использовать ли информацию о взаимодействии пользователя при создании прогноза. Если это так, действия продолжаются в блоке 645; в противном случае действия продолжаются на этапе 650. На этапе 645 данные взаимодействия с пользователем добавляются в основу для прогнозирования. Например, ссылаясь на рисунок 3, монитор 330 взаимодействия может предоставлять данные взаимодействия с пользователем в модуль 325 прогнозирования.

На этапе 650 выполняется определение относительно того, использовать ли другие данные при создании прогноза. Если это так, действия продолжаются в блоке 655; в противном случае действия продолжаются на этапе 660. На этапе 655 другие данные добавляются в основу для прогнозирования. Например, ссылаясь на рисунок 3 любые другие признаки могут быть предоставлены предсказателю 325 для использования при создании предсказания.

На этапе 660 лучшая поисковая система прогнозируется на основании. Например, ссылаясь на фиг. 3, предиктор 325 делает прогноз наилучшей поисковой системы для использования для конкретного запроса, используя определенные признаки.

На этапе 665 могут быть выполнены другие действия, если таковые имеются.

Как видно из предшествующего подробного описания, были описаны аспекты, относящиеся к прогнозированию наилучшей поисковой системы для данного запроса. Хотя аспекты предмета, описанного в данном документе, подвержены различным модификациям и альтернативным конструкциям, некоторые проиллюстрированные варианты его осуществления показаны на чертежах и были подробно описаны выше. Следует понимать, однако, что нет намерения ограничивать аспекты заявленного предмета конкретными раскрытыми формами, но, напротив, намерение состоит в том, чтобы охватить все модификации, альтернативные конструкции и эквиваленты, попадающие в сущность и объем. различных аспектов предмета, описанного здесь.

Что утверждается:

1. Способ, реализованный, по меньшей мере частично, компьютером, причем способ включает:

• получение первого запроса, пригодного для получения первых результатов, из первой поисковой системы, причем первая поисковая система работает для предоставления первых результатов в ответ на прием первого запроса;
• предоставление одного или нескольких других запросов одной или нескольким другим поисковым системам, причем один или несколько других запросов соответствуют первому запросу, так что один или несколько других запросов выводятся из первого запроса и форматируются соответствующим образом для одной или нескольких других поисковых систем. ;
• в ответ на предоставление одного или нескольких других запросов одной или нескольким другим поисковым машинам, получение одного или нескольких других результатов от одной или нескольких других поисковых систем; а также
• прогнозирование того, лучше ли один или несколько других результатов, чем первые.

2. Способ по п.1, в котором прогнозирование того, являются ли один или более других результатов лучше, чем первые результаты, включает использование классификатора, обученного функциям, связанным с различными поисковыми системами.

3. Способ по п.2, в котором классификатор содержит двоичный классификатор.

4. Способ по п.2, в котором классификатор содержит недвоичный классификатор.

5. Способ по п.2, в котором признаки включают взаимодействие пользователя с наборами результатов, возвращаемыми из разных поисковых систем.

6. Способ по п.2, в котором признаки содержат оценочную релевантность наборов результатов, возвращаемых из разных поисковых систем.

7. Способ по п.2, в котором признаки содержат статистику разнесения наборов результатов, возвращаемых из разных поисковых систем.

8. Способ по п.2, в котором признаки содержат атрибуты метаданных наборов результатов, возвращаемых из разных поисковых систем.

9. Способ по п.2, в котором признаки содержат заголовки, фрагменты и указатели ресурсов, связанные с ранжированными документами наборов результатов, возвращаемых из разных поисковых систем.

10. Носитель данных компьютера, имеющий исполняемые компьютером инструкции, которые при выполнении выполняют действия, содержащие:

• получение запроса, пригодного для получения результатов из первой поисковой системы; а также
• прогнозирование наилучшего поискового движка для использования, по крайней мере частично, на основе особенностей запроса.

11. Компьютерный носитель по п.10, в котором прогнозирование наилучшего поискового движка для использования на основе, по меньшей мере частично, характеристик запроса содержит прогнозирование наилучшего поискового движка на основе человеческого языка, на котором представлен запрос.

12. Компьютерный носитель по п.10, в котором прогнозирование наилучшего поискового движка для использования на основе, по меньшей мере частично, характеристик запроса содержит прогнозирование наилучшего поискового движка на основе частоты, с которой запрос отправляется поисковым системам.

13. Компьютерный носитель данных по п.10, в котором прогнозирование наилучшего поискового механизма для использования на основе, по меньшей мере частично, характеристик запроса содержит выполнение поиска таблицы по таблице, которая создается или обновляется во время обучения классификатора, при этом таблица связывает запросы. с поисковыми системами.

14. Компьютерный носитель данных по п.10, в котором прогнозирование наилучшего поискового механизма для использования также основано на степени, в которой страница результатов соответствует запросу.

15. Компьютерный носитель по п.14, в котором степень содержит частоту, с которой весь или часть запроса появляется в заголовке, фрагменте или локаторе результирующего ресурса набора результатов.

16. Компьютерный носитель по п.10, в котором прогнозирование наилучшего поискового движка для использования на основе, по меньшей мере частично, характеристик запроса включает использование функций более высокого порядка, связанных с запросом.

17. Компьютерный носитель данных по п.10, в котором прогнозирование наилучшего поискового механизма для использования также основано на предпочтениях пользователя.

18. В вычислительной среде устройство, содержащее:

• процессор запросов, выполненный с возможностью приема запроса, который должен быть отправлен поисковой системе;
• генератор признаков, выполненный с возможностью извлечения признаков, связанных с запросом, причем признаки извлекаются из двух или более страниц результатов на основе запроса и / или на основании соответствия между запросом и страницами результатов; а также
• предиктор, способный использовать по меньшей мере одну или несколько функций вместе с ранее созданным классификатором для прогнозирования лучшей поисковой системы для удовлетворения запроса.

19. Устройство по п.18, дополнительно содержащее запрос поисковой машины, выполненный с возможностью предоставлять запрос двум или более поисковым машинам и получать из него страницы результатов.

20. Устройство по п.18, дополнительно содержащее монитор взаимодействия, выполненный с возможностью получения информации о взаимодействии пользователя, связанной с запросом, и предоставления информации о взаимодействии с пользователем в генератор признаков для получения дополнительных признаков для предиктора, который следует использовать для определения наилучшей поисковой системы для удовлетворить запрос.