Методика лингвистического анализа текста с помощью xMarkup, mystem и minicorpus.mdb

Описание таблиц

В базе использованы таблицы следующих типов:

• таблицы связи с источниками данных — текстовыми файлами
• обновляемые таблицы, в которые записываются данные об анализируемом тексте
• перезаписываемые таблицы, служащие для обновления данных о частоте словоформ, лексем и количестве вариантов морфологического разбора
• таблицы-справочники, в которых хранятся текстовые метаданные, морфологические и семантические категории

Если не указано иное, описание полей таблиц находится внутри самих таблиц (для этого необходимо открыть соответствующую таблицу в режиме конструктора).

В начало

Описание запросов

Каждый из запросов можно открыть в режиме “Конструктор” для просмотра таблиц и их полей, служащих источником данных для запроса.

В начало

Описание макросов

В базе использованы самые простые макросы — представляющие собой последовательный вызов тех или иных запросов. Макросы, с указанием запросов, которые они вызывают, и кнопок на форме MainForm, запускающих макросы, перечислены в таблице ниже. Пояснения по действиям, выполняемых макросом, не приводится, так как оно следует из названия кнопки. Запросы описаны в соответствующих разделах.

Вкладка Кнопки управления

На вкладке расположены кнопки, вызывающие выполнение запросов, макросов и пакетных файлов, необходимых для загрузки текста в БД и выполнения морфологического анализа. Если настройки MS Access на Вашем компьютере не позволяют выполнить какие-либо операции, необходимо следовать инструкциям внизу соответствующей кнопки.

В начало

Вкладка Лемматизация

Вкладка предназначена для токенизации тех словоформ, для которых парсер предложил более одного варианта морфологического разбора. Имеет окно с перечнем словоформ и две кнопки – Открыть как обычный запрос и Обновить результаты токенизации.

Окно с перечнем словоформ представляет собой таблицу со следующими колонками:

• word – словоформа
• pos_var_qty – количество вариантов морфологического разбора
• word_freq – частота употребления словоформы в тексте

Источником окна с перечнем словоформ служит запрос tokenization. При желании, можно изменить критерии отбора словоформ для токенизации. Для этого служит кнопка Открыть как обычный запрос. После того как запрос откроется, можно войти в режим конструктора и изменить условия отбора.

В правом столбце перечня словоформ имеется индикатор развертывания, после нажатия на который появляется вложенная таблица со следующими колонками:

• lemm_F – вариант морфологического разбора (вида “лексема=индекс части речи”; индексы частей речи перечислены на странице парсера mystem)
• pos_yes – поле, в котором следует отметить правильный вариант морфологического разбора

После нажатия на индикатор развертывания около любого из вариантов морфологического разбора появляется вложенная таблица с контекстами употребления словоформы. Вложенная таблица с контекстами имеет следующие колонки:

• context – предложение, в котором употреблена словоформа (словоформа в этом поле выделена верхним регистром; это не совсем удобно при просматривании контекстов употребления коротких слов, например, союза “и” – верхним регистром будут выделены все буквы “и” в предложении, однако при просмотре контекстов полнозначных слов длиной более четырех букв это неудобство пропадает)
• lemm_F – поле, в котором следует выбрать вариант морфологического разбора данного словоупотребления в конкретном предложении

Таблица с контекстами служит для следующих целей:

• просмотр контекстов для выбора правильного варианта токенизации
• указание правильного варианта токенизации для каждого словоупотребления в случае, если в пределах одного текста встречаются грамматические омонимы

Например, в тексте встретилось два глагола стекла и четыре существительных стекла. В этом случае во вложенной таблице контекстов достаточно указать правильный вариант разбора для глаголов (“стекать=V”), а в поле pos_yes поставить отметку напротив варианта разбора “стекло=S,муж,неод”. После нажатия кнопки Обновить результаты токенизации программа присвоит вариант разбора “стекло=S,муж,неод” всем неотмеченным употреблениям формы стекла.

В начало

Вкладка Категоризация

Предназначена для присвоения произвольных категорий лексемам, составляющим словник текста. Характер присваиваемых категорий зависит от целей исследования — это может быть гипероним, условное наименование ТГ, ЛСП, ФСП, интегральной семы / семантического множителя, концепта и т.д. При необходимости присвоения лексико-семантической информации всем лексемам текста можно ориентироваться на перечень лексико-семантических помет, представленных на странице, описывающей семантическую разметку НКРЯ. Вкладка имеет два окна и одну кнопку добавить леммы для анализа, на которую необходимо нажать после того, как всем необходимым для анализа лексемам была присвоена нужная морфологическая категория.

Окна вкладки:

• левое окно – перечень лексем (источником служит запрос lemm_categorization) со следующими колонками:
  • lemm_P — лексема
  • pos _P — часть речи
  • categ_1 — семантическая категория
  • lemm_freq — частота употребления всех словоформ лексемы в тексте
  • крайний слева — столбец с индикатором развертывания, при нажатии на который появляется вложенная таблица с контекстами употребления словоформ лексемы.
• правое коно – перечень доступных категорий.
  Если добавить новую категорию в пустую ячейку, то она отразится в списке выбора столбца categ_1 левого окна только после закрытия-открытия формы. Поэтому имеются ячейки с цифрами, в которые можно вводить имя новой категории — тогда во всплывающем списке она отобразится сразу.

В начало

Вкладка Контексты по категориям

Вкладка позволяет увидеть выполненную группировку лексем по категориям с возможностью просмотра контекстов употребления лексем. Она может служить для верификации исследовательской гипотезы о распределении лексем той или иной категории в тексте, а также быть источником формирования рядов слов, соотнесенных по тому или иному критерию.

В начало

Вкладка Карточка слова

Вкладка сводит воедино всю хранящуюся в базе информацию о конкретном словоупотреблении

• контексты употребления с указанием количества употреблений;
• лемма с ее частеречной принадлежностью и приписанной ей семантической категорией;
• количество употреблений всех словоформ данной лексемы.

В начало

Вкладка Сочетаемость

Вкладка предназначена для моделирования поиска сочетаний слов в пределах предложений текста по нескольким категориям (ограниченно имитируя функциональность соответствующего поиска в НКРЯ). Использование стандартных средств фильтрации и сортировки позволяет искать пары слов по следующим параметрам (по отдельности или одновременно):

• лексема первого и / или второго слова;
• часть речи первого и / или второго слова;
• семантическая категория первого и / или второго слова;
• расстояние между словами в пределах предложения.

Вкладка Подсказки

Иногда на вкладках “Лемматизация” и “Категоризация” пропадает индикатор развертывания для отображения контекста. В этом случае необходимо выполнить действия, указанные на этой вкладке.