В закладки
КонтактыО сайте

Виртуальный контроллер GestureWorks Gameplay. Виртуальный контроллер для визуальных отображений

Так как виртуальным машинам обычно требуется жесткий диск, то VirtualBox должен предоставлять "реальное хранилище" данных гостю в качестве виртуального жесткого диска. Существует три способа достичь этого:

    Чаще всего VirtualBox использует большие файлы на реальном диске и предоставляет его гостю как виртуальный жесткий диск. Они описаны в разделе “Disk image files (VDI, VMDK, VHD, HDD)” .

    Если у вас есть сервер iSCSI storage, вы можете подключить VirtualBox к нему, который описывается в разделе “iSCSI servers” .

    Наконец, в качестве экспериментальной функции, вы можете разрешить виртуальным машинам непосредственно использовать жесткие диски хоста; эта расширенная функция описывается в разделе “Using a raw host hard disk from a guest” .

Каждое виртуальное устройство хранения (файл образа, iSCSI target или физический жесткий диск) необходимо подключить к виртуальному контроллеру жестких дисков виртуальной машины. Механизм подключения раскрывается в следующем разделе.

Контроллеры жестких дисков: IDE, SATA (AHCI), SCSI, SAS

В настоящем компьютере, жесткие диски и CD/DVD устройства подключаются к устройству, которое называют контроллером жесткого диска и которое управляет дисковыми операциями и передачей данных. VirtualBox может эмулировать четыре наиболее используемых типа контроллеров жестких дисков, которые встечаются в современных ПК: IDE, SATA (AHCI), SCSI и SAS.

    IDE (ATA) используются с 1980 года. Вначале, этот тип интерфейса работал только с жесткими дисками, но позднее был расширен также для использования устройств CD-ROM и других типов внешних носителей. В компьютерах данный стандарт используется плоский 40 или 80 жильный кабель (шлейф). С помощью этого кабеля возможно подключить два устройства к контроллеру, которые называют "master" и "slave". К типичному контроллеру жестких дисков подключаются два таких кабеля; то есть, большинство компьютеров поддерживают до 4 устройств.

    В VirtualBox по умолчанию, к каждой виртуальной машине подключается один IDE контроллер, который позволяет вам подключить до четырех виртуальных устройств хранения данных. (По умолчанию, один из этих четырех -- secondary master -- настроен на подключение виртуального привода CD/DVD, но эту настройку можно изменить. )

    Даже если ваша гостевая ОС не поддерживает SCSI или SATA устройства, она всегда обнаружит IDE контроллер, который по умолчанию всегда подключен.

    Вы также можете точно указать тип IDE контроллера, который должен быть предоставлен виртуальной машине (PIIX3, PIIX4 или ICH6). Тип не влияет на производительность, но в случае если вы импортирует виртуальную машину от других виртуальных сред, операционная система в этой машине может не заработать, если ей не предоставить нужный тип контроллера.

    После создания новой ВМ в графическом интерфейсе, с помощью визарда "Созать новую виртуальную машину" , вы обнаружите один IDE контроллер к которому будет подключин виртуальный привод CD/DVD.

    Serial ATA (SATA) это новый стандарт, появившийся в 2003. По сравнению с IDE, он поддерживает более высокую скорость обмена и позволяет подключить большее количество жестких дисков к контроллеру. Так же как на реальном компьютере, устройства могут быть добавлены и удалены во время работы системы. Стандарт интерфейса для SATA контролеров называется Advanced Host Controller Interface ( AHCI ).

    По соображениям совместимости, AHCI контроллеры по умолчанию работают с дисками в режиме называемом IDE совместимом, пока явно не указать использование SATA. Этот режим ("IDE compatibility mode") означает, что устройства будут определяться и управляться через BIOS компюютера. Still, disks assigned to those slots will operate in full-speed AHCI mode once the guest operating system has loaded its AHCI device driver.

    Как и реальный SATA, виртуальный SATA контроллер работает быстрее и также меньше нагружает процессор, чем IDE контроллер. Кроме того, возможно подключение до 30 виртуальных жестких дисков к одной ВМ, а не трех как в IDE (плюс уже подключенный DVD привод). Первые четыре слота (с номерами 0-3 в окне настроек) по умолчанию работают в режиме IDE совместимости.

    Поэтому, начиная с версии 3.2, в зависимости от вида гостевой операционной системы, VirtualBox использует SATA их по умолчанию для новых создаваемых вириуальных машин. По умолчанию, создается один виртуальный SATA контроллер и новый создаваемый виртуальный жесткий диск подключается к нему.

    Предупреждение

    SATA контроллер и виртуальные диски подключенные к нему (включая диски в режиме IDE совместимости) будут видны только операционным системам с поддержкой AHCI. Например, AHCI не поддерживается в системах Windows до Windows Vista, т.е. в Windows XP (даже с SP3) вы не увидите диски пока не установите дополнительные драйвера. Возможно сменить IDE на SATA после установки ОС, установив SATA драйвера и изменив тип контроллерв в диалоге настроек ВМ.

    Для добавления SATA контроллера к виртуальной машине у которой его нет (возможно по причине создания ее в ранних версиях VirtualBox или потому, что SATA не поддерживается гостевой ОС), перейдите на закладку "Носители" диалога настроек и кликните на кнопке "Добавить контроллер" под списком "Носители информации", выбрав далее "Добавить SATA котроллер". После этого, дополнительный контроллер появится в виртуальной машине как PCI устройство и вы сможете подключать виртуальные диски к нему

    Чтобы изменить режим совместимости IDE для SATA контроллера, обратитесь к Разделу, “VBoxManage modifyvm” .

    SCSI это другой промышленный стандарт, расшифровывается как "Small Computer System Interface". Он был создан еще в 1986, в качестве универсального интерфейса для передачи данных между различными видами устройств, включая устройства хранения данных. В настоящее время SCSI по прежнему используют для подключения жестких дисков и ленточных устройств. Он до сих пор используется в высокопроизводительных компьютерах и серверах.

    Для совместимости с другими программами виртуализации, VirtualBox поддерживает LsiLogic и BusLogic SCSI контроллеры, которые позволяют подключать до 15 виртуальных жестких дисков.

    Для добавления SСSI контроллера к виртуальной машине перейдите на закладку "Носители" диалога настроек и кликните на кнопке "Добавить контроллер" под списком "Носители информации", выбрав далее "Добавить SCSI котроллер". После этого, дополнительный контроллер появится в виртуальной машине как PCI устройство.

    Предупреждение

    Как и в случае с другими типами контроллеров, SCSI контроллер будет видны только операционным системам, которые могут работать с ними. Windows 2003 и позднии версии поставляется с драйвервми для LSI Logic контроллера, а Windows NT 4.0 и Windows 2000 поставляются с драйверами BusLogic контроллера. Windows XP не имет драйверов ни для одного из них.

    Serial Attached SCSI (SAS) это другой стандарт, который использует систему комманд SCSI. As opposed to SCSI, however, with physical devices, serial cables are used instead of parallel ones, which simplifies physical device connections. In some ways, therefore, SAS is to SCSI what SATA is to IDE: it allows for more reliable and faster connections.

    Для гостевых систем требующих SAS контроллеров, VirtualBox эмулирует LSI Logic SAS контроллер, который может быть подключен тем же путем, что и SCSI контроллер. В настоящее время, можно подключить до 8 устройств к SAS контроллеру.

    Предупреждение

    Как и SATA, SAS контроллер будет доступен только в ОС которые могут с ним работать. Например, SAS не поддерживается в системах Windows до Windows Vista, т.е. в Windows XP (даже с SP3) вы не увидите диски пока не установите дополнительные драйвера.

Суммируя вышесказанное, VirtualBox предоставляет вам следующие виртуальные устройства хранения:

    четыре слота для подключения к стандарным IDE контроллерам, которые всегда представлены (один из них как виртуальный привод CD/DVD);

    30 слотов для подключения к SATA котроллеру, при условии что, что ваша гостевая ОС может работать с ними

    1. в режиме IDE совместимости (по умолчанию слоты 0-3) или

    15 слотов для подключения к SCSI контроллеру, если гостевая ОС их поддерживает;

    8 слодов для подключения к SAS контроллеру, если гостевая ОС их поддерживает;

Учитывая большой выбор контроллеров, перед вами может возникнуть вопрос выбора нужного. Вы должны избегать использование IDE, конечно если он не является единственно поддерживаемым контроллером в вашем госте. Реальной разницы между SATA, SCSI и SAS не существует. Такое разнообразие контроллеров нужно только для совместимости VirtualBox с другими гипервизорами и аппаратными требованиями гостей.

Файлы образа диска (VDI, VMDK, VHD, HDD)

Файлы дисковых образов располагаются на хост системе и определяются гостевыми системами как жесткие диски определенного размера. При чтении или записи данных с диска гостевой ОС, VirtualBox перенаправляет дисковые запросы к файлу образа.

Как и у физического диска, у виртуального диска есть размер (емкость), который должен быть указан при его создании. Но в отличии от физических дисков, VirtualBox позволяет вам увеличивать образ файла после его создания, даже в случае когда он содержит данные; см. подробности в.

VirtualBox поддерживает 4 типа файлов образов диска:

Независимо от формата виртуальных дисков, как упоминается в Разделе, “Создание виртуальных машин” , существует два типа создаваемых образов: фиксированного размера и динамически расширяемые.

    Если вы создаете образ фиксированного размера , то файл образа будет создан на хосте с примерно таким же размером как и у виртуального диска. Т.е, для 10G диска, вы получите 10G файл. Заметьте что создание фиксированных образов может занять довольно значительное время, в зависимости от размера образа и производительности дисковых операций вашей системы.

    Для более гибкого управления виртуальными носителями, используются динамически расширяемые образы . При создании данный образ будет иметь небольшой размер, за счет неиспользуемого пространства виртуального диска, но по мере использования, файл образа будет увеличиваться. Данный вид файла занимает меньше места на начальном этапе, однако VirtualBox необходимо увеличивать размер образа (пока образ не достигнет максимального размера), что ведет к замедлению дисковых операций по сравнению с дисками фиксированного размера. Однако, после достижения предела расширения динамического диска, потери производительности операций чтения и записи уже не так значительны.

Менеджер виртуальных носителей

VirtualBox хранит данные обо всех жестких дисках, CD/DVD-ROM и образах гибких дисков которые используются в виртуальных машинах. Обычно они упоминаются как "известные носители" и которые могут быть получены из 2 источников:

Список известных носителей можно просмотреть и изменить в Менеджер виртуальных носителей , который можно открыть через меню "Файл" в главном окне VirtualBox:

Носители сгруппированы на трех вкладках по их форматам. Форматы дисков:

    Образы жестких дисков, в виде собственного VirtualBox Virtual Disk Image (VDI) или формата стороннего поставщика, которые перечисленны в предыдущем разделе;

    CD/DVD образы в ISO стандарте;

    образы дискет в стандартном формате RAW (полная копия носителя).

Как вы видите на скриншоте выше, для каждого образа, менеджер виртуальных носителей показывает полный путь к файлу образа и другую информацию: например,подключен ли образ к ВМ, если таковые имеются.

Менеджер виртуальных носителей позволяет вам

    удалить образ из хранилища (и при необходимости также удалить образ файла);

    "освободить" образ, то есть, отключить его от виртуальной машины, если он подключен к одной из машин.

Начиная с версии 4.0, для создания новых образов дисков, используйте закладку "Носители" в диалоговом окне настроек виртуальной машины (т.к. образы дисков по умолчанию сохраняются в папку виртуальной машины).

Файлы образов жестких дисков можно скопировать на другой хост и импортировать в другие виртуальные машины.

Замечание

Не создавайте копии виртуальных дисков простым копированием. При импорте таких копий в виртуальную машину, VirtualBox будет выдавать ошибку, так как VirtualBox присваивает уникальный идентификатор (UUID) каждому образу, убедитесь что образы используются одновременно только в одной ВМ. Ознакомьтесь с разделом, “Клонирование образов дисков” для получения информации по вопросу клонирования образов. Если вы хотите скопировать виртуальную машину на другую систему, то VirtualBox предоставит вам механиз импорта/эксорта, который лучше всего подойдет для этой задачи; см. раздел “Importing and exporting virtual machines” .

Особые режимы записи образа

Для каждого образа виртуального диска поддерживаемого в VirtualBox, вы можете отдельно установить его поведение в случае выполнения операций записи в виртуальной машине и при работе со снимками состояний. Это относится ко всем форматам образов(VDI, VMDK, VHD or HDD) и не зависит от типа образа - фиксированого размера или динамически расширяемого.

По умолчанию, образ создается в режиме "normal" . Для преобразования режима существующего образа в другой, используйте VBoxManage modifyhd ; см. Раздел, “VBoxManage modifyhd” . Альтернативный метод - используя VBoxManage для подключения образа к ВМ используя аргумент --mtype ; см. .

    Для normal образов (по умолчанию) не существует ограничений на операции чтения и записи на диск.

    Когда вы делаете снимок состояния вашей виртуальной машины (см. Раздел, “Снимки состояний”), состояние диска в режиме "normal" будет всегда сохранено в снимке и при возврате к снимку, его состояние будет полностью сброшено к состоянию на момент создания снимка.

    (Technically, strictly speaking, the image file itself is not "reset". При создании снимка, VirtualBox "замораживает" файл образа и не записывет данные в него. При операциях записи в ВМ, создается другой "разностный" файл образа, в который записываются все изменения.

    Когда вы подключаете "normal" образ к более чем одной виртуальной машине, то только одна из этих виртуальных машин может работать с этим файлом образа в одно и то же время, иначе не возможно было бы разрешить конфликты одновременной записи данных в образ.

    В отличии от него, на жесткие диски write-through не влияет механизм снимков состояния: их состояние не сохраняется и не восстанавливается при создании и восстановлении снимков.

    Жесткие диски Shareable это вариант write-through жестких дисков. Для них также не сохраняется и не востанавливается состояние при работе со снимками. Их различие только в совместной работе с несколькими ВМ. Shareable диски могут быть подключены к нескольким ВМ, которые могут работать одновременно. Это особеность, позволяет использовать их в кластерных файловых системах. Только образы фиксированного размера могут использоваться в этом случае - использование динамических расширяемых дисков запрешено.

    Предупреждение

    This is an expert feature, and misuse can lead to data loss -- regular filesystems are not prepared to handle simultaneous changes by several parties.

    Далее, immutable образы хранят записанные на них данные только при работе виртуальной машины; все изменения будут потерены, когда ВМ будет запущена в следующий раз. В отличие от "normal" образов, immutable образы могут использоваться в нескольких виртуальных машинах без ограничений.

    Создание immutable образа не имеет смысла, поскольку изначально он не содержит данных и все данные на нем будут потерены при перезапуске машины (конечно если вы действительно хотите иметь такой диск, то создавайте). Обычно, вначале вы должны создаете "normal" образ и когда вы заполните его нужными данными можете сделать его immutable.

    Если вы сделаете снимок виртуальной машины с immutable образом, то при каждом ее включенииэтот образ будет соответствовать последнему состоянию (текущему) снимка (а не состоянию оригинального immutable образа).

    Замечание

    As a special exception, immutable images are not reset if they are attached to a machine whose last snapshot was taken while the machine was running (a so-called "online" snapshot). As a result, if the machine"s current snapshot is such an "online" snapshot, its immutable images behave exactly like the "normal" images described previously. To re-enable the automatic resetting of such images, delete the current snapshot of the machine.

    Фактически VirtualBox никогда не пишет напрямую never в immutable образ. Все операции записи в машине перенаправляются в разностный образ; при следующем включении ВМ, разностный образ очищается. Differencing образ очищается только при включении виртиуальной машины VirtualBox"ом, а не при перзапуске запрошеной внутри виртуальной машины. This is also why immutable images behave as described above when snapshots are also present, which use differencing images as well.

    Образ в режиме multiattach может быть подключен одновременно к более чем одной виртуальной машине, даже если эти машины работают одновременно. Для каждой ВМ к которой этот образ подключен, создается разностный образ. В результате, данные которые пишутся на виртуальный диск одной машины не доступны на другой, для каждой машины создается своя собственная история записи данных multiattach образа.

    В техническом плане, "multiattach" образ идентичен "immutable" образу за исключением того, что его содержимое не очищается при каждом запуске машины.

    Наконец, read-only образ используется для CD/DVD образов, т.к. на CD/DVD нельзя записать.

Для иллюстрации отличий между разными типами образов рассмотрим работу со снимками состояний: предположим вы установили гостевую ОС в виртуальной машине и сделали ее снимок состояния. Представим что ваша ВМ была заражена вирусом и вы хотите вернуться к сохраненному ранее состоянию. Для normal образа диска, вы просто восстанавливаете состояние ВМ и предыдущее состояние вашего диска будет восстановлено (вирус будет удален). Для immutable диска, вне зависимости от снимка, все что нужно сделать так это перезапустить ВМ, изменения сделанные вирусом в файловой системы будут удалены. Для write-through образа однако, вы не можете просто удалить последствия действий вируса средствами виртуализации, вам необходимо будет "вылечить" вашу виртуальную машину как реальный компьютер.

Использование write-though образов удобно, когда вы захотите сохранять важные данные вне зависимости от снимков состояний и вам необходимо использовать образ в нескольких ВМ: вы можете использовать один immutable диск для ОС, а другой write-through диск для файлов с данными.

Differencing образы

В предыдущем разделе упоминались разностные образы, как они мспользуятся в снимках состояний ВМ, immutable образы и диски для множественного подключения. Для любознательных пользователей VirtualBox в этом разделе более подробно описываются детали их работы.

Разностный образ это специальный образ диска, который содержит только изменения/отличия данных из другого образа. Отделное использование его бесполезно, он должен быть всегда ссылаться на другой образ. Разностный образ обычно рассматривается как "дочерний", который хранит изменения для его "родителя".

В активный разностный образ записываются все данные по операциям записи от виртуальной машины. Разностный образ состоит только из секторов виртуального жесткого диска, которые были изменены с момента его создания. Когда машина читает сектор с этого виртуального жеского диска, она вначале ищет его в разностном образе. Если такой сектор найден, то но считывается из него; если нет, то VirtualBox ищет его в образе родителя. Другими словами, родитель это образ "только для чтения"; он никогда не используется для записи, но если сектор на не был изменен то он используется для чтения данных.

Разностыне образы могут образовывать цепочки. Если создается другой разностный образ для виртуального диска, который уже имеет разностный образ, то он становится "внуком" для родительского образа. Первый разностный образ также становится доступным только для чтения, а операции записи выполняются только на разностном образе второго уровня. При чтении с виртуального диска, VirtualBox необходимо сначала обработать второй разностный образ, затем первый и если сектор не будет найден то оригинальный образ.

Возможно создание неограниченого количества разностных образов и любой образ может иметь более одного дочерьнего элемента. В результате, может быть создана сложная древовидная структура с родительскими, "одноуровневыми" и дочерними элементами. Операции записи всегда выполняются на один "активный" разностный образ, а для операций чтения, VirtualBox может потребоваться просмотреть все сектра в цепочке образов, вплоть до родительского. Вы можете посмотреть на такое дерево в менеджере виртуальных ностелей:

In all of these situations, from the point of view of the virtual machine, the virtual hard disk behaves like any other disk. While the virtual machine is running, there is a slight run-time I/O overhead because VirtualBox might need to look up sectors several times. This is not noticeable however since the tables with sector information are always kept in memory and can be looked up quickly.

Разностные образы могут использоваться в следующих ситуациях:

    Снимки состояний. Когда вы создаете снимок, как описывалось в предыдущей секции, VirtualBox "замораживает" образы подключенные к виртуальной машине и создает разностный образ для каждого из них (если быть точным: один для каждого образа, который не находится в режиме "write-through"). С точки зрения виртуальной машины, виртуальные диски продолжают работу, но все операции записи передаются в разностные образы. В любое время вы можете создать другой снимок, для каждого подключенного жесткого диска, будет создан и подключен другой разностный образ, формируя цепочку или дерево.

    На рисунке выше, вы можете увидеть, что к исходному образу диска теперь подключен снимок состояния, который представляет состояние диска в момент создания снимка.

    Если вы теперь восстановите снимок -- т.е. если вы хотите вернуть машину к состоянию сохраненному в снимке, то произойдет следующее:

    1. VirtualBox восстановит настройки виртуальной машины, которые были сохранены в снимке состояния. В результате, если вы изменяли настройки машины, то они будут отменены.

      If the snapshot was taken while the machine was running, it contains a saved machine state, and that state is restored as well; after restoring the snapshot, the machine will then be in "Saved" state and resume execution from there when it is next started. Otherwise the machine will be in "Powered Off" state and do a full boot.

      Для каждого образа диска подключенного к машине, с видом differencing, будут отменены все действия выполненные операциями записи на него и его состояние будет восстановлено из оригинального родительского образа. (If you restored the "root" snapshot, then this will be the root disk image for each attachment; otherwise, some other differencing image descended from it.) This effectively restores the old machine state.

    Если вы позже удаляете снимок для освобождения места на диске хоста, у каждого подключенного диска один из differencing образов становится не нужным. В данном случае, подключенный differencing образ не может быть просто удален. VirtualBox нужно просмотреть каждый сектор в разностном образе и скопировать нужные в родительский; это называется "объединение" образов и эта операция может быть длительным процессом, что зависит от размера разностного образа. Также для этой операции временно может потребоваться большое количество свободного дискового пространства.

    Immutable образы. Если образ находится в режиме "immutable", то разностные образы также создаются. Как и в случае снимков, родительский образ переходит в режим только для чтения, а запись производится в разностный образ. Каждый раз при запуске виртуальной машины, все immutable образы отбрасывают свои собственные разностные образы.

Клонирование образов дисков

Вы можете сделать копии образов жестких дисков для того чтобы быстро создать другую виртуальную машину с такой же ОС. Однако, вам необходимо обязательно делать копию виртуального образа диска используя утилиту поставляемую с VirtualBox; см. the section called “VBoxManage clonehd” . Ее необходимо использовать, так как VirtualBox присваивает уникальный идентификационный номер (UUID) каждому образу диска, который хранится внутри файла образа и VirtualBox не будет работать с двумя образами с одинаковыми идентификаторами. В случае если вам нужно повторно импортировать дисковый образ, который вы скопировали обычным методом, вы можете использовать другую утилиту VirtualBox: импортируйте его вместо копирования.

Заметьте что новые дистрибутивы Linux идентифицируют загрузочные диски по ID устройств. ID который VirtualBox предоставляет устройствам получает из UUID образа виртуального диска. Поэтому если вы получили копию диска и попытаетесь загрузиться с него, но так как UID изменился, то гостевая система может не определить свой загрузочный диск и не загрузиться. В данном случае вы должны будете изменить ID диска в настройке загрузчика (например /boot/grub/menu.lst). The disk ID looks like this:

Scsi-SATA_VBOX_HARDDISK_VB5cfdb1e2-c251e503

ID для копии образа можно определить командой

Hdparm -i /dev/sda

Host I/O caching

Начиная с версии 3.2, в VirtualBox можно по желанию отключать кэширование I/O (буферизация ввода/вывода), которое по умолчанию выполняется ОС хоста для файлов виртуальных дисков.

Обычно, VirtualBox открывает файл образа диска как обычный файл, для которого выполняется кэширование операционной системой хоста, как и для всех других файлов системы. Основное преимущество этой операции - скорость: когда гостевая ОС пишет данные на диск хостовая ос использует кэш, приостанавливая физическую запись, а гостевой ОС может быть отослано сообщение об успешном выполнении операции записи. Также, когда вы запускаете ВМ в другой раз и имеется достаточно свободной памяти у ОС для кэширования, то значительные части виртуальных жестких дисков могут быть расположены в системной памяти и поэтому ВМ может получить доступ к данным значительно быстрее.

Заметьте, что это относится только к файловым образам; буферизация вывода никогда не применялась к виртуальным дискам расположенным на удаленных iSCSI хранилищах (см. раздел “iSCSI servers”).

Для виртуализации нескольких на одном хосте - буферизация это полезная настройка, но имеется несколько недостатков в этой технологии:

    Отложенная запись, через кэш ОС, менее безопасна. Когда гостевая ОС записывает данные, то считается что данные сохранены, даже если не было физической записи на диск. Если по каким то причинам запись не происходит (сбой питания или ОС хоста), то увеличивается вероятность потери данных.

    Образы дисков обычно имеют очень большие размеры. Поэтому, их кэширование может быстро занять весь кэш ОС хоста. Это может привести к замедлению работы хоста, особенно, если одновременно запущено несколько ВМ. Например, на Linux, возможна задержка всех операций записи процессе ожидания заполнения всего кеша и последующей его одновременной записи на диск, что может приводить к приостановке работы ВМ до нескольких минут. Это может привести к ошибкам I/O в гостевой ОС по таймауту.

    Физическая память часто тратится впустую, т.к. у гостевых систем есть собственный кэш ввода/вывода, что приводит к дублированию операций буферизации (в кеше гостя и хоста).

Если вы решите отключить кэширование I/O хоста, то VirtualBox будет использовать свой собственный, маленький кеш только для буферизации записи, а для операций нет, т.к. чтение обычно буферизируется в гостевой ОС. Дополнительно, VirtualBox полностью поддерживает асинхронный ввод/вывод для SATA, SCSI и SAS контроллеров, посредством многопоточного ввода/вывода.

Асинхронный I/O не поддерживается для IDE контроллеров, поэтому вы возможно захотите включить кеширование в ваших ВМ с виртуальными IDE контроллерами.

Поэтому, VirtualBox позволяет вам настраивать кеширование операций вводв/вывода для каждого контроллера отдельно. Снимите галку с "кеширование операций ввода/вывода" на вкладке "Носители" или используйте следующую команду VBoxManage, для отключения кеширования виртуального контроллера:

VBoxManage storagectl --name --hostiocache off

По упомянутым выше причинам, VirtualBox теперь использует по умолчанию SATA контроллер для новых виртуальных машин.

Ограничение пропускной способности для дисковых образов

Начиная с версии 4.0, VirtualBox позволяет ограничить максимальную полосу пропускания для асинхронного ввода/вывода. Возможно задание ограничений для нескольких образов, посредством групповых лимитов. Возможно задать более, чем один такой лимит.

Ограничения настраиваются через VBoxManage . В примере ниже создается групповая полоса пропускания названная "Limit" с лимит в 20 MB/s и она привязывается к подключенным дискам ВМ:

VBoxManage bandwidthctl "VM name" --name Limit --add disk --limit 20 VBoxManage storageattach "VM name" --controller "SATA" --port 0 --device 0 --type hdd --medium disk1.vdi --bandwidthgroup Limit VBoxManage storageattach "VM name" --controller "SATA" --port 1 --device 0 --type hdd --medium disk2.vdi --bandwidthgroup Limit

Для всех дисков в группе задан общий лимит, для примера выше это значит, что пропускная общая способность обоих дисков никогда не превысит 20 MB/s. Однако, если одному диску не требуется канал ввода/вывода, то оставшиеся диски в группе используют пропускную способность канала всей группы.

Ограничения для каждой группы может быть изменено при работающей ВМ и эти изменения сразу же вступают в силу. В следующем примере, для группы созданной в примере выше, задается лимит в 10 MB/s:

VBoxManage bandwidthctl "VM name" --name Limit --limit 10

Поддержка CD/DVD

Виртуальные приводы CD/DVD по умолчанию работают только в режиме чтения. Настройки носителей можно изменять во время работы ВМ. Вы можете выбирать тремя настройками:

    Host Drive определяет, что гостем будет использоваться носитель в приводе хоста.

    Image file (обычно ISO файл) гость будет иметь доступ только для чтения к данным файла образа.

    Empty задает состояние отсутствия носителя в приводе.

Переключения описанных выше настройек, изменения носителя в приводе хоста или файла образа сразу передаются гостевой операционной системе, которая может реагировать на эти изменения (например запускать установщик программы).

Смена носителя может быть запрещено гостем и VirtualBox блокирует смену диска в этом случае. Вы можете принудительно удалить носитель в данной ситуации через графическую среду VirtualBox GUI или с помощью командной строки VBoxManage. Фактически это похоже на аварийное извлечение диска, которое обеспечивают многие приводы CD/DVD , но с этим действием связаны побочные эффекты: гостевая ОС может выдать сообщение об ошибке, и как в случае с реальным оборудованием, гостевые приложения могут вызывать сбои в работе. Используйте это метод с осторожностью.

Замечание

Наименование устройства предоставляемого гостю (которое в гостевой системе будет отображаться в утилитах настроек таких как Windows Device Manager) будет всегда "VBOX CD-ROM", независимо от текущей настройки виртуального привода. Это сделано для того, чтобы исключить срабатывания механизма поиска новых устройств в госте при изменении настроек ВМ.

Эмуляция стандартных CD/DVD приводов позволяет читать данные только со стандартных форматов CD и DVD. Гостю можно дать право на запись CD/DVD, посредством прямого доступа к приводу хоста, но данная функция имеет статус экспериментальной: В зависимости от аппаратной части хоста, это позволяет:

    Записывать CD/DVD из гостевой системы, если привод CD/DVD хоста пишущий;

В диалоге настроек контроллера для подключенного носителя есть флажок "Разрешить прямой доступ" или вы можете использовать опцию --passthrough в команде VBoxManage storageattach ; см. раздел “VBoxManage storageattach” .

Даже в случае включенного режима прямого доступа, небезопасные команды, такие как прошивка привода. будут заблокированы. Формат Video CD не поддерживается даже в режиме прямого доступа, и поэтому не может быть просмотрен в виртуальной машине.

On Solaris hosts, pass-through requires running VirtualBox with real root permissions due to security measures enforced by the host.

Сервера iSCSI

iSCSI это стандарт для "Internet SCSI", который позволяет использовать протокол SCSI через Internet (TCP/IP) соединения. Подключение устройства iSCSI к компьютерным сетям (лучше с гигабитным Ethernet) позволяет их использовать как удаленный жесткий диск. В терминах iSCSI сервер предоставляющий ресурсы хранилища называется "iSCSI target", а клиент подключенный к серверу и использующий эти ресурсы "iSCSI initiator".

VirtualBox позволяет подключать удаленные хранилища iSCSI к виртуальной машине как виртуальный жесткий диск. Гостевая ОС не "видит" различий между образом виртуального диска (файлом VDI) и iSCSI target. Для этой цели в VirtualBox интегрирован iSCSI initiator.

Поддержка в VirtualBox iSCSI была разработана с соответствии со стандартом iSCSI, что позволяет работать со стандартными устройствами iSCSI targets. Для использования iSCSI с VirtualBox, вы должны использовать командную строку; см. раздел “VBoxManage storageattach” ended ; now they are discarded every time the machine is powered on.

Изобретение относится к виртуальным контроллерам для визуальных отображений. Технический результат заключается в повышении точности детектирования и отслеживания жестов и движений рук. Такой результат достигается благодаря тому, что камера захватывает изображение рук напротив фона, изображение сегментируется на области рук и области фона, различные жесты рук и пальцев изолируют части фона в независимые области, которым затем назначаются управляющие параметры для манипулирования визуальными отображениями. Несколько управляющих параметров могут быть ассоциированы с атрибутами нескольких независимых областей, образованных двумя руками, для расширенного управления, включающего в себя одновременные функции щелканья, выбора, выполнения, горизонтального перемещения, вертикального перемещения, прокручивания, перетаскивания, вращательного движения, изменения масштаба, развертывания, свертывания, выполнения функций работы с файлами и выполнения выбора из меню. 3 н. и 17 з.п. ф-лы, 5 ил.

Рисунки к патенту РФ 2439653

УРОВЕНЬ ТЕХНИКИ

Движения рук и сигналы руками являются естественными формами человеческого проявления и средства общения. Применение этого знания к взаимодействию человек-компьютер привело к развитию компьютерных методов, основанных на зрительном восприятии, которые предусматривают человеческую жестикуляцию в качестве компьютерного ввода. Компьютерное зрение - это методика, предусматривающая осуществление систем ввода человеческих жестов с целью фиксации свободных движений человеческих рук или тела. Многие основанные на зрительном восприятии методы, разработанные в настоящее время, однако, включают в себя неуклюжие упражнения, требующие неестественных жестов руками и дополнительного оборудования. Эти методы могут быть сложными и громоздкими, приводя к уменьшению эффективности вследствие повторяющихся движений руками в сторону от стандартных местоположений при использовании компьютера.

Современные компьютерные способы ввода обычно включают в себя как ввод текста с использованием клавиатуры, так и манипулирование курсором посредством мыши или стилуса. Повторяющиеся переключения между клавиатурой и мышью уменьшают эффективность для пользователей с течением времени. Методы компьютерного зрения пытаются улучшить несовершенства задач ввода человек-компьютер путем использования движений рук в качестве ввода. Такое использование было бы наиболее эффективным, если бы детектирование происходило при обычных положениях рук во время использования компьютера, таких как клавиатура. Многие из современных компьютерных методов, основанных на зрительном восприятии, применяют использование направленного или вытянутого пальца в качестве жеста ввода. Трудности детектирования такого жеста руки у местоположения клавиатуры или около него возникают вследствие сходства указывающего жеста с естественным расположением руки во время печатания.

Многие современные методы компьютерного зрения применяют парадигмы детектирования и отслеживания жестов для опознавания жестов и движений рук. Эти парадигмы детектирования и слежения являются сложными методиками, использующими замысловатое распознавание образов для восстановления формы и положения рук. Детектирование и слежение ограничено несколькими факторами, включающими в себя трудность в достижении разумной вычислительной сложности, проблемы с реальным детектированием из-за неопределенности в движениях человеческих рук и жестикуляции и отсутствие поддержки для методов, разрешающих взаимодействие более чем с одним пользователем.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Сущность этого изобретения предусматривает введение упрощенных признаков и понятий виртуальных контроллеров для видеотерминалов, которое также описывается ниже в Подробном описании. Эта сущность не предназначена для идентификации существенных признаков заявленного объекта изобретения, и она также не предназначена для использования в определении объема заявленного объекта изобретения.

В одном осуществлении виртуального контроллера для видеотерминалов камера или другое сенсорное устройство детектирует изображение одной или более рук на уровне фона. Изображение сегментируется на области рук и области фона, и с различными интервалами подсчитываются отдельные, независимые области фона - «дырки» - образованные на изображении большим пальцем и пальцем, составляющим замкнутое кольцо (например, одна дырка может быть создана каждой рукой). Большой палец и указательный палец, когда их используют таким образом, называются «интерфейс большого и указательного пальцев» (TAFFI). Возможны другие типы интерфейсов рук и пальцев. По меньшей мере один контрольный параметр присваивается тогда каждой распознаваемой дырке или независимой области фона в захваченном изображении, причем этот контрольный параметр обычно разрешает руке пользователя управлять некоторым аспектом отображаемого изображения на экране или мониторе. Например, функция щелканья мышью может быть назначена в качестве контрольного параметра, когда большой палец и указательный палец руки касаются друг друга и создают визуально независимую область фона. Контрольные параметры могут назначаться таким образом, что отображаемое изображение меняется в зависимости от каждого изменения формы и/или положения независимой области, ассоциированной с контрольным параметром, или в зависимости от формирования или расформирования независимой области (высокое состояние, когда большой палец и указательный палец касаются, и низкое состояние, когда большой палец и указательный палец разомкнуты).

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Повсюду на чертежах используются одинаковые цифры для ссылок на подобные признаки и компоненты.

Фиг.1 представляет собой схему примерной автоматизированной системы, в которой может быть осуществлен примерный виртуальный контроллер для визуального отображения.

Фиг.2 - блок-схема примерной системы виртуального контроллера.

Фиг.3 - схема сегментации изображения, использованной в примерном сегментаторе системы виртуального контроллера Фиг.2.

Фиг.4 - схема примерного управления интерфейсом большого и указательного пальцев.

Фиг.5 - схема последовательности операций примерного способа управления визуальным отображением с помощью жестов руки и пальцев.

ПОДРОБНОЕ ОПИСАНИЕ

Это раскрытие описывает виртуальные контроллеры для визуальных отображений. В одном варианте осуществления примерная система обеспечивает навигацию отображения, такого как визуальный пользовательский интерфейс, типичный для монитора компьютера, с использованием компьютерных методик, основанных на визуальном восприятии, в применении к жестам рук и пальцев. В одном варианте осуществления пользователь печатает на клавиатуре и затем, например, запускает «интерфейс большого и указательного пальцев» или «TAFFI», приостанавливая печатание на клавиатуре и просто соединяя вместе большой палец и указательный палец одной руки (словно держа маленький стилус). Примерная система считывает это событие и присваивает контрольные параметры для характерных признаков независимой области фона, образованной жестом пальцев, для того чтобы управлять изображением на видеотерминале.

«Виртуальный» в словосочетании «виртуальный контроллер» относится к отсутствию устройства в физическом контакте с рукой пользователя. Так, в одном варианте осуществления, виртуальный контроллер состоит из камеры, установленной над руками и клавиатурой, и ассоциированной логической схемы для извлечения одного или более интерфейсов из визуального изображения рук пользователя. Разбиение на сегменты выделяет объекты рук из фона (например, при включении клавиатуры). Если пользователь соединяет указательный палец с большим (TAFFI, вверху), система распознает и табулирует независимую область фона, созданную этим жестом руки. То есть система распознает, что часть фона была визуально изолирована от остальной части основного фона касанием большого и указательного пальцев, сделавших полное замкнутое «кольцо», которое замыкает «дырку от бублика» области фона эллиптической формы. Детектирование визуального изображения способом, отличным от компьютерной камеры, также возможно. Например, двумерная матрица электродов или антенн, внедренных в клавиатуру или стол, может «формировать изображение» жеста руки с использованием электростатического или радиочастотного методов и обрабатываться способом, аналогичным захвату изображения с камеры.

В одном варианте осуществления независимая область фона считается отдельным визуальным объектом, когда она визуально разъединена или изолирована от других частей фона областями рук, или, в одном варианте осуществления, областями рук на изображении и/или на границе изображения. Когда изображение(я) рук и пальцев являются ограничивающими объектами для определения границ независимой области фона, тогда эллиптическая область между большим пальцем и указательным пальцем руки, которая создается, когда большой палец и указательный палец «смыкаются» (касаются друг друга), подсчитывается как новая независимая область фона приблизительно в тот момент, когда большой палец и указательный палец касаются. Новая независимая область фона может считаться «связным компонентом» в области анализа связных компонентов. Такие связные компоненты или новые независимые области фона - «дырки» - будут называться здесь «независимыми областями фона» или просто «независимыми областями». Следует понимать, что эта терминология относится к визуальному объекту, который считается отдельным, например, в области анализа связных компонентов.

Когда большой палец и указательный палец «разомкнуты», вновь образованная независимая область фона исчезает и снова становится частью большей независимой области фона.

В терминах области анализа связных компонентов связный компонент представляет собой группу пикселей в бинарном изображении с одинаковыми характерными признаками, которые группируются вместе на основании подобия характерных признаков. Каждый связный компонент часто соответствует отдельному визуальному объекту, увиденному человеком-наблюдателем. Каждую часть фона, которая визуально обособлена от других частей фона частью областей руки или пальцев на изображении, можно определить как независимую область или, на языке анализа связных компонентов, как вновь образованный связный компонент, отдельный от связного компонента фона.

Конечно, другие варианты осуществления могут использовать движения или касания других пальцев руки, образующих «дырку» или «независимую область». Так, «TAFFI» следует толковать свободно, как конфигурацию пальцев(а) и рук(и), которая визуально изолирует часть фона от остального общего фона. Например, большой палец и любой другой палец человеческой руки, или просто два пальца без большого пальца, также могут сформировать интерфейс «TAFFI». Для упрощения описания, однако, варианты осуществления будут как правило описываться в терминах «большого и указательного пальцев».

Как только модуль детектирования отличает новую независимую область фона от общей области фона, система ассоциирует вновь распознаваемую независимую область с одним или более управляющими параметрами, которые позволяют пользователю манипулировать отображаемым изображением на визуальном пользовательском интерфейсе. Отображаемое изображение на визуальном пользовательском интерфейсе может меняться посредством управляющего параметра, поскольку положение, форма и даже существование независимой области фона отслеживаются.

В одном варианте осуществления примерная система обеспечивает детектирование более чем одной независимой области, разрешая пользовательское управление над отображаемым изображением посредством многочисленных управляющих параметров, в котором могут участвовать одна или обе руки. Ассоциация многочисленных управляющих параметров с многочисленными независимыми областями разрешает управление отображаемым изображением относительно изменений формы, положения и существования каждой детектированной независимой области. Так, управление отображаемым изображением может включать в себя управление щелканьем, выбором, выполнением, горизонтальным перемещением, вертикальным перемещением, прокруткой, перетаскиванием, вращательным движением, изменением масштаба, развертыванием и свертыванием, функциями работы с файлами, развертыванием и использованием меню и т.д. Дополнительно, управляющие параметры могут также присваиваться зависимостям между многочисленными распознаваемыми независимыми областями. То есть по мере того как две независимые области двигаются по отношению друг к другу, например, различные управляющие параметры могут приписываться к расстоянию между ними. Например, по мере того как независимые области каждой руки отодвигаются друг от друга, изображение может изменяться в масштабе или растягиваться или может растягиваться по размеру или задавать направление, в котором меняется расстояние между независимыми областями.

В то время как признаки и понятия описанных систем и способов для виртуальных контроллеров могут быть осуществлены во многих различных средах, варианты осуществления виртуальных контроллеров описываются в контексте следующих примерных систем и сред.

Примерная среда

Фиг.1 иллюстрирует примерную систему 100, в которой могут быть осуществлены интерфейсные методики виртуального контроллера, такие как интерфейс большого пальца и указательного пальца, TAFFI, введенный выше. Примерная система 100 включает в себя «отображаемое изображение» 102 на визуальном пользовательском интерфейсе (мониторе, экране или «отображении» 103), камеру 104 в сочетании с вычислительным устройством 105, мышь 106, клавиатуру 108, руки пользователя 110, показанные в контексте (не часть аппаратного обеспечения системы, конечно), и визуально независимую область 112, образованную рукой 110(1) пользователя, используемой как TAFFI. Камера получает захваченное изображение 114 рук, которое будет использоваться примерным устройством TAFFI 115. (Захваченное изображение 114 показано только для описательных целей, примерная система 100 не обязана отображать то, что захватывает камера.) Вычислительное устройство 105, размещающее механизм 115 TAFFI, может быть настольным устройством, переносным устройством, PDA или другим вычислительным устройством 105, которое может успешно регистрировать ввод от камеры 104, так что механизм TAFFI 115 может детектировать некоторые жесты рук и использовать их как ввод пользовательского интерфейса.

Камера 104 захватывает изображение одной руки 110(1), содержащее TAFFI, в то время как другая рука 110(2) остается в «традиционном» (не TAFFI) печатающем положении. Захваченное изображение 114 показывает детектирование независимой области 112 для руки 110(1), формирующей TAFFI, но не детектирование независимой области для руки 110(2), которая по-прежнему печатает или использует мышь для дополнительного ввода. Детектирование независимой области 112 камерой 104 отображается как затемненная область (112) в захваченном изображении 114. Это захваченное изображение 114 демонстрирует фазу в процессе, который будет описан дополнительно ниже, на которой примерная система 100 разделяет руки 110 и фон на непрерывные, сегментные области, такие как большая область фона, области рук и меньшие области фона, составляющие независимую область 112, образованную посредством TAFFI руки 110(1).

Система 100 может быть системой, основанной на визуальном восприятии («компьютерном зрении»), которая обеспечивает управление визуальным пользовательским интерфейсом посредством ввода жестом руки, детектированным камерой 104 или другим датчиком. Другими словами, примерная система 100 может управлять выводом отображения визуального пользовательского интерфейса многих различных типов программ или приложений, которые могут выполняться на вычислительном устройстве, включая отображения на основе Web. Так, примерная система 100 может заместить традиционные пользовательские устройства ввода, такие как мышь 106 и, при желании, клавиатура 108, включая их функции выбора, перемещения и изменения объектов, отображаемых на визуальном пользовательском интерфейсе 102, или даже ввода текста.

Виртуальный контроллер детектирует особенные жесты и движения рук как ввод пользователя. В иллюстрированном варианте осуществления камера 104, использованная для детектирования, помещена где-то над руками и клавиатурой, будучи прикреплена к монитору 103. Камера 104, помещенная в этом положении, обладает полем зрения, которое охватывает по меньшей мере большую часть клавиатуры 108 и приблизительно сфокусирована на плоскости рук 110 пользователя в нормальном положении печатания. В одном варианте осуществления могут быть помещены источники света, такие как инфракрасные или видимые LED, чтобы освещать руки 110 и клавиатуру 108, и могут также быть ориентированы для уменьшения эффектов переменного окружающего освещения. В некоторых случаях может быть достаточно окружающего света, так что для камеры не нужны дополнительные источники света, чтобы получить изображение. В разных вариантах камера 104 и/или дополнительные источники света могут быть помещены между различными клавишами клавиатуры 108, так что камера 104 обращена вверх и способна детектировать жесты рук и движения рук над клавиатурой 108.

Примером камеры 104, которая может быть использована в иллюстрированной примерной системе 100, является Web-камера 104 LOGITECH, которая получает полутоновые изображения с высоким разрешением на частоте 30 Гц (Фримонт, Калифорния). Камера 104 может быть прикреплена либо к клавиатуре 108, либо к монитору 103, либо куда-либо еще, где удобно.

В примерной системе 100 рука пользователя 110(1) может сформировать TAFFI, который создает визуальную область, независимую от остальной области фона, когда большой палец и указательный палец касаются. В одном варианте осуществления потенциальный TAFFI и присутствие или отсутствие одной или более независимых областей 112 детектируются процедурой обработки изображения в реальном времени, которая выполняется в вычислительном устройстве 105, чтобы постоянно следить и определять состояние обеих рук 110, например печатают ли руки 110 или формируют жест для ввода. Эта процедура обработки может вначале определять, находятся ли большой палец и указательный палец пользователя в контакте. Если пальцы находятся в контакте, вызывая независимую область 112 образования TAFFI, которую следует распознать, позиция контакта может быть прослежена двумерно. Например, позиция контакта большого пальца и указательного пальца может быть зарегистрирована в компьютере 105 как позиция указывающей стрелки или позиция курсора. Это распознавание позиции образования TAFFI и ассоциированной с ним независимой области 112 используется таким образом для установления позиции курсора и для управления отображаемым изображением, в одном варианте осуществления.

Быстрые движения рук, производящие независимую область 112, где независимая область 112 формируется, расформировывается и затем формируется снова внутри некоторого интервала времени, могут моделировать или имитировать «щелканье» мышью и позволять пользователю выбирать отображаемый элемент. Быстрое формирование, расформирование и формирование вновь независимой области 112 могут также позволять пользователю перетаскивать или прокручивать выбранные порции отображаемого изображения, перемещать объект в горизонтальном, вертикальном или диагональном направлениях, поворачивать, изменять масштаб и т.д. отображаемого изображения 102. Кроме того, в одном варианте осуществления перемещение TAFFI, который сформировал независимую область 112, ближе или дальше от камеры 104 может привести к увеличению и уменьшению отображаемого изображения.

Управление отображаемым изображением посредством многочисленных TAFFI может задействовать более одной руки 110. Проиллюстрированная примерная система 100 Фиг.1 является вариантом осуществления управления TAFFI, в котором управление изображением происходит от TAFFI одной руки 110(1), в то время как противоположная рука 110(2) печатает и выполняет другие задания ввода на клавиатуре 108. Но в другом варианте осуществления управления TAFFI обе руки 110 могут формировать соответствующие TAFFI, приводя к детектированию по меньшей мере двух независимых областей 112 камерой 104. Двуручное управление TAFFI может обеспечить управление вводом для точно настроенной навигации визуального пользовательского интерфейса. Двуручный подход обеспечивает многонаправленное манипулирование изображением в дополнение к увеличению, уменьшению масштаба и вращательным перемещениям, где манипулирование является более изощренным из-за взаимодействия независимых областей 112 нескольких TAFFI по отношению друг к другу.

Примерная система

Фиг.2 иллюстрирует различные компоненты примерной системы 100 виртуального контроллера. Проиллюстрированная конфигурация системы 100 виртуального контроллера является только одним примером расположения. Многие расположения проиллюстрированных компонент, или других подобных компонент, возможны внутри объема предмета изобретения. Примерная система 100 виртуального контроллера имеет несколько компонентов, таких как механизм TAFFI 115, которые могут быть выполнены в аппаратном обеспечении, программном обеспечении или комбинациях оборудования, программного обеспечения, встроенного программного обеспечения и т.д.

Примерная система 100 включает в себя аппаратное обеспечение 202, такое как камера 104 или другой датчик изображения, клавиатуру 108 и дисплей 103. Устройство 115 TAFFI включает в себя другие компоненты, такие как сегментатор 204 изображения, модуль 206 отслеживания независимых областей, механизм 208 управляющих параметров, включающий в себя модуль 210 связи.

В одном варианте осуществления камера 104 детектирует изображение, интерпретируемое как одна или более рук 110 на уровне фона. Пиксели захваченного изображения 114 включают в себя контрастные значения параметра, который будет использоваться для отличия рук 110 на изображении от области(ей) фона на изображении. Пригодные параметры для сопоставления рук и фона могут включать в себя яркость, оттенки серого цвета, насыщенность цветовых компонентов, значение цветовой плоскости, векторную величину пикселя, заданное значение таблицы компонентов цветов и т.д. В разных вариантах осуществления камера 104 может использовать один или другой из этих параметров для отличия пикселей руки от пикселей фона, например, в зависимости от того, используется ли инфракрасное освещение вместо обычного видимого спектра. Иногда получение захваченного изображения 114 с использованием инфракрасного света приводит к тому, что руки большинства людей различных оттенков кожи проявляются с одинаковым контрастом по отношению к фону независимо от вариаций цвета кожи и тона видимого спектра вследствие различия расы, загара и т.д. Таким образом, детектирование рук на фоне изображения может быть легко выполнено в инфракрасном свете безотносительно к видимым оттенкам кожи.

Сегментатор 204, таким образом, разделяет захваченное изображение 114 на одну или более областей рук 110 и область(и) фона, например, путем сегментации бинарного изображения в соответствии с параметрами контраста или яркости, описанными выше. Сегментация бинарного изображения отличает пиксели области фона от пикселей любого другого объекта (переднего плана) или области, присутствующей на захваченном изображении 114. В одном варианте осуществления сегментатор 204 разделяет изображение, определяя вначале пиксели, которые соответствуют области фона. Каждому пикселю области фона присваивается значение, такое как бинарные «единицы» (1). Всем оставшимся пикселям на захваченном изображении 114 присваиваются отличные значения, такие как «нули» (0).

Фиг.3 иллюстрирует пример 300 сегментации бинарного изображения, выполненного сегментатором 204. Захваченное изображение 114 включает в себя объект 302 фона и объект 304 руки на фоне. Существует ряд способов для получения сегментированных изображений, большинство из которых хорошо известны в технике. В одном варианте осуществления сегментатор 204 отличает пиксели области фона от пикселей любого другого объекта или области, которая присутствует на захваченном изображении 114 или в примере 300. Различение пикселей в бинарном изображении выполняется посредством рассмотрения каждого пикселя, соответствующего фону, как «включенного» или как фиксированного значения, такого как «единица». Каждое другое значение пикселя на изображении может затем сравниваться со значением сохраненного изображения фона. Любое другое значение пикселя, которое существенно ярче, чем соответствующее значение пикселя фона, считается частью новой области или объектом изображения и помечается «выключенный», или ему придается отличное значение, такое как «нуль».

Пример 300 может также иллюстрировать различение области 302 фона от других областей изображения в виде разницы цветов. Область 302 фона показана как более темный цвет, что уравнивается с первым значением. Объект 304 руки, показанный как более светлый цвет, уравнивается со вторым значением, отличающим его от области 302 фона.

Возвращаясь к Фиг.2, устройство 206 отслеживания независимых областей определяет, с фиксированными интервалами времени, количество независимых областей 112 фона. Каждая часть фона, которая визуально обособлена от других частей фона по меньшей мере частью нефоновых областей рук (или границей изображения), определяется как независимая область 112. Для каждой воспринятой независимой области 112 модуль 206 отслеживания независимых областей находит область пикселей «1», полностью окруженную пикселями «0» (т.е. не связанную более непрерывно с остальными пикселями «1», составляющими главный фон). Другими словами, устройство 206 отслеживания независимых областей находит области изолированного фона, которые очерчиваются жестом TAFFI касания большого пальца и указательного пальца.

Точное детектирование независимой области 112 как отдельной области фона, указывающее на намерение пользователя выбрать объект на дисплее 103, например, может быть гарантировано, что независимая область лежит полностью внутри захваченного изображения 114, воспринятого камерой 104, т.е. что никакая порция независимой области 112 не лежит на границе захваченного изображения 114.

Тем не менее, в одном варианте осуществления разновидность модуля 206 отслеживания независимых областей может воспринимать независимую область 112, даже когда часть независимой области 112 находится «вне экрана» - не включенная как часть захваченного изображения 114. Это может быть выполнено путем определения независимой области 112 в виде области фона, отрезанной от основного фона частью руки 110 или частью границы захваченного изображения 114. Но это только вариант того, как разграничить независимую область фона.

Как только существование одной или более независимых областей установлено, модуль 210 связи ассоциирует контрольный параметр для управления операциями визуального графического дисплея 102 на пользовательском интерфейсе с каждой подсчитанной независимой областью. Манипулирование может включать в себя ряд механизмов, включая управление курсором внутри визуального пользовательского интерфейса. Управление курсором визуального графического отображения 102 может быть выполнено, но только когда независимая область детектирована и ассоциирована с управляющим параметром. Если детектирование независимой области прекращается, ассоциация с управляющим параметром прекращается, и управление курсором и манипулирование отключаются. Управление курсором может включать в себя ряд манипуляций, включая действие «щелканья», имитирующее ввод от мыши. Действие щелканья обеспечивает выбор желаемой части визуального изображения на отображении 102, отслеживание и перетаскивание и многонаправленное перемещение и управление курсором.

Модуль 210 связи обеспечивает ассоциацию заданного управляющего параметра с жестом руки или пальца или с изменением жеста. Как только управляющий параметр присвоен или ассоциирован с жестом руки или пальца, то механизм 208 управляющих параметров может далее различать, как жест руки и управляющий параметр связаны друг с другом. Например, простое касание большого пальца с указательным пальцем может быть использовано в качестве «включения-выключения», бинарного интерфейса или переключателя высоких-низких или других двух состояний. Хотя атрибут жеста руки может меняться непрерывно, может назначаться обеспечение переменного управления над манипулированием отображаемого изображения, таким как постепенные перемещения отображаемого изображения 102 через континуум.

Когда модуль 210 связи присваивает переменный управляющий параметр для управления отображаемым изображением 102, например, в зависимости от изменений формы или положения соответствующей независимой области, аспект переменности может быть выполнен путем расчета среднего положения всех пикселей, принадлежащих каждой независимой области, и затем отслеживания изменений в положении формы, создаваемой, когда рука формирует TAFFI. Перемещение рук меняет ориентацию эллиптической формы независимых областей и вынуждает соответствующие изменения в атрибуте элемента изображения, ассоциированного с присвоенным управляющим параметром.

Управление отображаемым изображением

Фиг.4 показывает пример TAFFI 400, иллюстрированный в контексте захваченного изображения 114. Иллюстрированная часть захваченного изображения 114 включает в себя область 302 фона, область 110 объекта руки, независимую область 112 и границу 408 изображения. Каждая из областей 302, 110 и 408 могут быть описаны как отдельные связные области или связные компоненты. Механизм 115 TAFFI отличает независимую область 112 от других связных компонентов, 302 и 110.

Механизм 115 TAFFI может, таким образом, использовать подсчет связных компонентов изображения как основу для осуществления виртуального котроллера для видеотерминалов. Подробнее, связные компоненты являются подмножеством пикселей или участком изображения, на котором каждый пиксель «связан» с каждым другим пикселем в подмножестве. Термин «связный» обозначает множество пикселей, для которого является возможным достичь каждого пикселя из любого другого пикселя путем пересечения пикселей, которые принадлежат этому множеству. В настоящее время существуют эффективные методы для расчета множества связных компонентов на изображении. Методы связных компонентов могут быть эффективными направлениями для определения свойств форм на изображении, так как они допускают исследование малых множеств компонентов, состоящих из многих пикселей внутри пикселей целого изображения.

Процесс расчета связных компонентов может привести к детектированию посторонних связных компонентов. Эти ненужные детектирования могут запутать определение релевантных независимых областей, образованных TAFFI или другими примерными интерфейсами, и поэтому затруднить осуществление виртуального контроллера. В одном варианте осуществления постороннее детектирование внешних связных компонентов может быть преодолено путем отбрасывания связных компонентов, которые имеют меньшее количество пикселей, чем в заранее определенном допустимом граничном значении.

В одном варианте осуществления механизм 115 TAFFI подтверждает, что выявленная независимая область 112 лежит полностью внутри границ изображения, т.е. полностью в пределах области 302 фона. Иногда это ограниченное детектирование независимой области 112, которое имеет достаточный размер и не включает в себя пикселей на границе 408 изображения, подкрепляет достоверную идентификацию ожидаемых независимых областей 408. В этом одном варианте осуществления надлежащее детектирование выполняется путем отказа от ложных кандидатов в связные компоненты или тех, которые не лежат полностью внутри изображения и которые содержат участки на границе 408 изображения.

Все же, в другом варианте осуществления механизм 115 TAFFI детектирует независимую область 112 путем выявления участка независимой области 112 внутри захваченного изображения 114 и участка, лежащего вне экрана за границей 408 изображения. В этом варианте осуществления анализ связных компонентов продолжается до тех пор, пока независимая область 112 не является смежной с точкой столкновения и/или не выходит за пределы границы 408 изображения. Это может произойти, когда рука, формирующая TAFFI и независимую область 112, только частично находится в поле зрения камеры и поэтому только частично внутри детектируемого изображения.

В одном варианте осуществления механизм 115 TAFFI использует центр независимой области 112 для установления позиции курсора и управления курсором внутри отображаемого изображения 102. Механизм 115 TAFFI может выполнять статистический анализ для каждой распознаваемой независимой области 112, где модуль отслеживания 206 независимых областей вычисляет «центроид» или среднее положение пикселей из всех пикселей, принадлежащих к каждой независимой области 112. Это вычисленное положение является суммой многих положений пикселей, приводя к стабильности и прецизионности для этого осуществления. Среднее положение пикселей может быть вычислено на том же этапе, что и подсчет связных компонентов, приводя к эффективному методу, который обеспечивает быстрые результаты с низкими затратами на обработку.

Рассматривая появление и исчезновение независимых областей 408 как средства управления визуальным отображением, в одном варианте осуществления среднее положение пикселей из всех пикселей, принадлежащих к независимой области 112, устанавливает положение курсора и управление, только когда независимая область 112 вновь детектируется в течение одного интервала повторяющегося процесса детектирования.

Управление курсором с детектированием независимых областей 408 может имитировать устройство 106 ввода мышь. Аналогично мыши 106, относительное движение для управления курсором может быть рассчитано из текущего и прошлого положения детектируемой независимой области 112, образованной TAFFI 400. Соединение вместе большого пальца и указательного пальца является естественным движением, которое предусматривает не требующего усилий защелкивающего действия, как с устройством ввода мышью. Использование фильтра Калмана с детектированием TAFFI может сгладить перемещение курсора по визуальному отображению 103.

Примерное устройство 115 TAFFI поддерживает выбор объектов отображаемого изображения 102 путем быстрого формирования, расформирования и нового формирования независимой области 112 с пороговым временным интервалом. Эти действия имитируют «щелканье» кнопкой мыши для функций «выбора» или «выполнения» и могут также поддерживать переход от отслеживания к перетаскиванию выбранного объекта. Например, перетаскивание может быть осуществлено путем имитирования события «мышь-вниз», следующего немедленно за последним формированием независимой области 112. Соответствующее событие «мышь-вверх» генерируется, когда независимая область 112 исчезает при разжимании большого пальца и указательного пальца. Например, в момент формирования независимой области на визуальном отображении пользовательского интерфейса может быть выбран объект, такой как зона прокрутки в документе. Сразу же за этим выбором положение руки, формирующее независимую область 112, может переместиться тем же способом, каким могла бы перемещаться мышь 106 для прокрутки вниз в документе.

Механизм 115 TAFFI может обеспечить большее управление визуальным отображением 102, чем простое имитирование обычной функции, основанной на мыши. Среднее значение и ковариация положений пикселей независимой области 112 (связного компонента) могут быть соотнесены с ориентированной эллиптической моделью формы независимой области 112 путем расчета собственных векторов ковариационной матрицы положений пикселей. Квадратный корень из абсолютной величины собственных значений дает их пространственную протяженность, в размерах основной и дополнительной осей, в то время как ориентация эллипса определяется как арктангенс одного из собственных векторов, с точностью до неопределенности в 180 градусов. Получающаяся в результате неопределенность может быть устранена путем выбора вычисленной ориентации или ориентации, повернутой на +180 градусов, с тем чтобы минимизировать разницу в ориентации из предыдущего кадра.

Механизм TAFFI 115 может вычислять одновременные изменения в положении, ориентации и масштабе из эллиптической модели независимой области 112, созданной примерным TAFFI 400. В разных вариантах осуществления изменения в масштабе могут быть также использованы для детектирования перемещения руки по направлению к камере и от камеры. Это предполагает, что рука пользователя, образующая независимую область 112, как правило, удерживается внутри фиксированного диапазона расстояний от камеры 104, так что размер и форма независимой области 112 меняются только внутри допусков, так что видимые изменения в ориентации отчасти ограничены плоскостью области 302 фона или клавиатурой. В одном варианте осуществления важным фактором является то, что на всем протяжении взаимодействия пользователь должен поддерживать размер независимой области - размер эллиптической дырки, образованной TAFFI 400 - по мере того как пользователь перемещает руки вверх и вниз по отношению к камере или клавиатуре (т.е. в некоторых вариантах осуществления изменение по высоте смешивается с реальным изменением формы независимой области). В других вариантах осуществления устройство 115 TAFFI компенсирует изменения в размере независимой области, по мере того как рука перемещается вверх и вниз, используя логическую схему компьютерного зрения.

В одном примере осуществления устройство 115 TAFFI использует эллиптическую модель независимой области 112 для навигации одной рукой аэрофотоснимков и спутниковых изображений, например, таких, которые предоставляются web-службой WINDOWS ® LIVE VIRTUAL EARTH® или другими подобными картографическими службами Интернет (Редмонд, штат Вашингтон). Навигация путем перемещения поперек всего поля зрения виртуальной карты может быть выполнена TAFFI 400 с независимой областью 112, которая перемещается поперек области 302 фона, такой как стол или клавиатура. Вращение всей карты может быть выполнено путем вращения руки, образующей независимую область 112 внутри двумерной плоскости клавиатуры, в то время как функции увеличения и уменьшения в масштабе достигаются перемещением руки ближе или дальше от камеры 104.

Устройство 115 TAFFI может осуществить применение двух или более рук для управления курсором и навигации. Стратегия покадрового соотнесения позволяет непрерывно отслеживать каждую независимую область 112, либо как первую, либо как вторую, третью и т.д. область, детектируемую камерой для ввода. Помещение обеих рук на уровне области 302 фона для детектирования камерой и последующее перемещение рук по отношению к области 302 фона меняют ориентацию эллиптической модели независимых областей 408 и вынуждают перемещение визуального отображения пользовательского интерфейса, ассоциированного с позицией и локализацией перемещений рук через посредство управляющих параметров, присвоенных модулем 210 связи.

Одновременное отслеживание нескольких управляющих параметров, соответствующих нескольким жестам рук или пальцев, дает возможность осуществлять множество двуручных взаимодействий. Обращаясь вновь к примеру виртуальной карты Интернет, двуручный ввод для навигации виртуальной карты допускает одновременные изменения во вращении, трансляции и изменении масштаба поля зрения карты на дисплее 103. Так как оценки местоположения для независимых областей 408 извлекаются из положения рук, двуручный метод может обеспечить более устойчивые оценки перемещения, чем оценки метода одной руки. Двуручный метод, таким образом, обеспечивает: вращение по часовой стрелке и против часовой стрелки, где обе руки одновременно перемещаются в направлении вращения; перемещение всего визуального отображения пользовательского интерфейса в вертикальном или горизонтальном направлениях, где обе руки перемещаются в требуемом направлении; и функции изменения масштаба, где увеличение визуального отображения пользовательского интерфейса выполняется, когда обе руки начинают от совместного близкого расположения и затем отодвигаются друг от друга, и уменьшение визуального отображения пользовательского интерфейса совершается сведением рук вместе из разведенного начального положения.

Одновременные изменения в положении, ориентации и масштабе, вычисленные из эллиптической модели независимой области 112, могут быть использованы в вариантах осуществления, иных, чем стандартные среды вычислительных устройств. Например, механизм 115 TAFFI может управлять интерактивными системами на поверхности стола, которые включают в себя камеру и проектор на столе, а не традиционные устройства ввода, такие как мышь, сенсорный экран или клавиатура. Пользователь размещает руки над поверхностью стола, образуя независимые области 408, чтобы обеспечить манипулирование и взаимодействие с поверхностью стола и с материалом, отображаемым на поверхности. Похожее осуществление может включать в себя систему, которая проектирует изображение отображения на стену, где пользователь может взаимодействовать и управлять изображением отображения посредством рук и пальцев, действующих как TAFFI 400. Например, устройство 115 TAFFI может позволять пользователю менять слайды в течение проекторной презентации.

Примерный способ

Фиг.5 показывает примерной способ 500 управления визуальным отображением посредством жеста руки или пальца. На блок-схеме последовательности операций операции сведены в индивидуальных блоках. В зависимости от варианта осуществления примерный способ 500 может быть выполнен аппаратным обеспечением, программным обеспечением или комбинациями оборудования, программного обеспечения, встроенного программного обеспечения и т.д., например компонентами примерной системы 100 виртуального контроллера и/или примерным механизмом 115 TAFFI.

В блоке 502 захватывается изображение одной или более рук 110 на уровне фона посредством камеры 104. Контрастность, цвет или яркость могут быть атрибутами пикселей, которые позволяют различить руки и окружающую область фона. Руки распознаются более легко на контрастном фоне. Один сценарий распознавания рук работает во время печатания на клавиатуре 108. Камера 104 захватывает изображение рук 110 и клавиатуры 108, воспринимаемой как часть области фона. Инфракрасное освещение LED также может использоваться для этого способа, который предлагает управляемую подсветку, заставляя большинство рук выглядеть похожими для камеры 104 в оттенке кожи.

В блоке 504 изображение сегментируется на объекты рук и области фона посредством бинарной сегментации. Например, пиксели области фона идентифицируются и отделяются от пикселей любого другого объекта или области на изображении. Пиксели области фона затем помечаются некоторым значением. Пиксели других объектов или областей на изображении в дальнейшем идентифицируются и сравниваются со значением пикселей сохраненного изображения фона. Любое значение пикселя, существенно более яркое, чем соответствующее значение пикселя фона, помечается частью новой области или изображения, и ему придается значение, отличное от пикселей области фона. Это разграничение и пометка различающихся областей изображения является бинарной сегментацией изображения.

В блоке 506 количество независимых областей фона подсчитывается с повторяющимися интервалами детектирования. Независимые области 408 определяются как каждая часть 302 фона, которая визуально изолирована от других частей фона по меньшей мере частью одного из объектов рук 110. Например, когда рука действует как интерфейс большого и указательного пальцев, или TAFFI, большой и указательный пальцы руки создают замкнутую область, независимую от остальной части общей области фона. Эта замкнутая область формирует новую независимую область 112, к которой может быть прикреплен управляющий параметр для управления визуальным отображением. В одном варианте осуществления способ тестирует, являются ли детектируемые независимые области действительно независимыми, т.е., в одном случае, имеет ли независимая область пиксели на границе изображения.

В блоке 508 управляющий параметр для управления изображением на дисплее ассоциируется с каждой подсчитанной независимой областью или ее атрибутом. Например, независимая область 112, созданная рукой, использованной как TAFFI, воспринимается камерой 104 и сопоставляется с управляющим параметром, разрешающим пользователю выбрать объект на отображении пользовательского интерфейса. Впоследствии вторая воспринимаемая независимая область 112 соотносится с управляющим параметром пользовательского интерфейса, позволяя пользователю переместить выбранный ранее объект в другое местонахождение на дисплее пользовательского интерфейса. Эта быстрая последовательность распознавания первой и второй независимых областей 112 может происходить в результате быстрого формирования, расформирования и нового образования независимых областей 408, приводя к функции «щелканья» типа мыши, ассоциированной с обнаруженной независимой областью 112.

В блоке 510 отображаемое изображение изменяется посредством управляющего параметра по отношению к каждому изменению атрибута независимой области, которая присваивается управляющему параметру. Например, положение независимой области 112 может перемещаться налево или направо по отношению к считывающей камере 104 и отображаемое изображение 102 может следовать соответственно. Ассоциация воспринимаемой независимой области 112 с управляющим параметром разрешает управление отображаемым визуальным изображением 102 соответственно перемещению, положению и взаимосвязи рук, используемых как TAFFI.

Вышеупомянутый способ 500 и другие родственные способы могут быть осуществлены в общем контексте исполняемых команд компьютера. В общем случае, исполняемые команды компьютера могут включать в себя подпрограммы, программы, объекты, компоненты, структуры данных, процедуры, модули, функции и тому подобные элементы, которые выполняют специальные функции или осуществляют специальные типы абстрактных данных. Способы могут также применяться на практике в распределенной вычислительной среде, где функции выполняются удаленными обрабатывающими устройствами, которые связаны посредством коммуникационной сети. В распределенной вычислительной среде исполняемые команды компьютера могут быть локализованы как в местных, так и в удаленных накопителях компьютера, включая устройства хранилища памяти.

Заключение

Хотя примерные системы и способы описаны на языке, специфическом для структурных признаков и/или методологических этапов, следует понимать, что предмет изобретения, определенный в прилагаемой формуле изобретения, не обязательно ограничен специфическими признаками или описанными этапами. Скорее, специфические признаки и этапы раскрыты как примерные формы осуществления заявляемых способов, устройств, систем и т.д.

ФОРМУЛА ИЗОБРЕТЕНИЯ

1. Способ управления отображаемым изображением, содержащий этапы, на которых:

детектируют изображение одной или более рук напротив, по существу, неподвижного фона посредством камеры;

сегментируют изображение на области рук и области фона;

с интервалами выполняют подсчет количества независимых областей фона, причем каждая часть фона, которая визуально независима от других частей фона, определяется как независимая область, при этом каждая из независимых областей визуально отделена от других частей фона, по меньшей мере, частью областей рук;

ассоциируют управляющий параметр для манипулирования отображаемым изображением на пользовательском интерфейсе с центроидом каждой подсчитанной независимой области, причем центроид представляет собой среднее положение пикселя от всех пикселей, принадлежащих данной независимой области; и

изменяют отображаемое изображение посредством управляющего параметра в зависимости от каждого изменения в форме и/или положении независимой области, ассоциированной с управляющим параметром.

2. Способ по п.1, дополнительно содержащий этап, на котором разобщают управляющий параметр и ассоциированную независимую область, когда независимая область снова становится связной.

3. Способ по п.1, в котором управляющий параметр содержит имитирование приведения в действие кнопки мыши, когда независимая область формируется, расформировывается и переформировывается в пределах порогового интервала времени.

4. Способ по п.1, в котором управляющий параметр содержит имитирование и перемещение указателя мыши.

5. Способ по п.1, в котором управляющий параметр содержит перемещение курсора.

6. Способ по п.1, в котором управляющий параметр содержит перемещение отображаемого изображения по отношению к пользовательскому интерфейсу.

7. Способ по п.6, в котором перемещение содержит одно из вертикального перемещения, горизонтального перемещения и вращательного движения.

8. Способ по п.1, в котором управляющий параметр содержит изменение масштаба или уменьшение размера отображаемого изображения на пользовательском интерфейсе.

9. Способ по п.1, дополнительно содержащий этап, на котором ассоциируют управляющий параметр с взаимосвязью между двумя независимыми областями, причем каждая независимая область сформирована изображением соответствующей руки.

10. Способ по п.9, в котором управляющий параметр содержит растягивание отображаемого изображения в зависимости от изменения расстояния между двумя независимыми областями.

11. Способ по п.9, в котором управляющий параметр, ассоциированный с зависимостью между двумя независимыми областями, управляет одним из:

вращения отображаемого изображения в зависимости от вращения линии между двумя независимыми областями;

Вращения отображаемого изображения в направлении по часовой стрелке или против часовой стрелки, когда обе независимые области перемещаются по дуге в аналогичном направлении;

перемещения всего отображаемого изображения, когда обе независимые области перемещаются одновременно в одном и том же направлении; и

изменения масштаба отображаемого изображения, когда меняется расстояние между независимыми областями.

12. Способ по п.1, в котором область большого пальца и область указательного пальца одной из областей рук определяют интерфейс большого и указательного пальцев (TAFFI), причем область большого пальца и область указательного пальца визуально касаются друг друга, чтобы визуально разъединить часть фона от других частей фона, чтобы образовать независимую область.

13. Система для управления отображаемым изображением, содержащая:

датчик изображений для детектирования изображения, включающего в себя одну или более рук напротив, по существу, неподвижного фона;

модуль сегментации изображений для сегментации изображения на одну или более областей рук и фона;

отслеживающий модуль для подсчета, с интервалами, количества независимых областей фона, причем каждая часть фона, которая визуально независима от других частей фона, определяется как независимая область, при этом каждая из независимых областей визуально отделена от других частей фона, по меньшей мере, частью областей рук;

связующий модуль для ассоциирования управляющего параметра для манипулирования отображаемым изображением на пользовательском интерфейсе с центроидом каждой подсчитанной независимой области, причем центроид представляет собой среднее положение пикселя от всех пикселей, принадлежащих данной независимой области; и

при этом каждое изменение в форме и/или положении независимой области, ассоциированной с управляющим параметром, модифицирует отображаемое изображение посредством управляющего параметра.

14. Система по п.13, в которой, когда независимая область вновь становится связной, связующий модуль разобщает соответствующий управляющий параметр от ассоциированной независимой области.

15. Система по п.13, в которой связующий модуль ассоциирует управляющий параметр, который имитирует приведение в действие кнопки мыши, когда независимая область формируется, расформировывается и переформировывается в пределах порогового интервала времени.

16. Система по п.13, в которой связующий модуль ассоциирует управляющий параметр для имитации перемещения визуального индикатора, выбранного из группы визуальных индикаторов, состоящих из изображения указателя мыши, изображения курсора и по меньшей мере части отображаемого изображения, при этом перемещение содержит перемещение, выбранное из группы перемещений, состоящих из вертикального перемещения, горизонтального перемещения, вращательного движения, перемещения с увеличением масштаба и перемещения с уменьшением масштаба.

17. Система по п.13, в которой связующий модуль ассоциирует управляющий параметр с взаимосвязью между двумя независимыми областями, при этом каждая независимая область сформирована изображением соответствующей руки.

18. Система по п.17, в которой связующий модуль ассоциирует управляющий параметр для растяжения отображаемого изображения в зависимости от изменения расстояния между двумя независимыми областями.

19. Система по п.17, в которой связующий модуль ассоциирует управляющий параметр для вращения отображаемого изображения в зависимости от вращения линии между двумя независимыми областями.

20. Система для изменения отображаемого изображения на пользовательском интерфейсе посредством управляющего параметра, назначенного перемещению руки, содержащая:

средство для детектирования изображения одной или более рук напротив, по существу, неподвижного фона;

средство для сегментации изображения на одну или более областей рук и фона;

средство для подсчета, с фиксированными интервалами, количества независимых областей фона, где каждая часть фона, которая визуально независима от других частей фона и визуально отделена, по меньшей мере, частью области руки от других частей фона, определяется как независимая область;

средство для ассоциирования управляющего параметра для манипулирования отображаемым изображением на пользовательском интерфейсе с центроидом каждой подсчитанной независимой области, причем центроид представляет собой среднее положение пикселя от всех пикселей, принадлежащих данной независимой области, и для изменения отображаемого изображения посредством управляющего параметра в зависимости от каждого изменения в форме и/или положении независимой области, ассоциированной с управляющим параметром.

Сегодня даже небольшие компании уходят от автономных децентрализованных Wi-Fi-сетей, которые дорого эксплуатировать, сложно защитить от вторжения и еще сложнее масштабировать. Наиболее распространены централизованные сети, управляемые с помощью контроллеров. Затраты на приобретение и эксплуатацию контроллеров составляют значительную часть стоимости такой сети. Для решения этой проблемы сегодня все чаще используются виртуальные контроллеры.

Наиболее распространенные корпоративные Wi-Fi-сети (WLAN) обычно используют проверенную концепцию централизованного контроллера, который управляет другими контроллерами и точками доступа (AP). В таких системах через физический контроллер проходит весь трафик и данные, необходимые для управления сетью.

Новая концепция виртуализации предполагает программный контроллер, через который проходят только данные для управления: аутентификация, координация сессий, предотвращение вторжений, управление радиопокрытием и т. д. Остальной трафик в таких сетях минует контроллер и передается через сеть напрямую. Компания Adtran в своих решениях Bluesocket впервые разделила трафик и управление за счет умных AP, которые самостоятельно осуществляют аутентификацию пользователей и проводят трафик. Виртуальные контроллеры Bluesocket имеют аббревиатуру vWLAN (virtual Wireless LAN), примем это обозначение для всех сетей с виртуальным контроллером, который не проводит трафик.

Рисунок 1. Традиционная схема централизованной сети с контроллером, через который проходит весь трафик

Аппаратный контроллер часто является самым «узким» местом ИТ-системы, поскольку через него проходит весь трафик. Любое резкое увеличение нагрузки может затормозить или даже «утопить» контроллер и привести к сбою в работе всей сети. Часто этим фактом могут воспользоваться злоумышленники - провести успешную DDoS атаку на корпоративную сеть. Также большое количество контроллеров создает множество мобильных доменов, что усложняет эксплуатацию и создает дополнительные риски взлома.

Виртуальный контроллер работает только с данными управления, а трафик идет через сеть на месте подключения, поэтому масштабировать сеть проще. Данные, управляющие сетью, шифруются и могут передаваться через Интернет, но при этом потеря связи означает потерю управления сетью. Правда и в этом случае vWLAN может поддерживать работу внутренней сети в автономном режиме. Если при аутентификации используется удаленный сервер RADIUS, то в случае потери связи с контроллером новые пользователи не смогут подключиться к сети. Для предотвращения подобных ситуаций необходимо заранее настроить дополнительные способы аутентификации на случай недоступности RADIUS.


Рисунок 2. Новая схема централизованной сети с контроллером, через который проходит только трафик для управления

Функционал WLAN и vWLAN в настоящее время не отличается, например, Bluesocket предлагает физические и виртуальные серверы, на которых используется один и тот же программный код и приложения.


WLAN и vWLAN

Популярная сейчас концепция SaaS, при которой сеть Wi-Fi предлагается как услуга, также требует минимум настраиваемых аппаратных решений, потенциально обещает значительную экономию средств в сравнении с традиционными аппаратными системами. Слабым звеном в реализации этой концепции является контроллер, как центр сети.

Небольшим и средним компаниям часто не по карману покупка, резервирование и обслуживание контроллера WLAN с десятками AP. Впрочем, и для крупных организаций покупка мощного контроллера, например, Aruba 7210 (до 512 AP), обойдется в сумму больше $15 тыс., что требует серьезного подхода при планировании сети. Но в любом случае возможности расширения сети ограничены, и при очередном увеличении масштабов нужно закупать новое дорогостоящее оборудование. У сетей vWLAN таких аппаратных ограничений нет, например, виртуальный контроллер Bluesocket на мощной платформе виртуализации VMware может обслуживать до 10 тыс. AP и до 50 тыс. пользователей для Wi-Fi современного стандарта 802.11n.


Рисунок 3. Виртуальный контроллер vWLAN позволяет быстро развернуть надежную сеть с множеством удаленных точек доступа (AP)

Виртуальный контроллер позволяет отказаться от всех трат на аппаратную часть, кроме покупки точек доступа. Например, контроллер Bluesocket для vWLAN может поставляться в виде образа, который размещается в частном или публичном облаке. Обслуживание контроллера может производить владелец облака, управление сетью происходит через гипервизор дата-центра. Масштабирование такой сети очень простое: с помощью покупки лицензий на любое количество точек доступа.

Движение трафика без «протаскивания в бутылочное горлышко» физического контроллера резко снижает нагрузку на контроллер vWLAN и экономит средства за счет использования более «медленного» соединения при подключении контроллера через Интернет. Это означает меньшие требования к производительности оборудования. К тому же на контроллере vWLAN проще выполнить резервирование сети, в том числе разместить запасной контроллер в другом регионе, что повышает надежность и дает возможность бесшовного обновления софта.

У WLAN есть преимущество при модернизации старой и очень крупной сети — обычно проще купить новый более мощный контроллер, чем переделывать сеть под виртуальный контроллер. Но при этом в WLAN необходим канал от AP до контроллера, который позволяет передавать трафик внутри защищенного тоннеля. Это усложняет развертывание сети с центральным контроллером и существенно удорожает ее эксплуатацию.


Рисунок 4. В технологии Aruba Instant роль виртуального контроллера берет на себя точка доступа (AP)

Свой вариант виртуализации предлагает компания HPE. Ее решение Aruba Instant использует уникальный подход к виртуализации контроллера. В сети Aruba Instant виртуальный контроллер размещается на одной из AP. Он обеспечивает обычные функции контроллера, аутентификацию RADIUS, отвечает за автоматическое конфигурирование сети, гостевой доступ и другие сетевые сервисы. Администратор сети может настраивать политики доступа и каналы связи для каждого идентификатора беспроводной сети или пользователя. Фактически, это децентрализованная система, в которой AP, не способная найти контроллер, сама назначает себя контроллером. Преимущество Aruba Instant в простоте и дешевизне развертывания: можно начать с одной AP и постепенно наращивать емкость сети. Поэтому обычно такие сети используются в небольших офисах. Следует учесть, что несмотря на наличие встроенных функций безопасности, например межсетевого экрана, к защищенности сетей Aruba Instant есть вопросы. В частности, в мае 2016 г. инженер Google Свен Блюменштейн (Sven Blumenstein) опубликовал отчет о 22 уязвимостях Aruba Instant, включая «слабый» софт, удаленный запуск программного кода, раскрытие содержания информации и т. д.

Бреши обещают закрыть в третьем квартале 2016 г., но Блюменштейн отметил, что его список уязвимостей явно не исчерпывающий. На этом фоне решения Bluesocket vWLAN выглядят намного более надежными благодаря использованию традиционных проверенных систем безопасности, разработанных для централизованных сетей.

Централизованная сеть — лучшее сегодня

Централизованная сеть с виртуальным контроллером в настоящее время предлагает максимальную гибкость и защищенность. Например, виртуальный контроллер Bluesocket vWLAN может одинаково эффективно использоваться в малом офисе или в транснациональной компании и масштабируется на 90 % больше, чем традиционные решения. При выделении виртуальному контроллеру Bluesocket четырех ядер CPU, 6 Гб ОЗУ и 41 Гб накопителя обеспечивается работа более 1,5 тыс. AP и 48 тыс. пользователей.

Разделение потоков основных данных и информации для управления сетью за счет умных AP освобождает ресурсы контроллера Bluesocket, но при этом сохраняется высокая защищенность сети. Кроме того, виртуальный контроллер может легко мигрировать на новый сервер во время очередной модернизации ИТ-системы компании. Решения Bluesocket обеспечивают развертывание безопасных беспроводных сетей современных стандартов 802.11a/b/g/n/ac и подходят для средних и крупных коммерческих, правительственных организаций с большим количеством пользователей на значительной площади.


Рисунок 5. Контроллеры Edimax и Bluesocket имеют встроенные инструменты, которые обеспечивают быстрое развертывание сети

Аналогичными возможностями обладают контроллеры Edimax, которые также проводят только данные управления, а не весь трафик. При этом, например, контроллер Edimax APC500 сразу имеет встроенную функцию радиопланирования с привязкой к Google Maps, что облегчает развертывание беспроводной сети. Он может использоваться для закрытых корпоративных и открытых общественных сетей (в ресторанах, гостиницах, парках и т. п.). В этом случае возможно подключение новых пользователей через Captive Portal, в том числе и с помощью SMS-аутентификации. Это позволяет выполнить современные требования российского законодательства по обязательной идентификации абонентов беспроводных сетей.

Таким образом, можно констатировать, что проектирование современной сети означает в большинстве случаев использование централизованного управления сетью (с помощью контроллера), но с разделением трафика на данные управления и непосредственно «рабочий» трафик, который циркулирует в сети и не проходит через контроллер. Это в значительной степени разгружает контроллер и каналы связи, устраняя основное узкое место в сети. При этом обеспечивается полный функционал и максимальная защита информации при снижении стоимости эксплуатационных расходов

Мне нужна консультация. Свяжитесь со мной.

В последнее время все больше приходится сталкиваться с задачами, касающимися взаимодействия в виртуальной реальности. Тема интересная и актуальная, так как самым прямым образом связана с функциональными возможностями в виртуальной среде и влияет на пользовательский опыт в целом наравне с технологиями самих ВР-шлемов, расширяя границы уровня погружения.

Как только появилась первая версия очков Oculus Rift DK1 на новой волне интереса к ВР сразу же поднялись и вопросы систем ввода - клавиатура и мышь оказались фактически бесполезными инструментами, а управление через наведение взглядом - недостаточным способом взаимодействия с элементами окружения и интерфейса.

В мобильном ВР отлично прижился тачпад, который можно увидеть в моделях гарнитур Samsung Gear VR , а также беспроводные джойстики. Но стационарный версии ВР-очков предоставляют гораздо большие возможности для систем ввода. Сейчас все три крупных игрока - Oculus VR , HTC/Valve и Sony - будут использовать вместе со своими очками контроллеры, чувствительные к движению. Положение самих очков и контроллеров при этом могут определяться в пространстве.

Oculus и Sony сконцентрировались на реализации трекинга шлема и контроллеров больше рассчитанную на пользователя, находящегося в сидячем или стоячем положении, а система трекинга Vive работает на площади до 4.5 на 4.5 метра, позволяя пользователю перемещаться в пределах обозначенного пространства.

Многие могли удивиться. Почему предлагается использовать контроллеры, чувствительные к движению, а не их альтернативы? Ведь есть системы захвата мелкой моторики пальцев, как, например, Leap Motion , а также различные прототипы перчаток (для примера - разработка Хimmerse).

Требования к системам трекинга и ввода

Для начала давайте поймем, что в первую очередь нужно от системы управления в ВР.
И если попробовать описать требование одним словом, то думаю это будет слово «естественность». Система управления в виртуальной реальности должна быть максимально приближена к естественному взаимодействию с окружающей нас объективной действительностью, с объектами которой мы взаимодействуем преимущественно с помощью рук.

ВР интересна тем, что мы можем не только воссоздавать реальность в виртуальности, но и расширить границы обычной действительности и это, конечно, может относиться и к UI, но в данном случае несколько выходит за обозначенную тему.

Естественность также подразумевает низкий порог входа за счет интуитивного понимания принципов работы.

Есть еще синхронизация - она связана с темой естественности и чрезвычайно важна. Речь о синхронизации действий пользователя в реале и в виртуале. Этот аспект касается не только UI, сколько в первую очередь UX, самовосприятия человека в виртуальной реальности.
И этому, наравне с качественной реализацией работы ВР-очков, способствуют системы трекинга. Чем большие возможности для трекинга доступны, тем больший эффект погружения можно получить и тем больше возможности для взаимодействия с окружением. Но синхронизация - это не только вопрос возможностей и точности трекинга, но также и его стабильной работы.

И простой ответ на вопрос почему крупные игроки предлагают использовать обозначенные ими системы трекинга и ввода звучит так - на текущий момент времени эти системы позволяют создавать наиболее универсальное, естественное, интуитивно понятное и стабильное взаимодействие в виртуальной среде, которое можно позиционировать как продуктовое решение для использования уже сейчас.

Основные сомнения

Взаимодействие

Если говорить об устройствах, которые предлагают сами владельцы платформ, то на первый взгляд может показаться, что два контроллера с кнопками, которые нужно обязательно держать в руках могут ухудшить процесс естественного взаимодействия с окружением.

Но контроллер в руке есть ничто иное, как инструмент, такой, как молоток, руль автомобиля или компьютерная мышь. На определенном уровне этот инструмент становится частью самого пользователя в процессе взаимодействия с ним. Например, когда человек уже некоторое время управляет автомобилем, он начинает фактически чувствовать его габариты, ощущение его тела расширяется до границ корпуса машины.

Последние исследования показывают, что во время использования инструментов в мозгу обезьяны происходят изменения в определенных нейронных сетях - инструмент интегрируется в схему ее собственного тела (постоянно обновляемая карта расположения конечностей и формы всего тела) - модель руки расширяется до наконечника инструмента.

Когда у нас в VRARlab появился HTC Vive и мы начали первые тестирования, то сразу заметили, что авторы во многих демонстрационных сценах часто отображают виртуальные модели реальных контроллеров, создавая полный синхрон между реальным и виртуальный инструментом взаимодействия. Держа контроллер реальный и видя в сцене его виртуальный аналог, достигается очень большой уровень погружения.

В одном из видео лекций чуть ниже рассказывается, как после окончания теста проекта игрок, находясь еще в очках, решил положить реальные контроллеры на виртуальный столик, совершенно забыв, что в реальности никакого стола нет - он просто выпустил контроллеры из рук и они благополучно разбились о вполне реальный пол.
Этот пример больше относится к тому, как люди воспринимают виртуальное пространство, но со мной случилась похожая история, когда я таким же образом чуть не выронил реальные контроллеры, решив положить их виртуальные аналоги на виртуальный стол. Ситуация разрешилась благополучно, благодаря шнуркам, которыми контроллеры крепились к каждой руке.

В других примерах проектов для HTC Vive и иных очков на месте контроллера отображаются те или иные объекты (кисть руки, пистолет, бутылка кетчупа и т.п.). И при этом субъективно разница между отображением виртуального контроллера, как полного аналога реального или какого-то другого объекта оказывается не такой сильной, как может показаться изначально. В определенные моменты ты забываешь, что держишь контроллер и просто оперируешь рукой виртуальными объектами сцены. Контроллер просто становится частью тебя, как нечто само собой разумеющееся.

Перемещение

Одна из важных проблем, которая есть в текущих ВР системах ввода - вопрос перемещения человека в виртуальном пространстве. В целом, кроме ограниченного пространства для перемещения у HTC Vive, все остальные системы не позволяют синхронизировать реальное перемещение тела человека и виртуальное. А именно отсутствие подобной синхронизации ведет к так называемому сенсорному диссонансу из-за которого и возникает эффект головокружения при перемещении в ВР.
Проблема настолько серьезная, что во многих проектах, специально разработанных под ВР, чуть ли не единственным вариантом оказалось полностью отказаться или сильно переработать возможность свободного перемещения в пространстве.

Это не относится к ситуациям, когда пользователь, например, находится в виртуальном салоне автомобиля или в гигантском роботе - речь идет о симуляции полностью свободного перемещения вне какой-либо оболочки (механика классического FPS).

Существуют различные способы редуцировать неприятные эффекты на уровне изменения механики передвижения (отказ от смещения камеры влево-вправо и движение в точку направления взгляда , перемещение через телепортацию из точки точку, визуализация траекторий движения и более экстравагантные способы и т.п.), но самым действенным является отказ от какого-либо свободного перемещения или размещение игрока внутри “кабины”.

Конечно, есть различные технические решения, позволяющие имитировать естественное перемещение. Например, Virtuix Omni , но такое устройство очень сложно представить, как часть потребительской версии ВР-очков, как и представить, что в текущем виде ее будет использовать широкий круг консьюмеров. Все же больше кажется, что такая платформа может заинтересовать лишь гиков и хардкорных геймеров.

Аватары

Еще один вопрос, связанный с текущими вариантами систем ввода, которые позиционируются как продуктовые - репрезентация аватаров игроков в виртуальной реальности. Существенная проблема заключается в ограниченных возможностях корректно визуализировать аватар.
Тут, опять же, как и в случае с системами перемещения, эффективнее адаптироваться под текущие ограничения, чем, например, усложнять и делать дороже систему трекинга.

Разработчики настоятельно рекомендуют не визуализировать части тела аватара, которые должны отражать движения реального тела (если оно происходит в реале), но не могут из-за ограничения системы трекинга, чтобы не разрушать эффект погружения.
Теряет ли от этого что-то конечный пользователь? Зависит от того, как это можно обыграть. Если речь идет об игре, где игрок является, например, призраком, то ограничение на визуализацию получает нарративное обоснование и проблемы исчезает.

Возможности пользователя при работе в режиме эмуляции ограниченны. Расширить их без подключения реального ПЛК позволяет использование виртуального контроллера 3 . Он устанавливается вместе с программной средой CoDeSys 3 и запускается с помощью Gateway -сервера. Gateway -сервер автоматически запускается в качестве сервиса при запуске системы. Убедитесь, что на панели задач есть иконка , указывающая на то, что сервер запущен. Иконка говорит о том, что gateway на данный момент остановлен. Эта иконка является частью программы GatewaySysTray , предназначенной для контроля и наблюдения за сервисом Gateway . Она включает в себя меню, содержащее команды start и stop , что позволяет пользователю останавливать и перезапускать сервис вручную. Меню также содержит команду Exit Gateway Control , которая закрывает только программу GatewaySysTray , но не сервис Gateway . Программа GatewaySysTray запускается автоматически при запуске Windows . Однако ее можно также запустить из меню Программы. ПЛК (CoDeSys SP Win V3 ) доступен в качестве сервиса после запуска системы. На панели задач он представлен иконкой: для состояния ‘остановлен’, для состояния ‘запущен’. ПЛК-сервис может автоматически запускаться при запуске системы, если это поддерживается самой системой. В противном случае для его запуска необходимо вручную применить команду ‘Start PLC’ из меню, которое открывается щелчком мыши по иконке.

Рисунок 1 Старт/стоп виртуального ПЛК

Для подключения виртуального контроллера в дереве проекта двойным щелчком по устройству Device (CoDeSys SP Win V3 ) откроем диалог PLCWinNT со вкладкой Communication settings . Если вы устанавливаете соединение в CoDeSys V3.x в первый раз, то сначала вам необходимо задать локальный Gateway -сервер. Для этого используйте кнопку Add gateway , после чего появится окно, вид которого представлен на рис.2. Если во время предыдущих сессий вы уже задавали сервер, он будет отображен в диалоге параметров соединения, как показано на рис.3. В таком случае вы можете пропустить этот шаг и перейти сразу к установке канала связи с устройством.

Рисунок 2 Окно добавления канала Gateway В диалоговом окне необходимо нажать кнопку Scan network для получения списка доступных сетевых устройств, как это показано на рис.3.4. В случае неудачного подключения необходимо проверить настройки целевой платформы.Рисунок 3.4 Поиск виртуального контроллера

Далее нажатием кнопкиSet active path произведем выбор используемого контроллера. Справа от имени устройства появится надпись active, как показано на рис.5.

Рисунок 5 Выбор активного контроллера

Виртуальный контроллер позволяет не только производить отладку программы, но и может быть использован как целевая платформа для подключения внешних устройств и взаимодействия с ними по Com — портам ПК.

1 Звезда2 Звезды3 Звезды4 Звезды5 Звезд 5,00 / 3
Главная →D-Link →Виртуальный контроллер GestureWorks Gameplay. Виртуальный контроллер для визуальных отображений →
Статьи по теме: