Використання клієнта завантаження EGA - Європейський архів геном-феном EGA

EgaDemoClient - це стример даних на основі JAVA, який дозволяє власникам облікових записів EGA безпечно завантажувати файли та набори даних, або через інтерактивна оболонка (ІС) або використовуючи режим прямого командного рядка (DCLM).

Обидва методи забезпечують подібну функціональність і однаковий робочий процес (див. Графіку нижче), але лише DCLM може використовувати рівень FUSE.

Окремі файли або набори даних можна завантажити, зробивши запит на завантаження а потім завантажити запит, вказавши мітку запиту (ім’я, яке ви надаєте запиту).

Кілька файлів і наборів даних можна згрупувати, зробивши кілька запитів на завантаження, використовуючи одну і ту ж мітку запиту.

Запит на завантаження, який складається або 1 або більше файлів, зберігається на наших серверах як квитки, кожному файлу в запиті на завантаження присвоюється унікальний номер квитка.

Квиток видаляється з нашого сервера лише після успішного завантаження файлу, а це означає, що завантаження може бути перезапущений якщо з якихось причин завантаження припинено.

Всі файли в запиті на завантаження є зашифровано раніше для забезпечення безпечної передачі.

Файли завантажуються у зашифрованому вигляді .cip суфіксовані файли, який потрібно розшифрувати за допомогою клієнта завантаження за допомогою ключа, вказаного в оригінальному запиті на завантаження.

Завантажте Клієнта

Zip-файл містить 4 файли:

Посібники із швидкого запуску Readme (2)

2 Посібники з швидкого запуску

Встановлення та вимоги клієнта

Ця програма вимагає Java 1.7+, і Java повинна мати доступ до Інтернету

Порти 80 (http) та 443 (https) повинні бути відкриті для TCP.

Для використання UDT UDP-порт 80 повинен бути відкритим.

Клієнтський балансир навантаження знаходиться на ega.ebi.ac.uk, який переходить на IP-адресу 193.62.192.14

Щоб перевірити, чи правильно налаштована ваша мережа для використання клієнтом, запустіть команду (для цього прикладу припустимо: ім'я користувача = [email protected], пароль = 123pass):

Ця команда розпочнеться зі створення простого підключення до "http://www.google.com", а також "https://www.google.com", щоб забезпечити доступ Java до Інтернету у вашій системі (деякі брандмауери запобігають цьому). Потім він перетворює ім’я хосту EGA "ega.ebi.ac.uk" на IP-адресу та намагається пінгувати наші сервери, щоб перевірити, чи маєте ви доступ до нашого API із вашої системи. Якщо це вдало, тоді робиться спроба входу в систему, щоб переконатися, що ваше ім’я користувача та пароль правильні та активні. Нарешті, виконується набір коротких передач даних, щоб перевірити, чи можете ви завантажити дані у свою систему, використовуючи протоколи передачі даних TCP та UDT.

Оптимізація клієнта для вашої мережі

Щоб максимально використовувати пропускну здатність, використовуйте інтерактивна оболонка (ІС), спочатку запустіть клієнт, увійдіть і запустіть 'testbandwidth':

Виконується серія завантажень середнього розміру для визначення комбінованого максимуму смуги пропускання, який слід очікувати, використовуючи зазначену кількість паралельних потоків завантажень.

Цей тест працює як за допомогою налаштувань TCP, так і UDT (команда "udt on"/"udt off").

Більше паралельних потоків не завжди дорівнює більшій загальній пропускній здатності! Збільшення паралельних потоків працює найкраще, якщо очікувана швидкість передачі даних для одного окремого потоку є низькою. UDT також не завжди швидший, ніж TCP. Хороші зв’язки насправді мають кращу ефективність за допомогою TCP, незалежно від відстані.

Використання інтерактивної оболонки

Запуск клієнта

Інтерактивна оболонка запускається наступною командою, яка відкриває оболонку:

Вхід

Першим кроком завжди буде вхід (припустимо, для цього прикладу: ім'я користувача = [email protected], пароль = 123pass):

Отримавши "Увійти Успіх!" повідомлення, тепер ви можете переглянути всі доступні вам команди за допомогою команди "інструкції".

Відображення ваших наборів даних

Ви можете перерахувати всі набори даних (наприклад, EGA> набори даних), до яких у вас є доступ:

Як і всі файли в цьому наборі даних:

Визначення розміру набору даних

Часто важливо знати розмір набору даних перед завантаженням, який можна розрахувати за допомогою наступної команди:

Подання запиту на завантаження всіх файлів із набору даних

Після того, як ви визначили набір даних, який ви хочете завантажити, настав час запитувати його.

Запити вимагають 4 частин:

(1) Тип запиту: "набір даних" або "файл"

(2) Приєднання до набору даних (EGAD)

(3) Ключ шифрування, який використовується для шифрування даних

(4) Завантажити ярлик запиту (Виберіть ярлик, за яким ви зможете ідентифікувати ваш запит)

У цьому запиті запитуються всі файли з набору даних EGAD00010000498.

Усі файли будуть зашифровані за допомогою ключа "abc". А мітка запиту - "request_EGAD00010000498". В результаті запиту було надіслано 19 окремих файлів, кожному з яких присвоєно унікальний номер квитка для завантаження.

В результаті запиту було надіслано 19 окремих файлів, кожному з яких присвоєно унікальний номер квитка для завантаження.

Якщо запитуваний набір даних містить очікувані файли, тоді запит може виглядати так:

У цьому запиті набір даних містить 1234 файли, але лише 18 знаходяться в архіві EGA.

Файли, що очікують на розгляд, ще не заархівовані. Статус файлу автоматично оновиться до "доступного", коли вони будуть заархівовані.

Запит на завантаження окремих файлів у наборі даних

Спочатку визначте файли у вашому наборі даних.

Потім подайте запит на завантаження файлу за допомогою файлу приєднання (EGAF).

У цьому запиті запитується файл EGAF00000278296.

Файл буде зашифровано за допомогою ключа шифрування "abc", а запиту буде присвоєно мітку "file_request".

Відображення поточних запитів

Якщо ви хочете дізнатись про стан своїх запитів, існує кілька варіантів: "запити", "усі запити" та "огляд":

Використання команди "запити" перераховує всі поточні запити. У ньому перелічені мітки запитів, а також кількість файлів для завантаження:

Використовуючи команду "огляд" поєднує "всі запити" з деякими загальними коментарями, а також оновлює локальну базу даних, щоб перевірити, чи є якийсь файл, що очікує, доступним з моменту запиту:

За допомогою команди "requesttickets" можна відобразити всі квитки для вказаної мітки запиту на завантаження:

Команда "локалізувати" може бути використана для зміни IP-адреси запиту на поточну IP-адресу для входу, щоб дозволити завантаження цього запиту в локальну систему.

Для кожного квитка можна переглянути додаткову інформацію:

Завантаження запиту

Запити завантажуються за замовчуванням до поточного шляху. Це можна змінити за допомогою команди "шлях" для встановлення нового шляху. Команда "pwd" відображає поточний шлях. Потім сам запит завантажується за допомогою команди "завантажити", наприклад:

За замовчуванням завантажується три паралельних потоки. Кількість потоків можна регулювати (не більше 15), вказавши число, наприклад:

Це завантажить запит у 7 паралельних потоків.

Розшифруйте завантажені файли

Для того, щоб виконати дешифрування файлу, слід вказати повне ім'я файлу та повний шлях.

Після успішного завантаження даних їх можна розшифрувати за допомогою клієнта:

Це розшифрує файл, вказаний як ключ дешифрування. При розшифровці зашифрований файл видаляється. В

У разі команди «decryptkeep» зашифрований файл не видаляється:

Будь ласка, використовуйте інтерактивну оболонку, якщо хочете зберегти зашифровані файли після процесу дешифрування

2.4 Використання режиму прямого командування

Усі функції Інтерактивної оболонки (ІС) можна отримати за допомогою командного рядка. Командний рядок запускається шляхом вказівки параметра -p при запуску, а потім імені користувача та пароля. (порядок фактичних команд, що слідують за паролем "-p ім'я користувача", не важливий) Щоб перелічити розділ довідки для командного рядка:

(припустимо для цього прикладу: ім'я користувача = [email protected], пароль = 123pass)

Командний рядок також дозволяє вказати файл, що містить ім'я користувача та пароль (ім'я користувача 1-го рядка, пароль 2-го рядка). Щоб запустити клієнта з таким файлом (наприклад, "login.txt"), використовуйте параметр '-pf':

Приклад - Перелік файлів у наборі даних

Приклад - запит набору даних:

Приклад - запит на файл:

Приклад - Запити на лістинг:

Приклад - Завантаження запиту, використовуючи необов’язковий параметр -nt, щоб вказати 7 паралельних потоків:

Розшифруйте завантажені файли

Після перемикача -dc можна перерахувати кілька файлів.

Використання шару запобіжників

Зверніть увагу, що поточний рівень FUSE є лише версією для розробки

Ця функція доступна лише за допомогою командного рядка. Рівень FUSE дозволяє каталог зашифрованих файлів * .cip монтувати в порожній каталог, де вони можуть отримати доступ як незашифровані файли. Це дозволяє використовувати зашифровані файли безпосередньо, без необхідності попереднього розшифрування. Ця функція доступна за допомогою опції - запобіжник. На даний момент для цього потрібен дозвіл «sudo» (або бути рутом). Тоді цільовий каталог доступний кожному користувачеві.

Ця команда сканує вихідний каталог. Файли Cip обгортаються шаром доступу для виконання розшифровки довільного доступу на вимогу, а розширення ". Cip" видаляється з віртуального файлу. Всі інші файли монтуються безпосередньо. Усі файли .cip, як вважається, зашифровані з однаковим паролем/ключем. Приклад (надання вмісту/tmp/download/доступності в/tmp/mnt /):

Важливо вказувати закінчення в/њ при вказівці каталогів. Цільовий каталог повинен бути порожнім. На даний момент підкаталоги ігноруються. І вихідний каталог сканується лише один раз, під час запуску.