Доклады
Архитектуры "эпохи пост-SQL"
Сергей Кузнецов
МГУ, ИСП РАН
Сергей – доктор технических наук, главный научный сотрудник ИСП РАН, профессор МГУ и МФТИ. Эксперт РАН, член экспертного совета РФФИ. Член ACM и ACM SIGMOD, IEEE Computer Society., зам. председателя Московской секции ACM SIGMOD, член программных комитетов международных конференций DEXA, SOFSEM, ADBIS, ISD, BulticDB, SYRCoDIS и ряда других. Член редколлегии журналов «Открытые системы.СУБД», «Вычислительные методы и программирование» и «Электронные библтотеки», зам. главного редактора электронного издания «Труды Института системного программирования РАН».
СУБД: между прошлым и будущим
Раз в несколько лет ведущие представители исследовательского сообщества баз данных проводят двухдневные встречи, на которых обсуждается и оценивается состояние дел в области СУБД и формулируются наиболее актуальные в ближайшие годы темы исследований. По результатам таких встреч обычно готовятся и публикуются отчеты, традиционно пользующиеся высоким авторитетом в сообществе баз данных и оказывающие, в итоге, серьезное влияние на развитие исследований и разработок в этой области. В докладе обсуждаются самые интересные прогнозы, содержащиеся в отчетах о встречах предыдущих лет, излагаются наиболее существенные моменты отчета о последней по встрече, состоявшейся осенью 2013 года в Калифорнии.
Алексей Миловидов
«Яндекс»
Алексей - разработчик СУБД ClickHouse, с 2008 года занимается сервисом "Яндекс.Метрика".
«Коротко» о СУБД ClickHouse
ClickHouse - распределенная аналитическая СУБД с открытым исходным кодом. В докладе будет рассмотрена история разработки этой СУБД, основные принципы и особенности ее реализации, а также на конкретных примерах будет показано в каких случаях оправдано применение ClickHouse. Особое внимание будет уделено анализу особенностей использования ClickHouse для поддержки сервиса «Яндекс.Метрика» и ряда других, предлагаемых компанией «Яндекс».
Александр Коротков
«Постгресс Профессиональный»
Александр в 2008 году закончил МИФИ с красным дипломом, защитил кандидатскую диссертацию, основанную на своем вкладе в развитие СУБД PostgreSQL: улучшения в нечетком поиске строк, включая индексный поиск по регулярным выражениям. Александр обладает статусом PostgreSQL Major Contributor – одним из его достижений при работе с сообществом Open Surce было создание инфраструктуры расширяемости индексных методов доступа. Кроме этого, он автор таких функций и улучшений как: GiST- и GIN-индексы, оптимизация для многоядерных архитектур, статистика и оценка селективности, и др. Александр трижды был ментором в программе GSoC.
СУБД PostgreSQL 9.6: высокоскоростной полнотекстовый поиск
Полнотекстовый поиск присутствует в СУБД PostgreSQL больше 10 лет. За это время он прочно обосновался в ядре и стал весьма популярен, что, однако не исключает необходимости в его улучшении. В докладе будут представлены новые возможности, полнотекстового поиска, внесенные в версию PostgreSQL 9.6, в которой появился давно ожидаемый поиск по фразам и новые функции для работы с полнотекстовыми документами. Кроме этого, в PostgreSQL 9.6 появилась возможность добавлять новые индексные методы доступа в расширениях. В докладе будут рассмотрены новые возможности полнотекстового поиска, а также разобран новый индексный метод RUM, позволяющий в разы сократить время выполнения многих запросов полнотекстового поиска.
Сергей Петруня
разработчик СУБД MariaDB, MariaDB Corp. Ab
Закончил магистратуру по прикладной математике в СПбГПУ
Эволюция репликации в MySQL и MariaDB
В новых версиях СУБД MySQL и MariaDB были существенно усовершенствованы технологии репликации — появилась параллельная репликация, Global Transaction Ids, binlog server, поддержка multi-master и т.д. Естественно, что между новыми функциями имеется взаимосвязь, однако в ряде случаев она не очевидна, а порой и нетривиальна, не говоря уже о том, что реализации этих функций в СУБД MySQL и MariaDB различаются. Доклад посвящен обсуждению особенностей эволюции репликации, разбору зависимостей функций ее реализации и принципов их построения, а также возможностей и ограничений функций для пользователя. Кроме этого, в докладе будет проведено сравнение СУБД MySQL и MariaDB, а также проанализированы дополнительные возможности последней.
Юрий Буйлов
руководитель отдела разработки, CarPrice
Юрий возглавляет подразделение разработки компании CarPrice, а ранее работал в компаниях «Яндекс», Auto.ru и imhonet.ru. В основном занимался монетизированными сервисами, биллинговыми подсистемами и системами бэк-офиса, а также выполнял работы по интеграции различных решений и созданию архитектур. Имеет опыт организации разработки на PHP, NodeJS, Python, Ruby и GoLang.
Как продать ваш автомобиль за 30 минут? Под «капотом» автомобильного аукциона реального времени: MySQL, Elasticsearch, In-memory
Онлайн аукцион CarPrice – это вершина айсберга, скрывающая множество онлайн- и оффлайн-сервисов, позволяющих автовладельцам комфортно, безопасно и по максимально возможной цене быстро продать своего «железного коня» и сразу получить деньги. Разные задачи – это разные требования и разные технологии. В докладе будет показано: как изнутри устроен автомобильный онлайн аукцион реального времени; как поддержать консистентность данных на стыке онлайн- и оффлайн-сервисов; как управлять потоками данных в реальном времени.
Роман Симаков
директор по развитию системных продуктов, "Ред Софт"
Роман - специалист по СУБД, с 2006 года работает над созданием СУБД Ред База Данных, основанной на OpenSource Firebird, был первым разработчиком в российской команде проекта SciDB (2009-2013 гг). С 2013 года Роман возглавил департамент развития системных продуктов компании "Ред Софт". Доцент кафедры "Информационные системы" МИ ВлГУ.
Решение проблемы сборки мусора в СУБД «Ред База Данных»
Технология "единого окна" и повышение количества услуг, предоставляемых федеральными ведомствами постоянно приводят к повышению нагрузки на информационные системы и конечно на их "сердце" - СУБД. Поддержка обработки постоянно высокого потока запросов требует от создателей СУБД новых алгоритмов и инструментов, позволяющих масштабировать конфигурацию под новые нагрузки. В докладе будут рассмотрены особенности построенной на платформе СУБД с открытым исходным кодом Firebird СУБД Ред База Данных,позволяющие обеспечить ее промышленную эксплуатацию в ведущих отечественных федеральных ведомствах.
Света Смирнова
Percona
Света с 2006 года работает в сфере технической поддержки СУБД MySQL, автор книги "MySQL Troubleshooting" (http://shop.oreilly.com/product/0636920021964.do) и функций JSON UDF для MySQL, ставших дизайн-прототипом встроенным JSON функциям. В 2006-2015 годах работала в подразделении Bugs Analysis MySQL Support Group в компаниях MySQL AB, Sun и Oracle. В марте 2015 года Света начала работать в команде технической поддержки в компании Percona. В 2012-2015 годах она представляла техническую поддержку в комитете по приоритизации ошибок в компании Oracle, а в 2016 возобновила эту работу в Percona. Света также представляла техническую поддержку в MySQL Enterprise Backup Development Team. Она ежедневно работает над сложными кейсами и ошибками MySQL. Света активный участник Open Source сообщества. Ее основные интересы: решение проблем, возникающих перед администраторами баз данных; поиск методов автоматизации; разработка эффективных техник резервного копирования.
Отладка производительности СУБД MySQL
СУБД MySQL работает медленнее, чем раньше? Запросы "висят"? Клиенты ждут ответа сервера дольше, чем ожидалось? Что делать? В докладе будет показан порядок действий, помогающий выяснить причину возникновения той или иной проблемы с производительностью. Участники конференции узнают, что необходимо предпринять для выявления самых медленных запросов и как заставить их работать быстрее; познакомятся с работой систем блокировок и с их ролью в высоко конкурентной среде; увидят как оборудование и настройки влияют на работу сервера MySQL.
Марк Ривкин
Oracle
Коммерческая СУБД против нишевых: тенденции развития баз данных
Доклад посвящен анализу развития коммерческих баз данных на примере СУБД Oracle. Разбираются применяемые в этой системе решения и методы обеспечения надежности, безопасности, масштабируемости, производительности и управляемости. В процессе своего развития СУБД Oracle интегрировала такие наиболее актуальные и востребованные пользователями функции, как шардинг, обработка в памяти, управление жизненным циклом данных, мультиарендность -- консолидация и управление множеством баз данных как одной, машина баз данных, команды SQL в процессоре и другие по-отдельности встречающиеся в тех или иных нишевых СУБД. Особое внимание в докладе уделяется современным тенденциям развития СУБД в целом: облака и DbaaS, обработка в памяти, поддержка средств работы с Большими Данными, «СУБД в процессоре», инженерные системы и Cloud Machine, машинное обучение.
Инструменты современных СУБД
Леонид Борчук
администратор баз данных, «Яндекс»
Леонид отвечает за эксплуатацию различных баз данных в компании «Яндекс»: транзакционных OLTP, аналитических и систем смешанной нагрузки. С начала своей профессиональной карьеры активно интересуется событиями в мире СУБД, оставаясь, скорее, практиком, чем теоретиком.
Хранилища для аналитики – конвергенция Hadoop, СУБД In-memory и SQL
Еще вчера четко была видна граница между областями использования каждой конкретной СУБД - начиная с определенного объема данных система либо просто переставала работать, либо резко возрастало время выполнения задачи. Для хранилищ емкостью в сотни терабайт данных единственным разумным вариантом был и остается Hadoop, однако лучшее, на что приходилось рассчитывать - минуты-часы ожидания ответа на запрос. Для получения более оперативного ответа (секунды-минуты) необходимо было устанавливать традиционную СУБД и настраивать сложную схему обмена данными. Наблюдаемые сегодня изменения: смена архитектуры с существенным улучшением производительности плюс более тесная интеграция различных СУБД, значительно меняют ландшафт, размывая границы между отдельными инструментами и позволяя стоить гибкие системы. Однако, это означает, что старые приемы и методы перестают работать. В докладе обсуждаются происходящие сегодня изменения в технологиям и архитектурах, и их влияние на построение аналитических хранилищ.
Владимир Кива
генеральный директор, Process Insight
Владимир - генеральный и технический директор компании Process Insight, разработчика облачного сервиса автоматизации процессов бюджетирования, формирования управленческой отчетности и ведения документооборота, построенного на технологиях Google и работающего на платформе Google App Engine. На протяжении многих лет работает с инфраструктурами и технологиями Google для построения прикладных облачных бизнес-приложений, используя такие решения, как Google App Engine, GWT, Cloud Datastore и др.
Особенности работы с Google Cloud Datastore
Использование Google Cloud Datastore в промышленных системах позволяет разработчикам сфокусироваться на реализации бизнес-задач, практически исключив рутинное администрирование, в частности, перед ними открываются интересные возможности при использовании архитектуры schemaless. Однако, простота и удобство предполагает ряд существенных ограничений, без учета которых сложно спроектировать эффективную систему. В докладе будет изложен опыт работы с СУБД NoSQL Google Cloud Datastore при эксплуатации сервиса Process Insight для решения задач управления финансами предприятия.
Олег Морозов
TmaxSoft
Олег уже более десяти лет работает с различными СУБД, а с 2014 года в должности главного инженера компании TmaxSoft Rus ведет проекты внедрения СУБД Tibero.
СУБД Tibero и комплекс TiberoZetaData
Первая версия СУБД Tibero была выпущена в 2003 году с целью предоставить Южной Корее решение, альтернативное зарубежным поставщикам. СУБД Tibero – единственная база максимально совместимая с Oracle, имеющая аналогичные механизмы обработки транзакций на уровне блокировок. Tibero предоставляет множество идентичных механизмов по разработке, управлению, администрированию и оптимизации. Все это сделано для упрощения ее освоения и использования администраторами, а также разработчиками, имеющими опыт работы с СУБД Oracle. Максимальное сходство словаря данных, оптимизатора запросов, синтаксиса PL/SQL, DCL, DML, DDL позволяет с минимальными затратами выполнять миграцию из Oracle в Tibero, сохраняя структуру и логику работы кода приложения. Возможность миграции приложения обеспечивается за счет поддержки ряда интерфейсов ODBC, JDBC, а также OCI, что позволяет подключать приложение к Tibero без изменения исходного кода.
Доклад посвящен изложению возможностей СУБД Tibero 6, поддерживающей кластеризацию (Active Cluster), кластерную файловую систему (Active Storage), технологию Standby, включающей средства восстановления (flashback query), а также инструменты flashback database и усовершенствованную технологию компрессии данных. Особое внимание будет уделено описанию направлений дальнейшего развития СУБД Tibero 7: in memory, средства интеграции с облаками и др.
Андрей Николаенко
IBS
Андрей работал в качестве системного архитектора в компаниях Oracle, IBS, проектируя и принимая участие во внедрении крупномасштабных информационных систем для федеральных структур, предприятий энергетики, ЖКХ и телекоммуникаций. Активно работает над проектированием серийных аппаратно-программных инфраструктурных и платформных комплексов, предлагаемых компанией IBS. Сфера интересов — функциональное программирование для систем работы с Большими Данными, систематизация и энциклопедизация знаний по кластерным платформам и методам обработки данных.
Как получать и интерпретировать показатели производительности СУБД?
Совет по оценке производительности обработки транзакций (TPC.org) с 1988 года создает эталонные тесты для измерения производительности СУБД, однако уже с середины нулевых новые оценки не публикуются, а в технических материалах все реже фигурируют миллионы транзакций в секунду и запросы в час, но зато появились новые метрики: время на сортировку терабайта данных, число SQL-операций ввода-вывода в единицу времени, объемы загрузки в единицу времени, время отклика на запрос. Снижение интереса к оценкам от TPC в большей степени связано с появлением NoSQL-систем, распространением СУБД In-memory, прогрессом в оборудовании, сдвигающим «бутылочное горло» от сети к устройствам хранения и обратно, а также общим смещением фокуса внимания от классических приложений с их длинными транзакциями к сверхмногопользовательским и супермасштабируемым приложениям, от классической запросно-ответной аналитики над базами к задачам Больших Данных. В докладе предполагается рассказать про актуальные подходы и методики измерения показателей производительности СУБД, поделиться секретами проведения тестирования и озвучить наиболее дискуссионные вопросы, волнующие сегодня пользователей СУБД, поставщиков и разработчиков СУБД, а также производителей оборудования.
Павел Велихов
Head of Data Science, Finstar Labs
Павел окончил Университет Калифорнии (Сан Диего) по специальности Computer Science, специализируется на СУБД и системах искусственного интеллекта. Работал дизайнером и руководителем Российской команды в проекте SciDB, занимался разработками в области СУБД и машинного обучения в Кремниевой долине, а также в России в Институте Системного Программирования РАН. Занимался технологией понимания отзывов в компании Toprater.com.
PythonQL: интеграция, чистка и аналитика разнородных данных средствами встроенного языка запросов
Ежедневно количество разнородных СУБД растет – наряду с традиционными привычными реляционными СУБД появились системы с другими моделями: XML, JSON, key-value, многомерные, графовые и т.п. Одновременно с этим, такие специалисты как data scientists все реже используют языки запросов конкретных СУБД, да и сами базы данных стараются применять по-минимуму. Одна из основных причин - это высокий барьер освоения каждого конкретного языка запросов, как правил предусматривающего изучение всевозможных библиотек работы с данными. Язык PythonQL - расширение популярного языка Python — дает возможность пользоваться всеми преимуществами этого мощного языка запросов не заботясь о специфике различных СУБД, обращаясь к каждой из них через один языковой интерфейс. В докладе, кроме описания PythonQL, будут рассмотрены популярные сценарии работы с данными, эффективно реализуемые в PythonQL и применяемые в практике специалистов по работе с данными.
Практика систем хранения и анализа
Артем Ведерников
Scala-developer, Data-Centric Alliance
Артем работает в компании DCA с 2015 года, где принимает участие в создании платформы Facetz DMP. Артем закончил механико-математический факультет МГУ в 2014 году.
Секреты онлайн-рекламы: Redis, MongoDB, Aerospike и HBase
В основе любой programmatic-экосистемы, позволяющей рекламодателям управлять целевыми аудиториями рекламных кампаний, показывая на любом устройстве рекламу только тем пользователям, кому она интересна и только тогда, когда она действительно нужна, лежит платформа обработки аудиторных данных (DMP, Data Management Platform). Платформа Facetz DMP позволяет обрабатывать данные о более чем 600 млн анонимных пользователей Интернета, используя для этого четыре NoSQL СУБД, каждая из которых предпочтительна для реализации конкретных сценариев доступа к данным. В докладе обсуждаются особенности функционирования DMP, разбираются типы обрабатываемых такими платформами данных, разбираются способы организации эффективного хранения и обеспечения доступа к данным. Кроме этого, анализируется целесообразность и особенности использования систем Redis, MongoDB, Aerospike и HBase внутри одной DMP.
Александр Юношев
руководитель направления по развитию системы HANA, «Сургутнефтегаз»
Александр закончил Омский государственный технический университет (ОмГТУ) по специальности автоматизированные системы обработки информации и управления. Более 10 лет работает с решениями компании SAP и шесть лет с платформой SAP HANA. Вплоть до 2012 года занимался программированием и разработкой в системах SAP (R/3, HANA, BO). На данный момент основная задача Александра – освоение новых возможностей SAP HANA и их применение для реализации задач обработки и анализа данных в ИТ-проектах ОАО «Сургутнефтегаз».
СУБД In-memory на практике в Сургутнефтегаз
SAP HANA – платформа для обработки данных в реальном времени, включающая в себя поколоночную СУБД, а также средства создания баз данных и приложений. В Сургутнефтегаз эта платформа используется с 2010 года и применяется для решения аналитических задач, формирования отчетности, а также для ускорения выполнения «тяжелых» запросов ERP-систем. В докладе будет рассказано об опыте применения СУБД In-memory в Сургутнефтегаз и особенностях эксплуатации платформы в реальных условиях. Кроме этого планируется рассмотреть вопросы развертывания инфраструктуры, наиболее оптимальной для конкретных условий эксплуатации, а также проанализировать возможные архитектуры приложений и решений, построенных на платформе SAP HANA.
Максим Корнев
Bringo
Максим закончил в 2011 году механико-математический факультет МГУ и с тех пор занимается разработкой сервисов на платформе .net, работающих в связке с различными СУБД. С 2015 года работает ведущим разработчиком в компании Bringo.
Как доставить пиццу быстрее прохождения транзакции в СУБД? Платформа Bringo для поддержки краудсорсинга в логистике
Bringo – молодой проект, ставший за несколько лет ведущим в России краудсорсинговым логистическим сервисом, помогающим таким компаниям как IL Патио, Philip Morris, «Азбука вкуса», Yota, DPD и Pony Express обслуживать своих клиентов. Платформа Bringo объединяет всех, кому нужна быстрая и качественная доставка с ее исполнителями – краудсорсерами-курьерами или брингерами. В докладе будет рассказано об особенностях организации краудсорсинга в отечественных условиях, сопутствующих проблемах в области хранения данных (сопровождаемой пиковыми всплесками нагрузок, поддержкой консистентности в разных источниках и т.п.) и способах их решения, в частности, средствами СУБД PostgreSQL.
Тенгиз Алания
МГУИТ МО
Иван Панченко
«Постгресс Профессиональный»
Иван закончил физический факультет МГУ в 1994 году. Кандидат физико-математических наук, с 1996 года занимается разработкой сложных высокопроизводительных систем для бизнеса. Работает с СУБД PostgreSQL с 1998 года: руководил разработкой контентных проектов в компании «Рамблер», был директором по разработкам в «Стек Груп» и техническим директором социальной сети «Мой Мир», разработчиком Rambler Media и kassir.ru, а также портала ГУ ВШЭ и ряда других информационных площадок и систем для бизнеса.
Переход документооборота Правительства Московской области с СУБД Oracle на PostgreSQL
В начале 2016 года Министерство государственного управления, информационных технологий и связи Московской области (МГУИТ МО) завершило работы по переносу базы данных Межведомственной системы электронного документооборота Московской области (МСЭД) с СУБД Oracle на свободно-распространяемую объектно-реляционную СУБД PostgreSQL. На сегодняшний день в МСЭД зарегистрировано более 42 тыс пользователей, а количество одновременно работающих пользователей превышает 12 тыс в сутки. В докладе будет рассказано о причинах и целях миграции базы, насчитывающей около 18 млн документов, ожидавшихся препятствиях и реальных трудностях, возникших на пути переноса, а также об эффекте, который был достигнут в Правительстве Московской области от эксплуатации системы документооборота в новой среде.
Александр Смирнов
Motorola Solutions
В 1999 году окончил Санкт-Петербургский Государственный Электротехнический Университет ("ЛЭТИ"). В 2003 получил степень кандидата технических наук. Занимался исследованиями в области параллельных вычислений. В 2004 году поступил на работу в отдел телекоммуникаций компании Моторола. Разрабатывал компоненты инфраструктуры сотовых сетей. С 2013 года перешел в отдел перспективных исследований компании МоторолаСолюшнз, где по настоящее время, работаю над проектами связанными с анализом данных.
Андрей Егоров
BeKitzur
Выпускник Санкт-Петербургского Государственного Политехнического Университета (СПбГПУ). Работаю в компании "BeKitzur" и занимаюсь реализацией проектов, связанных с обработкой и анализом Больших Данных. Ранее работал в компаниях "Motorola" и "Parallels", где принимал участие в низкоуровневой разработке для встроенных систем, операционных систем реального времени и *nix ОС.
Как повысить качество телекоммуникационной сети: СУБД MongoDB, Redis и HBase?
Телекоммуникационная сеть - это сложная техническая система, состоящая из множества компонентов, работающих с разнообразной информацией, к которой предъявляются различные, как правило, повышенные требования по сроку хранения данных, организации, скорости доступа и т. д. Выбор наиболее подходящего для каждого конкретного случая хранилища на базе конкретного решения NoSQL оказывает существенное влияние на качество работы телекоммуникационной сети. В докладе рассматриваются примеры использования СУБД MongoDB, Redis и HBase для построения хранилища данных телекоммуникационной сети, а также разбираются критерии выбора того или иного инструмента.
Интеллектуальные средства СУБД
Владимир Крылов
НИУ ВШЭ
Владимир Крылов в прошлом сотрудник таких компаний как Intel, Microsoft, занимается проблемами, связанными с распределенной обработкой данных и машинным обучением. Читается курсы для магистрантов и аспирантов «Технологии больших данных», «Предиктивная аналитика». Автор более 200 публикаций и пяти монографий, в том числе «Большие Данные и их применения в электроэнергетике».
Графовые СУБД и deep learning в системе «аромовидения»
Исследования в области искусственных органов чувств направлены на создание полноценных систем искусственного интеллекта, способных, подобно живым организмам, воспринимать окружающий мир. Рассматриваемая в докладе система «аромовидения» умеет «чувствовать» запахи с качеством , соизмеримым с обонянием собаки, используя запаховые пространственные образы, в частности, для навигации в пространстве. В качестве системы первичных сенсоров используется массив разноизбирательных нановзвешивателей, с регистрацией динамических процессов в каждом сенсоре, называемых «электронный нос», а обработка данных, поступающих от «носа» производится на основе триплетного анализа, состоящего в попарном сравнении трех запахов. Такой анализ производится на нейронной сети глубокого обучения, совместно с самоорганизующейся структурой данных. Самоорганизующаяся структура имплементируется с помощью графовой СУБД Neo4J средствами языка Cypher и Java, нейронная сеть построена и обучена с использованием Keros Tensor Flow Python, а ее предобученная модель реализована в Java. В докладе приводится архитектура системы и особенности реализации прототипа.системы и особенности реализации прототипа.
Дмитрий Мельник
ИСП РАН
Дмитрий окончил ВМК МГУ в 2004 году и с 2005 года занимается разработкой компиляторов и инструментов статического анализа в отделе компиляторных технологий в Институте Системного Программирования РАН. До начала работы с СУБД PostgreSQL принимал участие в OpenSource-проектах: компиляторы GCC, LLVM, среды исполнения JavaScript (WebKit (JavaScriptCore) и V8).
Ускорение выполнения SQL-запросов в СУБД PostgreSQL с использованием динамической компиляции
Сегодня в СУБД PostgreSQL для исполнения SQL-запросов применяется интерпретатор, реализующий модель итераторов (Volcano-модель), однако можно добиться существенного ускорения, выполняя динамическую компиляцию запроса "на лету". В этом случае можно генерировать код, специализированный для конкретного SQL-запроса, а также применять компиляторные оптимизации, учитывая, что во время выполнения уже известна структура используемых таблиц и типы данных. Такой подход особенно актуален для сложных запросов, скорость выполнения которых ограничена производительностью процессора. Однако, чтобы воспользоваться всеми преимуществами такого подхода необходимо перейти от существующей в PostgreSQL модели итераторов к модели явной итерации ("push"-модели) -- особенности первой модели не позволяют эффективно выполнять оптимизацию кода в ходе динамической компиляции. В докладе будет рассмотрено использование динамической компиляции для ускорения различных этапов выполнения SQL-запросов с использованием компиляторной инфраструктуры LLVM (Low Level Virtual Machine), а также разобраны необходимые изменения архитектуры СУБД PostgreSQL, необходимые для эффективной работы динамического компилятора. Кроме этого в докладе будут приведены результаты применения предлагаемого подхода, позволившего, например, в пять раз увеличить производительность СУБД на тестах TPC-H.
Сергей Королев
МЦСТ
Сергей в 2013 году закончил МИФИ по кафедре компьютерных систем и технологий. В этом же году поступил на работу в АО «МЦСТ» стал заниматься разработкой дистрибутива ПО для вычислительного комплекса «Эльбрус».
СУБД для вычислительных комплексов семейства "Эльбрус"
Процессоры семейства «Эльбрус», разработанные российской компанией «МЦСТ» построены на принципах широкого командного слова (VLIW) и для этой архитектуры был разработан дистрибутив открытого ПО (ОПО «Эльбрус») на базе ОС Debian, включающий на сегодняшний день более четырех тысяч пакетов. На данный момент на вычислительный комплекс портированы такие популярные СУБД, как PostgreSQL-9.5.2, MySQL-5.5.49 и MongoDB-2.4.10. Однако, опыт практического применения и тестирования показывает, что лишь простого портирования требуемых программ на конкретную аппаратную платформе недостаточно для достижения максимальной производительности – требуется адаптация программного кода, предусматривающая также обеспечение надежности и защищенности данных в используемых СУБД.
Доклад посвящен изложению опыта работы и адаптации различных программ к особенностям архитектуры «Эльбрус», в частности, результатов исследования производительности на стандартных тестах и конкретных прикладных задачах. На основании исследований была проведена оптимизация работы СУБД. Кроме того, к защищенной операционной среде «Эльбрус» предъявляются требования соответствия руководящим документам по защите информации. В соответствии с этим был реализован механизм мандатного разграничения доступа в СУБД PostgreSQL. Для повышения надежности и скорости работы СУБД был создан специализированный сервер «Эльбрус-4.4 БД», включающий в себя аппаратную реализацию RAID-контроллера. Проведено портирование и отладка распределенной системы хранения данных Ceph. Также в ОПО «Эльбрус» добавлены системы Postgres-XL и Greenplum, основанные на технологиях PostgreSQL и специально разработанные для эксплуатации в кластерных системах. Кроме этого, в составе ОПО «Эльбрус» имеется реализация Hadoop и портирована СУБД ModgoDB.
Сегодня СУБД на платформе «Эльбрус» используются, в частности, в ФГУП НИИ «Восход» для решения задачи изготовления, оформления и контроля заграничных паспортов, в Пенсионном фонде России для поддержки сервисов информирования застрахованных лиц, а также в МО РФ. Дистрибутив ОПО «Эльбрус» в дальнейшем будет расширен нереляционными СУБД. Кроме этого будут продолжены работы по тестированию с целью повышения надежности и эффективности средств работы с данными, а также расширения спектра пользовательских задач.
Проекты агентства «OSP-Con»

Мир ЦОД | BIG DATA | RUS.NET | Бизнес-Видео
ITMF | SMART COMPANY|
МСКФ
Made on
Tilda