Публикации по теме parallel-processing

Публикации по теме 'parallel-processing'

Асинхронное программирование

Асинхронное программирование Я хочу рассказать о нескольких вещах, касающихся асинхронного программирования в .NET. Основная концепция также может быть применена к другим языкам, так что не стесняйтесь читать. Мы поговорим о распространенных заблуждениях об асинхронном и параллельном программировании и о том, как выбрать правильный подход. Я также опишу, как работает асинхронность. В следующих статьях я покажу пример повышения производительности, которого можно добиться с помощью..

Параллельная обработка машинного обучения с помощью Spark - Часть 1

Аудитория блога - соискатели машинного обучения, которые работали преимущественно в Pandas и Sci-kit-Learn. Для машинного обучения этих пакетов достаточно, когда вы новичок и хотите изучить машинное обучение, как я был за несколько месяцев до этого, и после того, как вы перейдете в В качестве посредника в качестве специалиста по данным и инженера по машинному обучению вам необходимо вникнуть в любую из фреймворков, поддерживающих параллельную обработку, поскольку данные, с которыми вы..

Parfit - быстрая и мощная оптимизация гиперпараметров с визуализацией

Машинное обучение может быть сложным - есть несколько этапов, которые могут ограничить скорость процесса итеративного моделирования даже для опытных практиков. Будучи студентом вводного курса машинного обучения Джереми Ховарда в Университете Сан-Франциско, я узнал, что процесс моделирования можно упростить и ускорить. Это цель библиотеки fast.ai , которая постоянно совершенствуется. Цель этого поста - облегчить быструю и эффективную гиперпараметрическую оптимизацию моделей машинного..

Asyncio — Как работает Asyncio — Часть 2

Всем привет! Сегодня мы погрузимся во внутренности asyncio. Мы узнаем о цикле событий и механизмах уровня ОС, которые позволяют работать asyncio. Редакция Из предыдущей части серии мы знаем, что Python является однопоточным, и когда мы используем многопоточность в Python, мы делаем это одновременно, то есть один поток выполняется за другим. Что делает многопоточность такой мощной, так это то, что нам не нужно выполнять потоки, которые выполняют какую-то операцию ввода-вывода. Это..

Параллельная обработка в Pandas

Pandarallel — это инструмент Python, с помощью которого можно распараллелить различные операции с фреймами данных. Это синоним Pandas при параллельной обработке. Это простой способ ускорить вычисления, когда мы используем pandas. Первый выпуск этой библиотеки вышел в марте 2019 года. Когда мы используем функции Pandas DataFrames, такие как «apply()» или любые другие методы, обработка происходит на одном ядре ЦП, даже если у нас доступно несколько ядер. Функция применения по своей..

Нейронная сеть — индивидуальное исследование 2 (окончание)

Прошло некоторое время с тех пор, как я обновлял информацию об индивидуальном учебном проекте. Итак, вот оно! Нейронная сеть для предсказания учащегося, заходящего на сайт myCourseville, на какой курс пойдет этот учащийся. Вот краткое изложение первой части (рассказ ниже). Во-первых, речь шла об общей идее нейронной сети. Затем он представил функции, используемые в первой модели, но результат равен 0. Нейронная сеть — индивидуальное исследование Моя..

Параллельное умножение матриц [C] [Параллельная обработка]

Умножение матрицы - одна из утомительных вещей, которыми мы занимались в школах. По мере увеличения размеров матрицы время, необходимое для завершения расчета, также увеличивается. Даже для компьютеров проблема есть. В этой статье мы рассмотрим методы, которые могут оптимизировать матричное умножение несколькими способами. В конце мы собираемся проанализировать производительность традиционного умножения матриц , умножения матриц с использованием параллельных циклов For и..