Grails, вставка большого количества данных с использованием withTransaction приводит к ошибке OutOfMemoryError

Я использую Grails 1.1 beta2. Мне нужно импортировать большой объем данных в мое приложение Grails. Если я неоднократно создаю экземпляр доменного класса Grails, а затем сохраняю его, производительность становится неприемлемо низкой. Возьмем, к примеру, импорт людей из телефонной книги:

for (each person in legacy phone book) {
    // Construct new Grails domain class from legacy phone book person
    Person person = new Person(...)
    person.save()
}

Это оказывается мучительно медленным. Кто-то из списка рассылки Grails предлагает группировать сохранения в транзакции. Итак, теперь у меня есть:

List batch = new ArrayList()
for (each person in legacy phone book) {
    // Construct new Grails domain class from legacy phone book person
    Person person = new Person(...)
    batch.add(person)
    if (batch.size() > 500) {
        Person.withTransaction {
            for (Person p: batch)
                p.save()
            batch.clear()
        }
    }
}
// Save any remaining
for (Person p: batch)
    p.save()

Это должно работать быстрее, по крайней мере, на начальном этапе. Каждая транзакция сохраняет 500 записей. Со временем транзакции занимают все больше и больше времени. Первые несколько транзакций занимают около 5 секунд, потом просто ползет оттуда. После примерно 100 транзакций каждая занимает больше минуты, что опять же неприемлемо. Хуже всего то, что рано или поздно в Grails закончится память кучи Java. Я могу увеличить размер кучи JVM, но это только отсрочит исключение OutOfMemoryError.

Есть идеи, почему это так? Как будто какой-то внутренний ресурс не высвобождается. Производительность ухудшается, память удерживается, а затем, в конце концов, системе не хватает памяти.

Согласно документации Grails, withTransaction передает закрытие Объект Spring TransactionStatus. Я не смог найти ничего в TransactionStatus, чтобы закрыть/завершить транзакцию.

Изменить: я запускаю это из консоли Grails (grails console)

Изменить: вот исключение нехватки памяти:

Exception thrown: Java heap space

java.lang.OutOfMemoryError: Java heap space
    at org.hibernate.util.IdentityMap.entryArray(IdentityMap.java:194)
    at org.hibernate.util.IdentityMap.concurrentEntries(IdentityMap.java:59)
    at org.hibernate.event.def.AbstractFlushingEventListener.prepareEntityFlushes(AbstractFlushingEventListener.java:113)
    at org.hibernate.event.def.AbstractFlushingEventListener.flushEverythingToExecutions(AbstractFlushingEventListener.java:65)
    at org.hibernate.event.def.DefaultFlushEventListener.onFlush(DefaultFlushEventListener.java:26)
    at org.hibernate.impl.SessionImpl.flush(SessionImpl.java:1000)
    at org.hibernate.impl.SessionImpl.managedFlush(SessionImpl.java:338)
    at org.hibernate.transaction.JDBCTransaction.commit(JDBCTransaction.java:106)
    at org.springframework.orm.hibernate3.HibernateTransactionManager.doCommit(HibernateTransactionManager.java:655)
    at org.springframework.transaction.support.AbstractPlatformTransactionManager.processCommit(AbstractPlatformTransactionManager.java:732)
    at org.springframework.transaction.support.AbstractPlatformTransactionManager.commit(AbstractPlatformTransactionManager.java:701)
    at org.springframework.transaction.support.TransactionTemplate.execute(TransactionTemplate.java:140)

java spring hibernate grails transactions
person Steve Kuo    schedule 10.01.2009    source источник
comment
В каком контексте это выполняется? Работа с кварцем? Контроллер? Когда мы делали это в прошлом, использование контроллера позволило нам установить цикл, который может ограничивать размер пакетной обработки, с соответствующим ограничением размера последующей транзакции в Сервисе.   -  person j pimmel    schedule 10.01.2009

Ответы (2)


arrow_upward
12
arrow_downward

Это общая проблема для всех гибернационных приложений, вызванная увеличением количества сеансов гибернации. Я предполагаю, что консоль Grails держит сеанс гибернации открытым для вас аналогично шаблону «открытый сеанс в представлении», который, как я знаю, используется для обычных веб-запросов.

Решение состоит в том, чтобы завладеть текущим сеансом и очистить его после каждой партии. Я не уверен, как вы получаете spring bean с помощью консоли, обычно для контроллеров или служб вы просто объявляете их членами. Затем вы можете получить текущий сеанс с помощью sessionFactory.getCurrentSession(). Чтобы очистить его, просто вызовите session.clear(), или, если вы хотите быть избирательным, используйте session.evict(Object) для каждого объекта Person.

для контроллера/сервиса:

class FooController {
    def sessionFactory

    def doStuff = {
        List batch = new ArrayList()
        for (each person in legacy phone book) {
            // Construct new Grails domain class from legacy phone book person
            Person person = new Person(...)
            batch.add(person)
            if (batch.size() > 500) {
                Person.withTransaction {
                    for (Person p: batch)
                        p.save()
                    batch.clear()
                }
                // clear session here.
                sessionFactory.getCurrentSession().clear();
            }
        }
        // Save any remaining
        for (Person p: batch)
            p.save()
        }
    }
}

Надеюсь это поможет.

person Gareth Davis    schedule 10.01.2009
comment
Я бы улучшил этот код, используя session.clear() каждую N-ю итерацию цикла, а не каждую. - person Pavel Vlasov; 26.07.2013
comment
полностью согласен ... глядя на этот код сейчас, я не уверен, что он вообще работает. - person Gareth Davis; 26.07.2013

arrow_upward
15
arrow_downward

Тед Налейд написал отличный блог. запись об улучшении пакетной производительности. В том числе и здесь в качестве ссылки.

person Jean Barmash    schedule 28.10.2009