Чтение очень больших файлов в PHP

Вы уверены, что это fopen сбой, а не время ожидания вашего скрипта? Значение по умолчанию обычно составляет около 30 секунд, и если чтение вашего файла занимает больше времени, это может быть причиной сбоя.

Еще одна вещь, которую следует учитывать, может быть ограничение памяти в вашем скрипте - чтение файла в массив может упустить это, поэтому проверьте свой журнал ошибок на наличие предупреждений о памяти.

Если ни одна из вышеперечисленных проблем не является вашей проблемой, вы можете изучить возможность использования fgets для чтения файла построчно. -строка, обработка по ходу.

$handle = fopen("/tmp/uploadfile.txt", "r") or die("Couldn't get handle");
if ($handle) {
    while (!feof($handle)) {
        $buffer = fgets($handle, 4096);
        // Process buffer here..
    }
    fclose($handle);
}

Изменить

Кажется, что PHP не выдает ошибок, он просто возвращает false.

Правильный ли путь к $rawfile относительно того, где запущен скрипт? Возможно, попробуйте установить здесь абсолютный путь для имени файла.

Сделал 2 теста с файлом 1,3 ГБ и файлом 9,5 ГБ.

1,3 ГБ

Использование fopen()

Для вычислений этот процесс использовал 15555 мс.

Он потратил 169 мс на системные вызовы.

Использование file()

Для вычислений этот процесс использовал 6983 мс.

На системные вызовы затрачено 4469 мс.

9,5 ГБ

Использование fopen()

Этот процесс использовал для своих вычислений 113559 мс.

На системные вызовы затрачено 2532 мс.

Использование file()

Для вычислений этот процесс использовал 8221 мс.

На системные вызовы затрачено 7998 мс.

Кажется, file() быстрее.

• Функция fgets() работает до тех пор, пока размер текстовых файлов не превысит 20 МБ, и скорость анализа сильно не снизится.

• Функция file_ get_contents() дает хорошие результаты до 40 МБ и приемлемые результаты до 100 МБ, но file_get_contents() загружает в память весь файл, поэтому она не масштабируется.

• Функция file() губительна для больших файлов текста, потому что эта функция создает массив, содержащий каждую строку текста, таким образом, этот массив хранится в памяти, а используемая память даже больше.
На самом деле, файл размером 200 МБ я мог только удалось выполнить синтаксический анализ с memory_limit, установленным на 2 ГБ, что было неприемлемо для файлов размером 1+ ГБ, которые я намеревался проанализировать.

Когда вам нужно проанализировать файлы размером более 1 ГБ, а время анализа превышает 15 секунд, и вы не хотите загружать весь файл в память, вам нужно найти другой способ.

Мое решение заключалось в том, чтобы анализировать данные произвольными небольшими порциями. Код такой:

$filesize = get_file_size($file);
$fp = @fopen($file, "r");
$chunk_size = (1<<24); // 16MB arbitrary
$position = 0;

// if handle $fp to file was created, go ahead
if ($fp) {
   while(!feof($fp)){
      // move pointer to $position in file
      fseek($fp, $position);

      // take a slice of $chunk_size bytes
      $chunk = fread($fp,$chunk_size);

      // searching the end of last full text line
      $last_lf_pos = strrpos($chunk, "\n");

      // $buffer will contain full lines of text
      // starting from $position to $last_lf_pos
      $buffer = mb_substr($chunk,0,$last_lf_pos);

      ////////////////////////////////////////////////////
      //// ... DO SOMETHING WITH THIS BUFFER HERE ... ////
      ////////////////////////////////////////////////////

      // Move $position
      $position += $last_lf_pos;

      // if remaining is less than $chunk_size, make $chunk_size equal remaining
      if(($position+$chunk_size) > $filesize) $chunk_size = $filesize-$position;
      $buffer = NULL;
   }
   fclose($fp);
}

Используемая память - это только $chunk_size, а скорость немного меньше, чем у file_ get_contents(). Я думаю, что PHP Group должна использовать мой подход, чтобы оптимизировать функции синтаксического анализа.

*) Найдите функцию get_file_size() здесь.

Что ж, вы можете попробовать использовать функцию чтения файла, если вы просто хотите вывести файл.

Если это не так - возможно, вам стоит подумать о дизайне приложения, почему вы хотите открывать такие большие файлы по веб-запросам?

Я использовал fopen для открытия видеофайлов для потоковой передачи, используя скрипт php в качестве сервера потокового видео, и у меня не было проблем с файлами размером более 50/60 МБ.

Если проблема вызвана превышением лимита памяти, вы можете попробовать установить для него более высокое значение (это может сработать или нет, в зависимости от конфигурации php).

это устанавливает ограничение памяти до 12 Мб

ini\_set("memory_limit","12M");

для меня fopen() работает очень медленно с файлами размером более 1 МБ, file() намного быстрее.

Просто пытаясь прочитать 100 строк за раз и создать пакетную вставку, fopen() занимает 37 секунд, а file() занимает 4 секунды. Должен быть этот string->array шаг, встроенный в file()

Я бы попробовал все варианты обработки файлов, чтобы увидеть, какие из них лучше всего подходят для вашего приложения.

Вы пробовали file ()?

http://is2.php.net/manual/en/function.file.php

Или file_ get_contents ()

http://is2.php.net/manual/en/function.file-get-contents.php