Мою статью опубликовали на Хабре. Пусть и в песочнице, но все равно круто. Теперь я Ылита :)
Вот ссылочка - PHPExcel и большие файлы
среда, 5 сентября 2012 г.
четверг, 19 июля 2012 г.
PHPExcel и кодировка
У меня были проблемы с русской кодировкой при чтение xls файла при помощи PHPExcel. Кракозябры и почему-то iconv выдавал какую-то белиберду. Долго не мог найти в чем проблема, даже гугл не помог.
Потом полез ручками и оказалось, что оптимальное решение проблемы - это в файле Classes/PHPExcel/Reader/Excel5.php выставить нужную кодировку:
Вот и все.
Потом полез ручками и оказалось, что оптимальное решение проблемы - это в файле Classes/PHPExcel/Reader/Excel5.php выставить нужную кодировку:
$this->_codepage = 'CP1251';
Вот и все.
PHPExcel и большие файлы
PHPExcel - отличная библиотека с огромным функционалом по работе с форматами xls, xlsx. Можно считывать, записывать, менять форматирование, задавать формулы, а из xlsx можно и картинки вытаскивать.
Один минус у PHPExcel - вечно памяти не хватает, все время сыпятся ошибки "Fatal error: Out of memory". Этот пост о том, как это обойти.
Для чтения большого файла (~25 000 строк) я использовал своеобразное решение.
Считываем файл не целиком, а по несколько строк. Это делается так:
import_xls.php
Собственно класс chunkReadFilter - это то, что нам нужно. Устанавливаем его в качестве фильтра для чтения файла, и файл будет загружаться не целиком, а лишь определенное количество строк.
Кроме него еще используем такую полезную опцию как ReadDataOnly. Как ясно из названия, она позволяет не загружать форматирование документа, высвобождая место для данных.
И конечно же используем unset. Это так же поможет высвободить память.
Но помимо нехватки памяти возникает другая проблема. На большинстве хостингов у php-скриптов помимо ограничения на использование памяти, еще стоит ограничение на время выполнения. И крайне вероятно, что этого времени хватать не будет. Лично я обошел эту проблему при помощи сессий и повторяющихся ajax запросов. В коде представленном выше вы уже увидели использование сессий и завершающее "The End".
А вот код клиентской части
import_xls.html
import-xls.js
Т.е. мы отправляем ajax-запрос нашему скрипту, ждем ответа, и, если ответ нас не устраивает, посылаем новый ajax-запрос. Есть еще решение без использования AJAX - при помощи редиректа в самом php (header ("Location: import_xls.php");). Но лично мне больше нравится решение с AJAX, потому что тут можно легко и просто добавить прогресс-бар и какие-нибудь другие рюшечки. Кстати, внимательный читатель заметил, что в моем коде простой прогресс-бар уже реализован.
Для записи в формат xls так же около 25 000 строк крайне полезно использовать следующий код
memcache
а так же cache_to_discISAM.
Один минус у PHPExcel - вечно памяти не хватает, все время сыпятся ошибки "Fatal error: Out of memory". Этот пост о том, как это обойти.
Для чтения большого файла (~25 000 строк) я использовал своеобразное решение.
Считываем файл не целиком, а по несколько строк. Это делается так:
import_xls.php
require_once 'path/to/PHPExcel/IOFactory.php';
class chunkReadFilter implements PHPExcel_Reader_IReadFilter
{
private $_startRow = 0;
private $_endRow = 0;
public function setRows($startRow, $chunkSize) {
$this->_startRow = $startRow;
$this->_endRow = $startRow + $chunkSize;
}
public function readCell($column, $row, $worksheetName = '') {
// Only read the heading row, and the rows that are configured in $this->_startRow and $this->_endRow
if (($row == 1) || ($row >= $this->_startRow && $row < $this->_endRow)) {
return true;
}
return false;
}
}
session_start();
if ($_SESSION['startRow']) $startRow = $_SESSION['startRow'];
else $startRow = 13;
$fileName = "file.xls";
$inputFileType = 'Excel5';
$objReader = PHPExcel_IOFactory::createReader($inputFileType);
$chunkSize = 20;
$chunkFilter = new chunkReadFilter();
while ($startRow <= 65000) {
$chunkFilter->setRows($startRow,$chunkSize);
$objReader->setReadFilter($chunkFilter);
$objReader->setReadDataOnly(true);
$objPHPExcel = $objReader->load($fileName);
//Что-то с этими строками делаем
$startRow += $chunkSize;
$_SESSION['startRow'] = $startRow;
unset($objReader);
unset($objPHPExcel);
}
echo "The End";
unset($_SESSION['startRow']);
Собственно класс chunkReadFilter - это то, что нам нужно. Устанавливаем его в качестве фильтра для чтения файла, и файл будет загружаться не целиком, а лишь определенное количество строк.
Кроме него еще используем такую полезную опцию как ReadDataOnly. Как ясно из названия, она позволяет не загружать форматирование документа, высвобождая место для данных.
И конечно же используем unset. Это так же поможет высвободить память.
Но помимо нехватки памяти возникает другая проблема. На большинстве хостингов у php-скриптов помимо ограничения на использование памяти, еще стоит ограничение на время выполнения. И крайне вероятно, что этого времени хватать не будет. Лично я обошел эту проблему при помощи сессий и повторяющихся ajax запросов. В коде представленном выше вы уже увидели использование сессий и завершающее "The End".
А вот код клиентской части
import_xls.html
<html>
<head>
<title>Импорт прайс-листа</title>
<script src="/media/js/jquery.js" type="text/javascript"></script>
<script src="/media/js/import-xls.js" type="text/javascript"></script>
</head>
<body>
<h1>Импорт прайс-листа</h1>
Подождите завершения импорта, не закрывайте данную страницу!
<div id="progress-bar">
</div>
<div id="content">
</div>
</body>
</html>
import-xls.js
function repeat_import() {
$.get("import_xls.php", function(data){
$("#progress-bar").append("I");
if (data == "The End") {
$("#content").html("<h2>Импорт завершен!</h2>");
}
else {
$("#content").html(data);
repeat_import();
}
});
}
$(function (){
/*$(document).ajaxError(function (e, jqxhr, settings, exception) {
error_message = jqxhr.status;
alert(error_message);
});*/
repeat_import();
});
Т.е. мы отправляем ajax-запрос нашему скрипту, ждем ответа, и, если ответ нас не устраивает, посылаем новый ajax-запрос. Есть еще решение без использования AJAX - при помощи редиректа в самом php (header ("Location: import_xls.php");). Но лично мне больше нравится решение с AJAX, потому что тут можно легко и просто добавить прогресс-бар и какие-нибудь другие рюшечки. Кстати, внимательный читатель заметил, что в моем коде простой прогресс-бар уже реализован.
Для записи в формат xls так же около 25 000 строк крайне полезно использовать следующий код
$cacheMethod = PHPExcel_CachedObjectStorageFactory::cache_to_phpTemp;Можно еще поиграться с методами кеширования. Поддерживается
$cacheSettings = array( 'memoryCacheSize ' => '256MB');
PHPExcel_Settings::setCacheStorageMethod($cacheMethod, $cacheSettings);
memcache
$cacheMethod = PHPExcel_CachedObjectStorageFactory::cache_to_memcache; $cacheSettings = array( 'memcacheServer' => 'localhost', 'memcachePort' => 11211, 'cacheTime' => 600 );
а так же cache_to_discISAM.
пятница, 6 апреля 2012 г.
Ubuntu 11.10 и Gnome 3
The shell in GNOME 3 can be modified by writing extensions in JavaScript.
o_O
...
вот те и на...
среда, 23 ноября 2011 г.
Текст-невидимка
Joomla продолжает отжигать.
Мне нужно было создать пустой материал, т.е. без текста. Ну вот нужно было - потому что надо, что бы заказчик мог когда-то потом текст ввести, а сейчас он просто пустой. Фразы вроде "Раздел находится на реконструкции" в данном случае не нужны и просто не подходят. Для данной страницы выделен свой шаблон с красивым меню в основном блоке, которое и несет основную смысловую нагрузку этой странички, а возможность ввода текста там так, на всякий случай.
Вернемся собственно к джумле. Не хочет она сохранять материал без текста и все. Не положено. Ввожу один пробел - не проходит, ввожу - тот же эффект. Так что теперь материал содержит следующее:
PS: Не люблю, когда система жестко мешает мне что-то сделать. Пусть предупреждает, а я уж сам дальше разберусь надо оно мне или не надо.
Мне нужно было создать пустой материал, т.е. без текста. Ну вот нужно было - потому что надо, что бы заказчик мог когда-то потом текст ввести, а сейчас он просто пустой. Фразы вроде "Раздел находится на реконструкции" в данном случае не нужны и просто не подходят. Для данной страницы выделен свой шаблон с красивым меню в основном блоке, которое и несет основную смысловую нагрузку этой странички, а возможность ввода текста там так, на всякий случай.
Вернемся собственно к джумле. Не хочет она сохранять материал без текста и все. Не положено. Ввожу один пробел - не проходит, ввожу - тот же эффект. Так что теперь материал содержит следующее:
<p style="display:none;">текст</p>
PS: Не люблю, когда система жестко мешает мне что-то сделать. Пусть предупреждает, а я уж сам дальше разберусь надо оно мне или не надо.
среда, 2 ноября 2011 г.
Новый интерфейс gmail
Попробовал включить сабж. Я просто в ужасе. Меня накрыла паника и я не смог лицезреть его более двух минут.
Может я стал консерватором просто? Или это сила привычки? Думаю, что нет. Думаю - это веянье моды, ну или технологического прогресса.
Все и все (поставьте сами букоффку ё) оптимизируются для использования на всяческих коммуникаторах и планшетах. Например, новый интерфейс Ubuntu (Unity) очевидно заточен для мобильных девайсов (я негодую и сижу на старом добром гноме), новая винда, говорят, с дебильным планшетообразным интерфейсом. Ну и в новом интерфейсе gmail'a я вижу теже тенденции:
Неужели так сложно оставить/сделать отдельную тему и для нас, бедных нищебродов без планшетокоммуникаторов, а потому читающих почту на обычных десктопах-ноутбуках? Это стало уже настолько коммерчески неинтересно?
Теперь список того, что мне просто не понравилось. Не удовлетворило моему эстетическому чувству, так сказать.
Ну и ложка меда в бочке дегтя:
PS: Успокоился, взял себя в руки и поставил этот новый интерфейс. Все равно придется привыкать. Так хоть напишу несколько отзывов в гугл, вдруг прочитают.
PPS: По мотивам этого поста отправил достаточно развернутое сообщение в гугл. Буду надеяться и ждать :)
Может я стал консерватором просто? Или это сила привычки? Думаю, что нет. Думаю - это веянье моды, ну или технологического прогресса.
Все и все (поставьте сами букоффку ё) оптимизируются для использования на всяческих коммуникаторах и планшетах. Например, новый интерфейс Ubuntu (Unity) очевидно заточен для мобильных девайсов (я негодую и сижу на старом добром гноме), новая винда, говорят, с дебильным планшетообразным интерфейсом. Ну и в новом интерфейсе gmail'a я вижу теже тенденции:
- большие кнопки, удобные для нажимания пальчиками на небольших сенсорных дисплеях;
- поменьше надписей на кнопках, побольше пиктографических иконок - а тож бедные пользователи андроида замучались читать меленький шрифт;
- общее упрощение интерфейса и дизайна.
Неужели так сложно оставить/сделать отдельную тему и для нас, бедных нищебродов без планшетокоммуникаторов, а потому читающих почту на обычных десктопах-ноутбуках? Это стало уже настолько коммерчески неинтересно?
Теперь список того, что мне просто не понравилось. Не удовлетворило моему эстетическому чувству, так сказать.
- Самая адекватная тема - дефолтная, но меня жуть как бесит эта идиотская красная кнопка - с ней у меня развивается косоглазие. Я, блджад, запомнил где кнопка "Написать", не надо из нее делать светофор и гирлянду. Сделайте тоже самое, но без красной кнопки. Пока пришлось перейти на светло-серую тему.
- Звездочки стали как-то грубее что ли. Раньше они были симпатишнее. В самом письме звездочка теперь справа, что убивает идеальность отточенных механических движений.
- Раньше в цепочках письма были отделены друг от друга более заметно. Сейчас вся цепочка сливается в одну серую массу
- Теперь список ярлыков в левой колонке не отображается полностью, а имеет свой скролл-бар. Т.е., если ярлыков тьма, а монитор ноутбучный невысокий, то нужно сначала навести курсор мыши на список ярлыков, а потом покрутить колесико. К.О. сообщает, что просто покрутить колесиком будет быстрее. Так что реквестирую опцию "отображение всех ярлыков сразу".
- Жаль, что убрали выделение разными цветами имена разных отправителей в цепочке.
Ну и ложка меда в бочке дегтя:
- Понравилось, что появились фотки из профилей в цепочке писем. Так действительно проще читать длинные диалоги.
- Когда наконец-то куплю коммуникатор понравившегося будет больше, уверен.
PS: Успокоился, взял себя в руки и поставил этот новый интерфейс. Все равно придется привыкать. Так хоть напишу несколько отзывов в гугл, вдруг прочитают.
PPS: По мотивам этого поста отправил достаточно развернутое сообщение в гугл. Буду надеяться и ждать :)
пятница, 28 октября 2011 г.
Шаманизм
Делаю проект с django-cms и небольшим самописным приложением. При попытке загрузить изображение (в cms и в своем приложение) выдавало:
При этом в других проектах все норм.
Гугл выдавал, что это проблемы с PIL. Я переустанавливал ее и так и этак (локально, глобально, с переустановкой libjpeg-dev...), даже перезагружаться пробовал. Пробовал гуглить по буржуйским интернетам, что хоть там добьюсь правды. Весь вечер на это убил. Не помогло.
Утром начал шаманить с settings.py, комментируя то, что связано с установкой django-cms. Перезапускаю - заработало. Начинаю потихоньку раскомментировать обратно, что бы понять где именно проблема. Убираю комментарий - перезапускаю - работает, убираю - работает, убираю - работает... Опа, а я уже вернул settings.py в первоначальный вид (до комментирования), и оно все равно работает.
Загрузите правильное изображение. Файл, который вы загрузили, поврежден или не является изображением.
При этом в других проектах все норм.
Гугл выдавал, что это проблемы с PIL. Я переустанавливал ее и так и этак (локально, глобально, с переустановкой libjpeg-dev...), даже перезагружаться пробовал. Пробовал гуглить по буржуйским интернетам, что хоть там добьюсь правды. Весь вечер на это убил. Не помогло.
Утром начал шаманить с settings.py, комментируя то, что связано с установкой django-cms. Перезапускаю - заработало. Начинаю потихоньку раскомментировать обратно, что бы понять где именно проблема. Убираю комментарий - перезапускаю - работает, убираю - работает, убираю - работает... Опа, а я уже вернул settings.py в первоначальный вид (до комментирования), и оно все равно работает.
Подписаться на:
Сообщения (Atom)