четверг, 19 июля 2012 г.

PHPExcel и кодировка

У меня были проблемы с русской кодировкой при чтение xls файла при помощи PHPExcel. Кракозябры и почему-то iconv выдавал какую-то белиберду. Долго не мог найти в чем проблема, даже гугл не помог.

Потом полез ручками и оказалось, что оптимальное решение проблемы - это в файле Classes/PHPExcel/Reader/Excel5.php выставить нужную кодировку:

$this->_codepage            = 'CP1251';

Вот и все.

PHPExcel и большие файлы

PHPExcel - отличная библиотека с огромным функционалом по работе с форматами xls, xlsx. Можно считывать, записывать, менять форматирование, задавать формулы, а из xlsx можно и картинки вытаскивать.

Один минус у PHPExcel - вечно памяти не хватает, все время сыпятся ошибки "Fatal error: Out of memory". Этот пост о том, как это обойти.


Для чтения большого файла (~25 000 строк) я использовал своеобразное решение.

Считываем файл не целиком, а по несколько строк. Это делается так:

import_xls.php
require_once 'path/to/PHPExcel/IOFactory.php';

class chunkReadFilter implements PHPExcel_Reader_IReadFilter
{
    private $_startRow = 0;
    private $_endRow = 0;

    public function setRows($startRow, $chunkSize) {
        $this->_startRow    = $startRow;
        $this->_endRow      = $startRow + $chunkSize;
    }

    public function readCell($column, $row, $worksheetName = '') {
        //  Only read the heading row, and the rows that are configured in $this->_startRow and $this->_endRow
        if (($row == 1) || ($row >= $this->_startRow && $row < $this->_endRow)) {
            return true;
        }
        return false;
    }
}

session_start();

if ($_SESSION['startRow']) $startRow = $_SESSION['startRow'];
else $startRow = 13;

$fileName = "file.xls";
$inputFileType = 'Excel5';
$objReader = PHPExcel_IOFactory::createReader($inputFileType);
$chunkSize = 20;
$chunkFilter = new chunkReadFilter();

while ($startRow <= 65000) {
 $chunkFilter->setRows($startRow,$chunkSize);
 $objReader->setReadFilter($chunkFilter);
 $objReader->setReadDataOnly(true);
 $objPHPExcel = $objReader->load($fileName);
 //Что-то с этими строками делаем
 $startRow += $chunkSize;
 $_SESSION['startRow'] = $startRow;
unset($objReader);
unset($objPHPExcel);
}

echo "The End";
unset($_SESSION['startRow']);

Собственно класс chunkReadFilter - это то, что нам нужно. Устанавливаем его в качестве фильтра для чтения файла, и файл будет загружаться не целиком, а лишь определенное количество строк.

Кроме него еще используем такую полезную опцию как ReadDataOnly. Как ясно из названия, она позволяет не загружать форматирование документа, высвобождая место для данных.

И конечно же используем unset. Это так же поможет высвободить память.

Но помимо нехватки памяти возникает другая проблема. На большинстве хостингов у php-скриптов помимо ограничения на использование памяти, еще стоит ограничение на время выполнения. И крайне вероятно, что этого времени хватать не будет. Лично я обошел эту проблему при помощи сессий и повторяющихся ajax запросов. В коде представленном выше вы уже увидели использование сессий и завершающее "The End".

А вот код клиентской части

import_xls.html
<html>
<head>
<title>Импорт прайс-листа</title>
  <script src="/media/js/jquery.js" type="text/javascript"></script>
  <script src="/media/js/import-xls.js" type="text/javascript"></script>
</head>
<body>
<h1>Импорт прайс-листа</h1>
Подождите завершения импорта, не закрывайте данную страницу!
<div id="progress-bar">
</div>
<div id="content">
</div>
</body>
</html>

import-xls.js
function repeat_import() {
 $.get("import_xls.php", function(data){
  $("#progress-bar").append("I");
  if (data == "The End") {
   $("#content").html("<h2>Импорт завершен!</h2>");
  }
  else {
   $("#content").html(data);
   repeat_import();
  }
 });
}

$(function (){
 /*$(document).ajaxError(function (e, jqxhr, settings, exception) {
  error_message = jqxhr.status;
  alert(error_message);
 });*/
 repeat_import();
});

Т.е. мы отправляем ajax-запрос нашему скрипту, ждем ответа, и, если ответ нас не устраивает, посылаем новый ajax-запрос. Есть еще решение без использования AJAX - при помощи редиректа в самом php (header ("Location: import_xls.php");). Но лично мне больше нравится решение с AJAX, потому что тут можно легко и просто добавить прогресс-бар и какие-нибудь другие рюшечки. Кстати, внимательный читатель заметил, что в моем коде простой прогресс-бар уже реализован.



Для записи в формат xls так же около 25 000 строк крайне полезно использовать следующий код
$cacheMethod = PHPExcel_CachedObjectStorageFactory::cache_to_phpTemp;
$cacheSettings = array( 'memoryCacheSize ' => '256MB');
PHPExcel_Settings::setCacheStorageMethod($cacheMethod, $cacheSettings);
Можно еще поиграться с методами кеширования. Поддерживается

memcache
$cacheMethod = PHPExcel_CachedObjectStorageFactory::cache_to_memcache; $cacheSettings = array( 'memcacheServer' => 'localhost', 'memcachePort' => 11211, 'cacheTime' => 600 );


а так же cache_to_discISAM.

пятница, 6 апреля 2012 г.

Ubuntu 11.10 и Gnome 3

The shell in GNOME 3 can be modified by writing extensions in JavaScript.


o_O
...
вот те и на...

среда, 23 ноября 2011 г.

Текст-невидимка

Joomla продолжает отжигать.

Мне нужно было создать пустой материал, т.е. без текста. Ну вот нужно было - потому что надо, что бы заказчик мог когда-то потом текст ввести, а сейчас он просто пустой. Фразы вроде "Раздел находится на реконструкции" в данном случае не нужны и просто не подходят. Для данной страницы выделен свой шаблон с красивым меню в основном блоке, которое и несет основную смысловую нагрузку этой странички, а возможность ввода текста там так, на всякий случай.

Вернемся собственно к джумле. Не хочет она сохранять материал без текста и все. Не положено. Ввожу один пробел - не проходит, ввожу &nbsp; - тот же эффект. Так что теперь материал содержит следующее:


<p style="display:none;">текст</p>


PS: Не люблю, когда система жестко мешает мне что-то сделать. Пусть предупреждает, а я уж сам дальше разберусь надо оно мне или не надо.

среда, 2 ноября 2011 г.

Новый интерфейс gmail

Попробовал включить сабж. Я просто в ужасе. Меня накрыла паника и я не смог лицезреть его более двух минут.

Может я стал консерватором просто? Или это сила привычки? Думаю, что нет. Думаю - это веянье моды, ну или технологического прогресса.

Все и все (поставьте сами букоффку ё) оптимизируются для использования на всяческих коммуникаторах и планшетах. Например, новый интерфейс Ubuntu (Unity) очевидно заточен для мобильных девайсов (я негодую и сижу на старом добром гноме), новая винда, говорят, с дебильным планшетообразным интерфейсом. Ну и в новом интерфейсе gmail'a я вижу теже тенденции:

  • большие кнопки, удобные для нажимания пальчиками на небольших сенсорных дисплеях;

  • поменьше надписей на кнопках, побольше пиктографических иконок - а тож бедные пользователи андроида замучались читать меленький шрифт;

  • общее упрощение интерфейса и дизайна.



Неужели так сложно оставить/сделать отдельную тему и для нас, бедных нищебродов без планшетокоммуникаторов, а потому читающих почту на обычных десктопах-ноутбуках? Это стало уже настолько коммерчески неинтересно?

Теперь список того, что мне просто не понравилось. Не удовлетворило моему эстетическому чувству, так сказать.

  • Самая адекватная тема - дефолтная, но меня жуть как бесит эта идиотская красная кнопка - с ней у меня развивается косоглазие. Я, блджад, запомнил где кнопка "Написать", не надо из нее делать светофор и гирлянду. Сделайте тоже самое, но без красной кнопки. Пока пришлось перейти на светло-серую тему.

  • Звездочки стали как-то грубее что ли. Раньше они были симпатишнее. В самом письме звездочка теперь справа, что убивает идеальность отточенных механических движений.

  • Раньше в цепочках письма были отделены друг от друга более заметно. Сейчас вся цепочка сливается в одну серую массу

  • Теперь список ярлыков в левой колонке не отображается полностью, а имеет свой скролл-бар. Т.е., если ярлыков тьма, а монитор ноутбучный невысокий, то нужно сначала навести курсор мыши на список ярлыков, а потом покрутить колесико. К.О. сообщает, что просто покрутить колесиком будет быстрее. Так что реквестирую опцию "отображение всех ярлыков сразу".

  • Жаль, что убрали выделение разными цветами имена разных отправителей в цепочке.



Ну и ложка меда в бочке дегтя:

  • Понравилось, что появились фотки из профилей в цепочке писем. Так действительно проще читать длинные диалоги.

  • Когда наконец-то куплю коммуникатор понравившегося будет больше, уверен.



PS: Успокоился, взял себя в руки и поставил этот новый интерфейс. Все равно придется привыкать. Так хоть напишу несколько отзывов в гугл, вдруг прочитают.
PPS: По мотивам этого поста отправил достаточно развернутое сообщение в гугл. Буду надеяться и ждать :)

пятница, 28 октября 2011 г.

Шаманизм

Делаю проект с django-cms и небольшим самописным приложением. При попытке загрузить изображение (в cms и в своем приложение) выдавало:

Загрузите правильное изображение. Файл, который вы загрузили, поврежден или не является изображением.


При этом в других проектах все норм.

Гугл выдавал, что это проблемы с PIL. Я переустанавливал ее и так и этак (локально, глобально, с переустановкой libjpeg-dev...), даже перезагружаться пробовал. Пробовал гуглить по буржуйским интернетам, что хоть там добьюсь правды. Весь вечер на это убил. Не помогло.

Утром начал шаманить с settings.py, комментируя то, что связано с установкой django-cms. Перезапускаю - заработало. Начинаю потихоньку раскомментировать обратно, что бы понять где именно проблема. Убираю комментарий - перезапускаю - работает, убираю - работает, убираю - работает... Опа, а я уже вернул settings.py в первоначальный вид (до комментирования), и оно все равно работает.

пятница, 21 октября 2011 г.

Я - быдлокодер

Ха-ха-ха, я - быдлокодер. Начал писать с использованием JavaScript "серьезное web-приложение" (аренда авто) не зная о прототипах. Жесть, что за индусский код я тут выдал.