Fix categorical "" treatment in long_to_wide

Previously, "" wouldn't be found in a categorical because of Pandas
bug pandas-dev/pandas#36550

[finishes #174929289]

Tests and code have been updated to conform to Pandas 1.1 reshape
behavior, which reshapes Categorical to Categorical. This should be
backwards-compatible with Pandas 0.25 on production.

Author: adamhooper

CHANGELOG.md

@@ -1,6 +1,12 @@
 2020-09-22.01
 -------------
 
+* long-to-wide: fix to handle Var="" rows when the Var column is
+  compressed as "Categorical". Previously, an error occurred.
+
+2020-09-22.01
+-------------
+
 * long-to-wide: fix to correctly ignore (Key=xyz, Var=NULL) rows when
   there is no (Key=xyz, Var=not-null) row the Key column is compressed
   as "Categorical". Previously, an error occurred.

locale/el/messages.po

@@ -8,7 +8,7 @@ msgid ""
 msgstr ""
 "Project-Id-Version: PROJECT VERSION\n"
 "Report-Msgid-Bugs-To: EMAIL@ADDRESS\n"
-"POT-Creation-Date: 2020-09-22 14:58+0000\n"
+"POT-Creation-Date: 2020-09-22 15:46+0000\n"
 "PO-Revision-Date: YEAR-MO-DA HO:MI+ZONE\n"
 "Last-Translator: FULL NAME <EMAIL@ADDRESS>\n"
 "Language: el\n"
@@ -63,79 +63,56 @@ msgstr ""
 #: reshape.py:67
 msgid "wide_to_long.badColumns.mixedTypes.message"
 msgstr ""
-"Έγινε αυτόματη μετατροπή {n_columns, plural, other{# στηλών (δείτε "
-"\"{first_colname}\")} one {της στήλης \"{first_colname}\"}} σε κείμενο "
-"επειδή η στήλη τιμής δεν μπορεί να έχει διαφορετικούς τύπους."
 
 #: reshape.py:74
 msgid "wide_to_long.badColumns.mixedTypes.quick_fix.text"
-msgstr "Μετατροπή {n_columns, plural, one {# στήλης} other {# στηλών}} σε κείμενο"
+msgstr ""
 
 #: reshape.py:106
 msgid "long_to_wide.badColumn.notText.message"
 msgstr ""
-"Έγινε αυτόματη μετατροπή της στήλης \"{column_name}\" σε κείμενο επειδή "
-"τα ονόματα στηλών πρέπει να είναι κείμενο."
 
 #: reshape.py:114
 msgid "long_to_wide.badColumn.notText.quick_fix.text"
-msgstr "Μετατροπή της στήλης \"{column_name}\" σε κείμενο"
+msgstr ""
 
 #: reshape.py:136
 msgid "long_to_wide.badRows.emptyColumnHeaders.warning"
 msgstr ""
-"{n_rows, plural,   one {# σειρά με κενή στήλη \"{column_name}\" "
-"αφαιρέθηκε.}  other {# σειρές με κενή στήλη \"{column_name}\" "
-"αφαιρέθηκαν.}}"
 
 #: reshape.py:150
-#, fuzzy
 msgid "long_to_wide.error.repeatedVariables"
-msgstr "Δεν είναι δυνατή η αναδιαμόρφωση: μερικές μεταβλητές επαναλαμβάνονται"
+msgstr ""
 
 #: reshape.py:156
 msgid "long_to_wide.error.noValueColumn"
 msgstr ""
-"Δεν υπάρχει στήλη τιμής. Όλες οι στήλες του πίνακα εκτός από μία πρέπει "
-"να είναι μεταβλητή σειράς ή στήλης."
 
 #: reshape.py:162
 msgid "long_to_wide.error.tooManyValueColumns"
 msgstr ""
-"Υπάρχουν πολλές στήλες τιμής. Όλες οι στήλες του πίνακα εκτός από μία "
-"πρέπει να είναι μεταβλητή σειράς ή στήλης. Αφαιρέστε τις επιπλέον στήλες "
-"πριν από την αναδιαμόρφωση."
 
 #: reshape.py:209
 msgid "error.sameColumnAndRowVariables"
 msgstr ""
-"Δεν είναι δυνατή η αναδιαμόρφωση: οι μεταβλητές στηλών και σειρών πρέπει "
-"να είναι διαφορετικές"
 
 #: reshape.py:330
 msgid "transpose.warnings.tooManyRows"
 msgstr ""
-"Περικόψαμε την είσοδο σε {max_columns} σειρές έτσι ώστε ο "
-"αντιμετατιθέμενος πίνακας να έχει λογικό αριθμό στηλών."
 
 #: reshape.py:349
 msgid "transpose.warnings.headersConvertedToText.message"
 msgstr ""
-"Έγινε αυτόματη μετατροπή των κεφαλίδων στη στήλη \"{column_name}\" σε "
-"κείμενο."
 
 #: reshape.py:356
 msgid "transpose.warnings.headersConvertedToText.quickFix.text"
-msgstr "Μετατροπή της στήλης {column_name} σε κείμενο"
+msgstr ""
 
 #: reshape.py:394
 msgid "transpose.warnings.differentColumnTypes.message"
 msgstr ""
-"Έγινε αυτόματη μετατροπή {n_columns, plural, other {# στηλών (δείτε "
-"\"{first_colname}\")} one {της στήλης \"{first_colname}\"}} σε κείμενο "
-"επειδή όλες οι στήλες πρέπει να ανήκουν στον ίδιο τύπο."
 
 #: reshape.py:401
 msgid "transpose.warnings.differentColumnTypes.quickFix.text"
-msgstr "Μετατροπή {n_columns, plural, other {# στηλών} one {# στήλης}} σε κείμενο"
+msgstr ""
 

locale/en/messages.po

@@ -8,7 +8,7 @@ msgid ""
 msgstr ""
 "Project-Id-Version: PROJECT VERSION\n"
 "Report-Msgid-Bugs-To: EMAIL@ADDRESS\n"
-"POT-Creation-Date: 2020-09-22 14:58+0000\n"
+"POT-Creation-Date: 2020-09-22 15:46+0000\n"
 "PO-Revision-Date: YEAR-MO-DA HO:MI+ZONE\n"
 "Last-Translator: FULL NAME <EMAIL@ADDRESS>\n"
 "Language: en\n"

reshape.py

@@ -129,7 +129,7 @@ def long_to_wide(
 
     # Remove empty values, in-place. Empty column headers aren't allowed.
     # https://www.pivotaltracker.com/story/show/162648330
-    empty = varcol.isin([np.nan, pd.NaT, None, ""])
+    empty = varcol.isin([np.nan, None, ""])
     n_empty = np.count_nonzero(empty)
     if n_empty:
         warnings.append(
@@ -169,11 +169,11 @@ def long_to_wide(
     table = table.unstack()
     table.columns = [col[-1] for col in table.columns.values]
     table.reset_index(inplace=True)
-    for key_colname in key_colnames:
-        key_series = table[key_colname]
-        if hasattr(key_series, "cat"):
+    for colname in list(table.columns):
+        series = table[colname]
+        if hasattr(series, "cat"):
             # Remove unused categories
-            key_series.cat.remove_unused_categories(inplace=True)
+            series.cat.remove_unused_categories(inplace=True)
 
     if warnings:
         return (table, warnings)

test_reshape.py

@@ -151,17 +151,20 @@ def test_long_to_wide_categoricals(self):
             pd.DataFrame(
                 {
                     "x": pd.Series(["1", "2", "3"], dtype="category"),
-                    "A": ["a", "b", "c"],
-                    "B": ["d", "e", "f"],
+                    "A": pd.Series(["a", "b", "c"], dtype="category"),
+                    "B": pd.Series(["d", "e", "f"], dtype="category"),
                 }
             ),
         )
 
     def test_long_to_wide_nix_unused_category(self):
         # https://www.pivotaltracker.com/story/show/174929299
         in_table = pd.DataFrame(
-            {"A": list("aab"), "B": [None, None, "c"], "value": list("abc")},
-            dtype="category",
+            {
+                "A": list("aab"),
+                "B": pd.Series([None, None, "c"], dtype="category"),
+                "value": list("abc"),
+            },
         )
         out = render(
             in_table, P("longtowide", ["A"], ltw_varcolname="B"), **DefaultKwargs
@@ -170,14 +173,30 @@ def test_long_to_wide_nix_unused_category(self):
             out[0],
             pd.DataFrame(
                 {
-                    "A": pd.Series(["b"], dtype="category"),
+                    "A": ["b"],
                     "c": ["c"],
                 }
             ),
         )
         # There's also a long_to_wide.badRows.emptyColumnHeaders.warning, but that's
         # not under test here
 
+    def test_long_to_wide_treat_empty_string_category_as_empty_string(self):
+        # https://www.pivotaltracker.com/story/show/174929289
+        in_table = pd.DataFrame(
+            {
+                "A": ["a", "b"],
+                "B": pd.Series(["", ""], dtype="category"),
+                "C": [1, 2],
+            }
+        )
+        out = render(
+            in_table, P("longtowide", ["A"], ltw_varcolname="B"), **DefaultKwargs
+        )
+        assert_frame_equal(out[0], pd.DataFrame({"A": pd.Series([], dtype=object)}))
+        # there's also a long_to_wide.badRows.emptyColumnHeaders.warning, but that's
+        # not under test here
+
     def test_long_to_wide_missing_varcol(self):
         out = render(
             pd.DataFrame({"A": [1, 2]}),